WHAT SHOULD NOT BE CONTRASTIVE IN CONTRASTIVE LEARNING

一、背景介绍：

​ 现在的自监督对比学习方法，大多通过学习对不同的数据增强保持不变，从而学习到一个好的视觉表征。这里就隐含地假设了一组特定地表示不变性，(比如颜色不变性)，但是如果下游任务不满足这种假设条件时，(比如区分黄色轿车和红色轿车)，这种方法可能就会对任务起到反作用。

​ 对于数据增强来说，我们在网络中引入的每一种增强都是鼓励网络对该种变换保持不变性。

​ 如上图所示，自监督对比学习依赖于（a）中描述的数据扩充来学习视觉表征。然而，目前的方法通过鼓励神经网络对信息不太敏感来引入感应偏差，可能有帮助也可能有伤害。如（b）所示，旋转不变嵌入对某些花卉类别有帮助，但可能会损害动物识别性能；相反，颜色不变性通常似乎有助于粗粒度的动物分类，但会损害许多花卉类别和鸟类类别。

​ 所以本文提出一种对比学习框架，它不需要特定地、任务相关地不变性的先验知识，通过构造独立的嵌入空间来学习捕获视觉表示的变化和不变因子，每个嵌入空间对除一个增广外的所有增广都是不变的。目的就是想在对比学习的框架中能够捕获到个体变换的因素。而无需假定下游不变性的先验知识。

Typora数学符号：

转载自： https://blog.csdn.net/wait_for_eva/article/details/84307306

SSPU-Net

Accepted by ACM MM 2021

1. 研究动机：

​ 传统的点云数据通过基于Ground Truth的有监督的方式实现数据上采样的工作，而本文提出了一种可以基于自监督的方式实现点云数据上采样。

​ 为什么要上采样？因为一般采集到的点云数据通常是稀疏的，对于一些局部的几何结构表达不够好，可能会影响下游的处理任务。所以，有必要对稀疏点云进行上采样，以生成稠密完整的点云，从而方便后续的点云处理任务。

创新点：、

• NEU(neighbor expansion unit)模块 — 领域扩展单元
• DRU(differentiable point cloud rendering unit)模块 — 可微渲染单元

Siam-RPN

1. 研究动机：

在Siam-FC中，作者提出的算法首次将孪生网络引入了目标跟踪的领域，实现了端到端的训练，它是一个兼容了速度和精度的算法，在3个尺度变换和5个尺度变换的条件下，跟踪的速率分别达到了86 fps和58 fps。

Siam-FC需要多尺度测试，在跟踪阶段分别生成不同尺度的搜索框，进行跟踪，选取得分结果最好的作为跟踪结果。

Siam-FC没有做回归去调整候选框的位置。

本篇论文提出的Siam-RPN可以说是对Siam-FC的改进，在速度和精度上都有提升。速度上达到了160 FPS，而RPN子网络进一步提升了对目标框预测的准确度。

一、背景介绍：

[参考资料]:

1. https://zhuanlan.zhihu.com/p/148516834
2. https://www.jiqizhixin.com/articles/2017-05-14

目标跟踪的方法一般分为两种模式： 生成式模型和鉴别式模型

生成式模型：

​ 早期的一些目标跟踪算法都属于是生成式模型跟踪算法的研究，比如： Meanshift、Particle Filter(粒子滤波)、基于特征点的光流法等等。此类方法首先建立目标模型或者提取目标特征, 在后续帧中进行相似特征搜索，逐步迭代实现目标定位。比如Meanshift方法是一种基于概率密度分布的跟踪方法，首先会对目标建模，例如利用目标的颜色分布来描述目标，然后计算目标在下一帧图像上的概率分布，从而迭代得到局部最密集的区域。Meanshift 适用于目标的色彩模型和背景差异比较大的情形。

​ 但是这类方法也存在明显的缺点, 就是图像的背景信息没有得到全面的利用.且目标本身的外观变化有随机性和多样性特点, 因此, 通过单一的数学模型描述待跟踪目标具有很大的局限性.具体表现为在光照变化, 运动模糊, 分辨率低, 目标旋转形变等情况下, 模型的建立会受到巨大的影响, 从而影响跟踪的准确性; 模型的建立没有有效地预测机制, 当出现目标遮挡情况时, 不能够很好地解决。

鉴别式模型：

​ 鉴别式模型是指将目标模型和背景信息同时考虑在内, 通过对比目标模型和背景信息的差异, 将目标模型提取出来, 从而得到当前帧中的目标位置。 也有文中指出该模式是利用分类来做跟踪的方法。即把跟踪的目标作为前景，利用在线学习或离线训练的检测器来区分前景目标和背景，从而得到前景目标的位置。

​ 相关滤波的跟踪算法始于 2012 年 P.Martins 提出的 CSK 方法，作者提出了一种基于循环矩阵的核跟踪方法，并且从数学上完美解决了密集采样（Dense Sampling）的问题，利用傅立叶变换快速实现了检测的过程。在训练分类器时，一般认为离目标位置较近的是正样本，而离目标较远的认为是负样本。相关滤波系列的方法发展很快，比如 CSK 作者引用的 MOSSE 方法，后续他又提出了基于 HOG 特征的 KCF 方法。后续还有考虑多尺度或颜色特征（Color Name 表）的方法以及用深度学习提取的特征结合 KCF 的方法（比如 DeepSRDCF 方法）等。从它的发展过程来看，考虑的尺度越来越多，特征信息也更加丰富，当然计算时间也会相应增加，但总体上说，相关滤波系列的跟踪方法在实时性上优势明显，采用哪种改进版本的方法视具体的应用而定。相关滤波的方法也有一些缺陷，比如目标的快速移动，形状变化大导致更多背景被学习进来等都会对 CF 系列方法造成影响。虽然后续的研究也有一些针对性的改进，比如改进边界效应，改善背景更新策略或提高峰值响应图的置信度等，但普适性还需要进一步研究，特别是对不同的应用针对性地调整。

​ 基于深度学习的方法，在大数据背景下，利用深度学习训练网络模型，得到的卷积特征输出表达能力更强；深度学习还有一大优势就是端到端的输出。

【总结】：目标跟踪的方法经历了从经典跟踪算法 -> 基于核相关滤波的跟踪算法 -> 基于深度学习的跟踪算法

视觉Transformer综述

摘要

​ Transformer是一种基于最初应用在自然语言处理领域上的自注意力机制的深度神经网络。受Transformer强表征能力的启发，研究人员将它扩展到计算机视觉任务上。与卷积网络和循环网络等其他网络类型相比，基于Transformer的模型在各种视觉基准上表现出竞争性甚至更好的性能。在这篇文献综述，我们通过将这些可视化Transformer模型应用在不同类别的任务中，并且对它们的优缺点进行了分析。特别地，主要类别包括基本图像分类、高级视觉、低级视觉和视频处理。也会简要回顾计算机视觉中的自注意力机制，因为自注意力机制是Transformer的基本组成部分。有效的Transformer模型推动了Transformer进入实际应用。最后，讨论了可视化Transformer的进一步研究方向。

1. conda基本配置：

1.1 配置镜像源：

首先需要配置一个清华的镜像源，用来解决下载速度慢的问题

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes

上面命令执行完之后会在C:.condarc文件，打开会发现刚才的配置信息已经有了。

也可以直接在该文件里面配置，比如继续添加几个镜像源：

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ 
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - defaults
show_channel_urls: true

​ 最初计划是采购了阿里云服务器来学习搭建自己的博客网站，经过一段时间折腾，也终于搭建起来了，该文档记录了在搭建过程中实用的一些工具以及遇到的各种问题。运行了一段时间发现数据库不稳定，经过排查大概定位到是由于没有足够内存可以分配导致进程挂掉。阿里云的服务器采购的是最低配的，所以暂时没有做进一步处理了。近期时间我又在github上尝试搭建自己的网站，搭建成功后，可能会将域名解析到gtihub.io的网站上。

1. 初始化配置：

1.1 nginx安装：

• 安装必须依赖：

  yum -y install gcc pcre-devel zlib-devel openssl openssl-devel

• 官网下载nginx：https://nginx.org/download/

• 到自定义目录下解压/etc/nginx/，并执行./configure命令 成功后，再执行 make install命令

  ./configure
  make install   

一、 常用工具：

1. Typora + picGo + gitHub

​ 搭建自己的图床，方便文档随时访问图片内容。

2. Xmind:

​ 思维导图

3. 坚果云：

​ 小文件多设备、跨平台同步和共享，同时还支持多人共享，非常方便，个人版每月有免费流量，平时的文件同步基本够用。

4. Citavi:

​ 个人目前使用的文献管理工具，可以支持文献归类，在阅读时做批注，目前就用到这些功能。

一、MySQL命令：

针对mysql5.7版本

1. 常用命令：

1.1 权限管理相关操作：

SELECT Host,User,Password FROM mysql.user; 
# 更改用户名密码：
update mysql.user set authentication_string=password("新密码") where User="test" and Host="localhost";
#刷新权限命令:
flush privileges;

#注意plugin字段，如果发现手动设置了密码后，依然可以无密码进入，需要执行如下命令，设置plugin字段为mysql_native_password"
update mysql.user set plugin="mysql_native_password" where User="root" and Host="localhost";


#mysql  数据源配置加密密码实现：调用ConfigTools.encrypt方法获取加密后的密码


#新增一行记录 限制ip 用户 访问密码
INSERT INTO mysql.user(Host,User,Password) VALUES("10.10.0.1","root",PASSWORD("root"));

#刷新权限命令:
flush privileges;

#赋权限命令：   
GRANT ALL ON *.* TO root@'10.10.0.1' IDENTIFIED BY 'root';

#查看权限：     
show Grants for 'root'@'10.10.0.1';