c 视频网站开发,wordpress 条件筛选,网站死链检测,广州做网站appMomentum Contrast for Unsupervised Visual Representation Learning
动量在数学上理解为加权移动平均#xff1a; yt-1是上一时刻输出#xff0c;xt是当前时刻输入#xff0c;m是动量#xff0c;不想让当前时刻输出只依赖于当前时刻的输入#xff0c;m很大时#xff0…Momentum Contrast for Unsupervised Visual Representation Learning
动量在数学上理解为加权移动平均 yt-1是上一时刻输出xt是当前时刻输入m是动量不想让当前时刻输出只依赖于当前时刻的输入m很大时变化很缓慢。 无监督视觉表征学习把对比学习看成一个字典查询任务动态字典由两部分组成一个是队列一个移动平均编码器。 字典大使用的编码器一样或相似 方法 懂了选的很大这样动量编码器更新的非常缓慢所以保证队列里面的k0,k1,k2…是从相似的编码器得到的。
假设有一个编码好的查询q编码好的样本集{k0,k1,k2…}可以看做字典的key。假设字典只有一个key和q配对。
infoNCENCE是noise contrastive estimation 温度τ用来控制分布形状越大exp函数里面的值越小exp后也就越小相当于把值变小了使函数曲线更平滑。温度小那exp后值更大使分布更集中。如果温度设的很大对比损失对所有负样本一视同仁模型学习没有轻重如果温度值设的过小又会让模型只关注困难样本。但是那些负样本可能是潜在正样本如果过度关注负样本模型难收敛不好泛化。
和交叉熵的k代表类别数量不同这里的K是负样本数量。 训练过程中每个batch都有一批新的keys进入队列同时又有一些老的keys出去。 懂了编码器更新方式 伪代码
