利用多个正例的监督对比学习制造技术

本公开提供了一种改进的训练方法，其使得监督对比学习能够跨多个正训练例和负训练例同时执行。特别地，本公开的示例方面针对批量对比损失的改进的监督版本，其已经被显示对于在自监督设置中学习强大的表示非常有效。因此，所提出的技术使对比学习适应于完全监督的设置，并且还使得学习能够跨多个正例同时发生。生。生。

Supervised comparative learning using multiple positive examples

【技术实现步骤摘要】
【国外来华专利技术】利用多个正例的监督对比学习
[0001]相关申请的交叉引用
[0002]本申请要求2020年4月21日提交的美国临时专利申请号63/013,153的优先权和权益。美国临时专利申请号63/013,153通过引用整体结合于此。


[0003]本公开总体上涉及用于视觉表示的对比学习的系统和方法。更具体地，本公开涉及跨多个正例执行监督对比学习的系统和方法。

技术介绍

[0004]交叉熵损失可能是监督学习中最广泛使用的损失函数。它被自然地定义为两个离散分布之间的KL
‑
散度：logits的经验标签分布(1
‑
hot向量的离散分布)和经验分布。
[0005]许多工作已经探索了这种损失的缺点，诸如缺乏对噪声标签的鲁棒性和可能的差裕度，这导致泛化性能降低。然而，在实践中，大多数建议的替代方案似乎并没有更好地用于大规模数据集，诸如ImageNet，这可以通过持续使用交叉熵来实现最先进的结果来证明。
[0006]许多对常规交叉熵提出的改进实际上涉及损失定义的放宽，特别是参考分布是轴对齐的。用这些修改本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种执行视觉表示的监督对比学习的计算系统，所述计算系统包括：一个或多个处理器；和一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质共同存储：基本编码器神经网络，被配置为处理输入图像以生成所述输入图像的嵌入表示；投影头神经网络，被配置为处理所述输入图像的嵌入表示，以生成所述输入图像的投影表示；和指令，当由所述一个或多个处理器执行时，使所述计算系统执行操作，所述操作包括：获得与多个类中的第一类相关联的锚定图像、与所述第一类相关联的多个正图像以及与所述多个类中的一个或多个其他类相关联的一个或多个负图像，所述一个或多个其他类不同于所述第一类；用所述基本编码器神经网络处理所述锚定图像以获得所述锚定图像的锚定嵌入表示，处理所述多个正图像以分别获得多个正嵌入表示，以及处理一个或多个负图像以分别获得一个或多个负嵌入表示；用所述投影头神经网络处理所述锚定嵌入表示以获得所述锚定图像的锚定投影表示，处理所述多个正嵌入表示以分别获得多个正投影表示，以及处理所述一个或多个负嵌入表示以分别获得一个或多个负投影表示；评估损失函数，所述损失函数评估所述锚定投影表示与所述多个正投影表示中的每个正投影表示和所述一个或多个负投影表示中的每个负投影表示之间的相似性度量；以及至少部分基于所述损失函数来修改至少所述基本编码器神经网络的一个或多个参数的一个或多个值。2.根据任一前述权利要求所述的计算系统，其中所述锚定图像和一个或多个正图像中的至少一个正图像描绘了属于所述多个类中相同的第一类的不同对象。3.根据任一前述权利要求所述的计算系统，其中所述多个正图像包括包含在训练批次内的与所述第一类相关联的所有图像，并且其中一个或多个负锚定图像包括包含在所述训练批次内的不与除所述第一类之外的所述多个类中的任何一个类相关联的所有图像。4.根据任一前述权利要求所述的计算系统，其中所述操作还包括在用所述基本编码器神经网络处理所述锚定图像、所述多个正图像和所述一个或多个负图像中的每个图像之前，分别增强所述锚定图像、所述多个正图像和所述一个或多个负图像中的每个图像。5.根据任一前述权利要求所述的计算系统，其中所述投影头神经网络包括归一化层，所述归一化层...

【专利技术属性】
技术研发人员：D克里希南，P科斯拉，P泰特瓦克，AY萨尔纳，AJ马希诺特，C刘，PJ伊索拉，Y田，C王，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：