一种基于特征多样化的自监督图像对比学习方法、系统技术方案

本发明专利技术公开了一种基于特征多样化的自监督图像对比学习方法、系统，包括模型训练和测试，在进行模型训练时，提取增强样本的高维特征向量即对应的低维特征向量，并对所述低维特征向量进行归一化；计算一张图像归一化后低维特征向量的相似概率，进而计算两个归一化后低维特征向量属于同一张图片的概率；由两个归一化后低维特征向量属于同一张图片的概率计算对比损失，由一张图像归一化后低维特征向量计算简单距离损失；在对比损失或简单距离损失上增加高秩正则化项，作为最终的损失函数。本发明专利技术能有效避免联合嵌入体系结构面临的模型坍塌问题。塌问题。塌问题。

【技术实现步骤摘要】
一种基于特征多样化的自监督图像对比学习方法、系统


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于特征多样化的自监督图像对比学习方法。

技术介绍

[0002]近年来，有监督学习进展迅速。然而，要在深度神经网络中应用监督学习，需要足够的标记数据，标记数据需要大量的人工手动劳作，该途径既耗时又昂贵。因此，监督学习当前的主要瓶颈是标签生成和标注。为了从根本上解决监督学习的瓶颈问题，通过生成学习、预测学习、图像对比学习等途径得到标签的自监督方法应运而生。
[0003]目前最优良的自监督模型是通过联合嵌入体系结构实现的。联合嵌入体系结构分为上下两分支，两分支分别训练同一图像的不同视角从而得到类似的特征嵌入。联合嵌入体系结构主要挑战是防止两分支忽略输入而产生相同且恒定的输出向量进而导致崩溃，也就是模型坍塌。
[0004]现有的解决模型坍塌问题的方法主要分为：基于图像对比学习的方法与基于信息最大化的方法。基于图像对比学习的方法是将当前输入作为正样本，其他的样本作为负样本，通过对比损失函数拉近正样本、推开负样本；但基于图像对比学习的方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征多样化的自监督图像对比学习方法，其特征在于：(1)对经典数据集中一个批次的N张图像进行裁剪和缩放，然后分成增强样本X
i
和X
j
，分别送入联合嵌入体系结构的上下分支；(2)联合嵌入体系结构的训练提取所述增强样本的高维特征向量h
i
、h
j
；基于所述高维特征向量h
i
、h
j
，提取对应的低维特征向量z
i
、z
j
，并对所述低维特征向量进行归一化；计算一张图像归一化后低维特征向量的相似概率，进而计算两个归一化后低维特征向量属于同一张图片的概率；由两个归一化后低维特征向量属于同一张图片的概率计算对比损失，由一张图像归一化后低维特征向量计算简单距离损失；在所述对比损失或简单距离损失上增加高秩正则化项，作为最终的损失函数；(3)训练后的联合嵌入体系结构通过测试，确定top1和top5正确率，将正确率最高时的模型参数作为下游任务的模型参数。2.根据权利要求1所述的基于特征多样化的自监督图像对比学习方法，其特征在于，所述提取对应的低维特征向量z
i
、z
j
，具体为：z
i
＝g(h
i
)＝W
(2)
σ(W
(1)
h
i
)z
j
＝g(h
j
)＝W
(2)
σ(W
(1)
h
j
)其中，g(
·
)表示提取低维特征向量的投影头结构，W
(1)
、W
(2)
表示降维的权重矩阵，σ表示一个ReLU非线性激活函数。3...

【专利技术属性】
技术研发人员：奚叶婧，冒志敏，马忠臣，马润泽，高慧萍，王广晨，
申请(专利权)人：江苏大学，
类型：发明
国别省市：