对比学习模型的训练方法及装置、电子设备和存储介质制造方法及图纸

本公开公开了对比学习模型的训练方法及装置、电子设备和存储介质，涉及人工智能技术领域，通过将生成对抗网络中的G网络与D网络引入对比学习中，通过G网络与D网络的对抗训练，互相进行监督训练，有效的解决了传统对比学习模型坍缩的问题，且通过G网络与D网络的对抗训练能够使G网络与D网络的性能都达到最优，提高了对比训练模型的训练效果。了对比训练模型的训练效果。了对比训练模型的训练效果。

【技术实现步骤摘要】
对比学习模型的训练方法及装置、电子设备和存储介质


[0001]本公开涉及人工智能
，尤其涉及一种对比学习模型的训练方法及装置、电子设备和存储介质。

技术介绍

[0002]预训练模型被广泛用于深度学习领域，深度学习中使用预训练模型在目标任务上进行微调往往能取得比从零训练模型更好的效果，用于提升模型在后续任务中的性能。
[0003]对比学习是近年来在图像处理领域比较流行的一种自监督预训练模型方法，通过对图像中的核心特征进行学习，得到一个能够提取图像关键特征的预训练模型，然后将该预训练模型应用到如图像分类等任务中。
[0004]但是，对比学习方法训练出的学习模型通常会存在以下问题：把所有的样本都映射到特征空间中的同一个点上，那此时样本对之间的相似度即为最大值，这时就出现了学习模型坍缩的问题，此时的学习模型也就没有了实际意义，这种情况下会造成对比学习模型的训练效果不佳。

技术实现思路

[0005]本公开提供了一种对比学习模型的训练方法、装置、电子设备和存储介质。其主要目的在于解决对比学习中模型易坍缩，进而造成对比学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对比学习模型的训练方法，其特征在于，包括：将样本图像输入预设对比学习模型，所述样本图像包含图像标识；基于预设对比学习模型中的G网络，对至少两个样本图像进行特征提取，得到样本特征对；将所述G网络提取的样本特征对输入预设对比学习模型中的D网络；基于所述D网络根据所述图像标识确定所述样本特征对之间的相似度；根据所述G网络提取的样本特征对及所述D网络确定对所述样本特征对之间的相似度，进行对抗训练。2.根据权利要求1所述的方法，其特征在于，所述根据所述G网络提取的样本特征对及所述D网络确定对所述样本特征对之间的相似度，进行对抗训练包括：当训练次数大于或等于第一预设轮次阈值后，固定G网络提取样本特征对所配置的网络参数，并对D网络确定相似度所配置的网络参数进行训练；在训练次数大于或等于第二预设轮次阈值后，固定D网络确定相似度所配置的网络参数，对G网络提取样本特征对所配置的网络参数进行训练。3.根据权利要求2所述的方法，其特征在于，所述据所述G网络提取的样本特征对及所述D网络确定对所述样本特征对之间的相似度，进行对抗训练包括：计算预设对比训练模型的损失函数；根据所述损失函数判断所述G网络和D网络是否同时满足收敛条件；当G网络和D网络同时满足收敛条件时，完成所述预设对比学习模型的训练。4.根据权利要求1所述的方法，其特征在于，在所述将样本图像输入预设对比学习模型之前，所述方法还包括：将每张样本图像按照至少两种预设图像增强方法，分别进行不叠加的图像增强处理。5.根据权利要求4所述的方法，其特征在于，所述基于所述D网络根据所述图像标识确定所述样本特征对之间的相似度包括：若所述样本特征对为同一图像标识经至少两种不同图像增强方法进行增强后的样本图像特征对，则基于所述D网络确定所述样本特征对之间的负相关相似度；若所述样本特征对为不同图像标识经随机图像增强方法进行增强后的样本图像特征对，则基于所述D网络确定所述样本特征对之间的正相关相似度。6.根据权利要求3所述的方法，其特征在于，所述方法还包括：将待检测图像输入训练后的预设对比学习模型；基于所述预设对比模型中的G网络提取所述待检测图像的图像特征。7.一种对比学习模型的训练装置，其特征在于，包括：第一输入单元，用于将样本图像输入预设对比学习模型，所述样本图像包含图像标识；第一提取单元，用于基于预设对比学习模型中的G网络，对至少两个样本图像进行特征提取，得到样本特征对；第二输入单元，用于将所述G网络提取的样本特征对输入预设对比学习模型中的D网络；确定单元，用于基于所述D网络根据所述...

【专利技术属性】
技术研发人员：谢晶，
申请(专利权)人：瀚依科技杭州有限公司，
类型：发明
国别省市：