基于对比学习的模型训练方法及装置制造方法及图纸

本说明书实施例提供了基于对比学习的模型训练方法及装置，其中，一种基于对比学习的模型训练方法包括：获取第一样本图像和第二样本图像，将第一样本图像和第二样本图像输入待训练模型进行模型训练，得到图像处理模型；所述模型训练的具体方式有：对第一样本图像和第二样本图像进行图像特征加权计算得到第一加权向量和第二加权向量；对所述第一加权向量进行特征提取，得到第一特征提取向量，对所述第二加权向量进行特征提取，得到第二特征提取向量，对所述第一特征提取向量和所述第二特征提取向量进行特征相似度计算，得到特征相似度；将特征相似度与实际特征相似度输入损失函数计算对比损失，并基于对比损失进行参数更新。并基于对比损失进行参数更新。并基于对比损失进行参数更新。

【技术实现步骤摘要】
基于对比学习的模型训练方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种基于对比学习的模型训练方法及装置。

技术介绍

[0002]随着人工智能技术的快速发展，神经网络模型也随之孕育而生，其中，通过基于大量历史样本数据对神经网络模型中的模型参数进行迭代训练，能够使得神经网络模型从大量历史样本数据中学习规律，从而对新的样本做智能识别或对未来做预测，但针对某些特定的应用场景，获取大量的有标签样本数据的难度比较大。

技术实现思路

[0003]第一方面，本申请实施例提供了一种基于对比学习的模型训练方法，所述方法包括：
[0004]获取第一样本图像和第二样本图像；所述第二样本图像为所述第一样本图像的对比样本；
[0005]将所述第一样本图像和所述第二样本图像输入待训练模型进行模型训练，得到图像处理模型；
[0006]其中，所述待训练模型包括权重计算模块、第一神经网络、第二神经网络和相似度计算模块；所述模型训练的具体方式有：
[0007]所述权重计算模块对所述第一样本图像和所述第二样本图像进行图像特征加权计算，得到所述第一样本图像的第一加权向量和所述第二样本图像的第二加权向量；
[0008]所述第一神经网络对所述第一加权向量进行特征提取，得到第一特征提取向量，以及，所述第二神经网络对所述第二加权向量进行特征提取，得到第二特征提取向量；
[0009]所述相似度计算模块对所述第一特征提取向量和所述第二特征提取向量进行特征相似度计算，得到特征相似度；
[0010]将所述特征相似度与实际特征相似度输入损失函数计算对比损失，以及基于所述对比损失对所述权重计算模块、所述第一神经网络、所述第二神经网络和所述相似度计算模块进行参数更新；所述实际特征相似度根据所述对比样本与所述第一样本图像的样本关系确定。
[0011]可以看出，在本申请实施例中，在第一样本图像的基础上引入第二样本图像作为第一样本图像的对比样本，通过对比学习的方式对待训练模型进行训练，在训练过程中对第一样本图像和第二样本图像进行图像特征加权处理，通过加权处理的方式提升样本图像的特征显著性，增加对特征的关注度，并对加权处理得到的第一加权向量和第二加权向量进行特征提取，根据特征提取得到的第一特征提取向量和第二特征提取向量进行特征相似度计算，进而根据对比损失对待训练模型进行参数更新，通过图像特征加权处理和特征提取的配合，在加权处理能够提升样本图像的特征显著性的基础上进行特征提取时，特征提
取的难度得以降低，从而有助于提升训练效率、提高特征识别的精度。
[0012]第二方面，本申请实施例提供了一种图像分类方法，所述方法包括：
[0013]将第一图像和第二图像输入相似度计算模型进行特征相似度计算，得到特征相似度；其中，所述相似度计算模型包括权重计算模块、第一神经网络、第二神经网络和相似度计算模块，所述特征相似度计算的方式有：所述权重计算模块对所述第一图像和所述第二图像进行图像特征权重计算，得到所述第一图像的第一加权向量和所述第二图像的第二加权向量；所述第一神经网络对所述第一加权向量进行特征提取，得到第一特征提取向量，以及，所述第二神经网络对所述第二加权向量进行特征提取得到第二特征提取向量；所述相似度计算模块基于所述第一特征提取向量和所述第二特征提取向量进行特征相似度计算，得到所述特征相似度；
[0014]根据所述特征相似度确定所述第一图像与所述第二图像的分类结果。
[0015]可以看出，在本申请实施例中，在计算第一图像与第二图像的特征相似的过程中，通过对第一图像和第二图像进行图像特征加权处理，以此来增加对特征的关注度，并在对加权处理得到的第一图像的第一加权向量和第二图像的第二加权向量进行特征提取的基础上，根据特征提取得到的第一特征提取向量和第二特征提取向量进行特征相似度计算，以此通过图像特征加权处理和特征提取的配合，在图像特征加权处理能够提升图像的特征显著性的基础上进行特征提取时，特征提取的难度得以降低，还有助于提升特征相似度的计算准确性，从而提升在特征相似度基础上确定的图像分类的识别精度和识别准确度。
[0016]第三方面，本申请实施例提供了一种基于对比学习的模型训练装置，所述装置包括：
[0017]样本图像获取模块，用于获取第一样本图像和第二样本图像；所述第二样本图像为所述第一样本图像的对比样本；
[0018]模型训练模块，用于将所述第一样本图像和所述第二样本图像输入待训练模型进行模型训练，得到图像处理模型；
[0019]其中，所述待训练模型包括权重计算模块、第一神经网络、第二神经网络和相似度计算模块；所述模型训练的具体方式有：
[0020]所述权重计算模块对所述第一样本图像和所述第二样本图像进行图像特征加权计算，得到所述第一样本图像的第一加权向量和所述第二样本图像的第二加权向量；
[0021]所述第一神经网络对所述第一加权向量进行特征提取，得到第一特征提取向量，以及，所述第二神经网络对所述第二加权向量进行特征提取，得到第二特征提取向量；
[0022]所述相似度计算模块对所述第一特征提取向量和所述第二特征提取向量进行特征相似度计算，得到特征相似度；
[0023]将所述特征相似度与实际特征相似度输入损失函数计算对比损失，以及基于所述对比损失对所述权重计算模块、所述第一神经网络、所述第二神经网络和所述相似度计算模块进行参数更新；所述实际特征相似度根据所述对比样本与所述第一样本图像的样本关系确定。
[0024]第四方面，本申请实施例提供了一种图像分类装置，所述装置包括：
[0025]特征相似度计算模块，用于将第一图像和第二图像输入相似度计算模型进行特征相似度计算，得到特征相似度；其中，所述相似度计算模型包括权重计算模块、第一神经网
络、第二神经网络和相似度计算模块，所述特征相似度计算的方式有：所述权重计算模块对所述第一图像和所述第二图像进行图像特征权重计算，得到所述第一图像的第一加权向量和所述第二图像的第二加权向量；所述第一神经网络对所述第一加权向量进行特征提取，得到第一特征提取向量，以及，所述第二神经网络对所述第二加权向量进行特征提取得到第二特征提取向量；所述相似度计算模块基于所述第一特征提取向量和所述第二特征提取向量进行特征相似度计算，得到所述特征相似度；
[0026]分类结果确定模块，用于根据所述特征相似度确定所述第一图像与所述第二图像的分类结果。
[0027]第五方面，本申请实施例提供了一种基于对比学习的模型训练设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行第一方面所述的基于对比学习的模型训练方法。
[0028]第六方面，本申请实施例提供了一种图像分类设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行第二方面所述的图像分类方法。
[0029]第七方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的模型训练方法，其特征在于，所述方法包括：获取第一样本图像和第二样本图像；所述第二样本图像为所述第一样本图像的对比样本；将所述第一样本图像和所述第二样本图像输入待训练模型进行模型训练，得到图像处理模型；其中，所述待训练模型包括权重计算模块、第一神经网络、第二神经网络和相似度计算模块；所述模型训练的具体方式有：所述权重计算模块对所述第一样本图像和所述第二样本图像进行图像特征加权计算，得到所述第一样本图像的第一加权向量和所述第二样本图像的第二加权向量；所述第一神经网络对所述第一加权向量进行特征提取，得到第一特征提取向量，以及，所述第二神经网络对所述第二加权向量进行特征提取，得到第二特征提取向量；所述相似度计算模块对所述第一特征提取向量和所述第二特征提取向量进行特征相似度计算，得到特征相似度；将所述特征相似度与实际特征相似度输入损失函数计算对比损失，以及基于所述对比损失对所述权重计算模块、所述第一神经网络、所述第二神经网络和所述相似度计算模块进行参数更新；所述实际特征相似度根据所述对比样本与所述第一样本图像的样本关系确定。2.根据权利要求1所述的基于对比学习的模型训练方法，其特征在于，所述权重计算模块，采用如下方式进行图像特征加权计算：对所述第一样本图像进行向量转化，得到第一图像向量，以及，对所述第二样本图像进行向量转化，得到第二图像向量；计算所述第一图像向量中向量元素与所述第二图像向量的相似度，得到第一正向权重向量，以及，计算所述第二图像向量中向量元素与所述第一图像向量的相似度，得到第二正向权重向量；基于所述第一正向权重向量计算第一反向权重向量，以及，基于所述第二正向权重向量计算第二反向权重向量；基于所述第一正向权重向量和所述第一反向权重向量对所述第一图像向量进行加权处理，得到第一正向加权向量和第一反向加权向量，以及，基于所述第二正向权重向量和所述第二反向加权向量对所述第二图像向量进行加权处理，得到第二正向加权向量和第二反向加权向量；对所述第一正向加权向量和所述第一反向加权向量进行拼接处理，得到所述第一加权向量，以及，对所述第二正向加权向量和所述第二反向加权向量进行拼接处理，得到所述第二加权向量。3.根据权利要求2所述的基于对比学习的模型训练方法，其特征在于，所述基于所述第一正向权重向量和所述第一反向权重向量对所述第一图像向量进行加权处理，得到第一正向加权向量和第一反向加权向量，包括：将所述第一正向权重向量中的正向权重值与所述第一图像向量中向量元素的特征值进行对位相乘，得到所述第一正向加权向量；以及，将所述第一反向权重向量中的反向权重值与所述第一图像向量中向量元素的特征值进行对位相乘，得到所述第一反向加权向量；
以及，所述基于所述第二正向权重向量和所述第二反向权重向量对所述第一图像向量进行加权处理，得到第二正向加权向量和第二反向加权向量，包括：将所述第二正向权重向量中的正向权重值与所述第二图像向量中向量元素的特征值进行对位相乘，得到所述第二正向加权向量；以及，将所述第二反向权重向量中的反向权重值与所述第二图像向量中向量元素的特征值进行对位相乘，得到所述第二反向加权向量。4.根据权利要求2所述的基于对比学习的模型训练方法，其特征在于，所述第一加权向量中向量元素的数目，等于所述第一正向加权向量中向量元素的数目与所述第一反向加权向量中向量元素的数目之和；以及，所述第二加权向量中向量元素的数目，等于所述第二正向加权向量中向量元素的数目与所述第二反向加权向量中向量元素的数目之和。5.根据权利要求2所述的基于对比学习的模型训练方法，其特征在于，所述第一反向权重向量中第一向量元素的反向权重值，等于1减去所述第一正向权重向量中与...

【专利技术属性】
技术研发人员：吕乐宾，王洪斌，权佳成，李宽，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：