域适应图像分类网络的训练方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种域适应图像分类网络的训练方法、系统、设备及存储介质，引入对比学习将相同语义的特征聚类，解决域适应图像分类任务在目标域标签不足的问题；本发明专利技术将特征对比学习改进为概率对比学习，通过在概率空间进行对比学习，减小聚类后的同语义特征与类权重之间的距离，提高分类的准确率；并且，仅添加了一个对比学习的损失（即总的概率对比损失），并未添加复杂的附加模块，参数量与之前的方法相比没有增加。总体来说，本发明专利技术在不添加其他附加模块的情况下提升模型整体性能，能够获得更精确的图像分类结果。确的图像分类结果。确的图像分类结果。

【技术实现步骤摘要】
域适应图像分类网络的训练方法、系统、设备及存储介质


[0001]本专利技术涉及图像分类
，尤其涉及一种域适应图像分类网络的训练方法、系统、设备及存储介质。

技术介绍

[0002]近年来，以深度神经网络为基础的全监督学习策略已在图像分类领域取得显著成就。这类全监督学习算法需要训练数据与测试数据分布相同。然而在实际应用中，训练（源域）数据与测试（目标域）数据往往存在差异。域适应方法旨在将源域知识迁移到目标域，以解决上述问题。
[0003]一般而言，分类模型需要在尽可能的聚类相同的语义特征的同时使其在特征空间中分布于分类权重附近。对于无监督及半监督域适应任务，由于目标数据缺乏监督信息，目标域特征难以按照语义聚类。而基于InfoNCE损失的实例对比学习方法能够有效的在语义层面上聚集相似的特征，同时具有良好的可迁移性。但是，直接应用基于InfoNCE损失的实例对比学习方法的增益非常有限，在一些具有强一致性约束的模型上甚至无明显增益。究其原因，因为之前的对比学习方法，普遍使用分类器之前的特征计算对比损失，分类权重没有参与到优化过程中，这类对比本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种域适应图像分类网络的训练方法，其特征在于，包括：获取源域图像集合，并根据训练方式获取目标域图像集合；对目标域图像集合中每一未标注的目标域图像进行两种不同的图像变换，获得的第一变换图像与第二变换图像构成一个目标域图像对，由所述源域图像集合、目标域图像集合以及所有目标域图像对构成训练数据集；将所述训练数据集输入至所述域适应图像分类网络；根据训练方式以及设定的损失类别，利用所述域适应图像分类网络特征提取器的输出、分类器的输出与softmax层的输出中的一种或多种计算相应的类别损失，构成所述域适应图像分类网络的基线损失；对于每一个目标域图像对，提取出所述域适应图像分类网络中softmax层的输出，构成一对概率向量；将每一对概率向量中第一变换图像对应的概率向量作为第一查询向量，将与第一查询向量不属于同一对概率向量中的其他所有概率向量作为相应第一查询向量的负样本，以及将每一对概率向量中第二变换图像对应的概率向量作为第二查询向量，将与第二查询向量不属于同一对概率向量中的其他所有概率向量作为相应第二查询向量的负样本；利用所有第一查询向量及对应的负样本，以及所有第二查询向量及对应的负样本计算总的概率对比损失；联合所述基线损失与总的概率对比损失训练所述域适应图像分类网络。2.根据权利要求1所述的一种域适应图像分类网络的训练方法，其特征在于，所述域适应图像分类网络包括：特征提取器、分类器与softmax层；所述特征提取器用于提取图像特征，图像特征输入至分类器，得到分类器的输出，分类器的输出输入至softmax层，得到softmax层的输出，即概率向量。3.根据权利要求1所述的一种域适应图像分类网络的训练方法，其特征在于，所述根据训练方式以及设定的损失类别，利用所述域适应图像分类网络特征提取器的输出、分类器的输出与softmax层的输出中的一种或多种计算相应的类别损失包括：设定的损失类别包括：图像的分类损失，以及对抗损失和/或最小最大化熵损失；其中：图像的分类损失包括：未标注图像的分类损失与有标注图像的分类损失；使用无监督训练方式时，有标注图像是指源域图像集合中的源域图像；使用半监督训练方式时，有标注图像包括源域图像集合中的源域图像，以及目标域图像集合中带有类别标签的目标域图像；未标注图像包括目标域图像集合中未标注的目标域图像，以及目标域图像对中的第一变换图像与第二变换图像；对抗损失利用源域图像与目标域的图像对应的特征提取器的输出、分类器的输出或者softmax层的输出计算；所述最小最大化熵损失利用目标域的图像对应的分类器的输出计算；所述目标域的图像包括：目标域图像集合中的目标域图像，以及目标域图像对中的第一变换图像与第二变换图像。4.根据权利要求1所述的一种域适应图像分类网络的训练方法，其特征在于，所述对于每一个目标域图像对，提取出所述域适应图像分类网络中softmax层的输出，构成一对概率向量包括：将一个目标域图像对记为，其中，x
i
表示第一变换图像，表示第二变换图像，i
为目标域图像的索引符号；一个目标域图像对经所述域适应图像分类网络中的特征提取器，提取出一对图像特征，再经所述域适应图像分类网络中的分类器，获得一对分类器的输出，其中，W表示分类器的权重参数，T为转置符号； 一对分类器的输出经所述softmax层转换为一对概率向量，其中，p
i
=( p
i,1
,
…
,p
i
,
C
)，，p
i
表示第一变换图像x
i
的概率向量，p
i,c
表示第一变换图像x
i
属于类别c的概率，表示第二变换图像的概率向量，表示第二变换图像属于类别c的概率，，C为总类别数。5.根据权利要求1或2或3或4所述的一种域适应图像分类网络的训练方法，其特征在于，所述将每一对概率向量中第一变换图像对应的概率向量作为第一查询向量，将与第一查询向量不属于同一对概率向量中的其他所有概率向量作为相应第一查询向量的负样本，...

【专利技术属性】
技术研发人员：王子磊，李俊杰，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：