无源域无监督域适应的图像分类方法、系统、设备及介质技术方案

本发明专利技术公开了一种无源域无监督域适应的图像分类方法、系统、设备及介质，它们是一一对应的方案，方案中：在源域模型训练过程中对跨域一致的语义相似性进行显式建模，语义相似性是一种跨域鲁棒的知识，对语义相似性进行显式建模和迁移可以有效增强目标域上的泛化性能；然后，目标域训练过程中结合语义相似性矩阵用于对比损失的计算，不仅可以实现对模型中分类器的优化，同时准确表达样本在特征空间的精细位置关系，总体而言，本发明专利技术上述方案可以有效增强目标域上的泛化性能，提升目标域图像分类性能。性能。性能。

【技术实现步骤摘要】
无源域无监督域适应的图像分类方法、系统、设备及介质


[0001]本专利技术涉及图像分类
，尤其涉及一种无源域无监督域适应的图像分类方法、系统、设备及介质。

技术介绍

[0002]近几年，使用深度神经网络处理各类机器学习问题卓有成效，然而其优异的性能很大程度上依赖于大量的高质量有标注的数据集。高额的时间成本和人力成本却让人工标注数据集不切实际。传统深度学习方法也因领域偏移问题而无法很好地泛化到新的数据集上。对此，域适应利用在有大量标注样本的源域上学习的知识来帮助模型在另一个与源域相关但缺乏标注的目标域上的学习，通过减小领域偏移，能够节约标注成本。通常的域适应学习方法假设源域数据和目标域数据同时可见，但是在实际场景中，由于数据隐私等问题，源域数据只能用来训练源域模型，而不能共享给目标域训练，因此在目标域数据训练时，只有源域模型而没有源域数据，这一问题称为无源域适应（Source
‑
free Domain Adaptation）。
[0003]有源域适应方法通常基于域间差异度量或领域对抗学习来减小跨域分布的差异，这些方法需要源域数据和目标域数据同时存在，因此在无源域适应设置下不具有适用性。公开号为CN114332787A的中国专利技术专利申请《无源域无监督域自适应车辆再识别方法》在车辆再识别过程中，通过源域模型和目标域数据，利用关系保持一致损失和知识蒸馏损失训练一个生成器，目的是生成具有源域风格的伪目标样本，然后利用伪目标样本对模型进行微调，从而提升模型性能；其不再使用源域数据，而是利用隐含在源域模型中学习到的源域知识来作为指导，从而促进目标域数据的风格向源域数据的风格进行迁移；授权公告号为CN115186773B的中国专利技术专利《一种无源的主动领域自适应模型训练方法及装置》引入了主动学习的方法来寻找信息量最大的目标样本进行标注，使得其最益于目标域的分类；公开号为CN114639021A的中国专利技术专利申请《一种目标检测模型的训练方法及目标划分方法》关注无源的目标检测域适应问题，提出使用教师
‑
学生框架进行训练，其中学生模型采用知识蒸馏和权重正则化策略更新；公开号为CN114528913A的中国专利技术专利申请《基于信任和一致性的模型迁移方法、装置、设备及介质》在目标域训练过程中使用对偶分类网络进行模型自适应学习，并使用基于信任和一致性机制进行训练优化；授权公告号为CN115546567B的中国专利技术专利《一种无监督领域适应分类方法、系统、设备及存储介质》提出近邻对齐损失、正则损失、分散损失、跨视图对齐损失和跨视图近邻对齐损失，迭代地提升目标域模型的图像分类能力；公开号为CN115019106A的中国专利技术专利申请《基于对抗蒸馏的鲁棒无监督域自适应图像分类方法及装置》在目标域训练过程中将知识蒸馏和对抗训练结合起来，在保持对目标域自然样本分类性能的同时，有效地提升了对目标域对抗样本的分类性能和模型的鲁棒性。针对无源域适应任务，以上列举的各类方案主要依赖伪标签、聚类或者近邻信息对模型进行自监督学习，但是会受到标签噪声以及源域模型偏差的负面影响，对于跨域一致的知识挖掘不够充分。

技术实现思路

[0004]本专利技术的目的是提供一种无源域无监督域适应的图像分类方法、系统、设备及介质，可以实现对跨域鲁棒的语义相似性的显式建模和迁移，可以有效增强目标域上的泛化性能，实现目标域判别性特征的学习，从而提升目标域图像分类性能。
[0005]本专利技术的目的是通过以下技术方案实现的：一种无源域无监督域适应的图像分类方法，包括：在源域模型训练过程中对跨域一致的语义相似性进行显式建模，获得表示类别关系的语义相似性矩阵；基于训练后的源域模型构建教师模型与学生模型，每一目标域图像经过不同方式的增强处理后分别输入至教师模型与学生模型获得对应的预测概率，利用学生模型获得的预测概率作为查询样本，采用若干不同方式结合学生模型或者教师模型获得的预测概率构造正负样本，并结合所述语义相似性矩阵计算出相应的对比损失，综合所有对比损失更新所述学生模型的参数，并基于更新后的学生模型参数更新所述教师模型的参数；将待分类的图像输入至训练后的学生模型中，获得图像分类结果。
[0006]一种无源域无监督域适应的图像分类系统，包括：语义相似性矩阵获取单元，用于在源域模型训练过程中对跨域一致的语义相似性进行显式建模，获得表示类别关系的语义相似性矩阵；模型构建与训练单元，用于基于训练后的源域模型构建教师模型与学生模型，每一目标域图像经过不同方式的增强处理后分别输入至教师模型与学生模型获得对应的预测概率，利用学生模型获得的预测概率作为查询样本，采用若干不同方式结合学生模型或者教师模型获得的预测概率构造正负样本，并结合所述语义相似性矩阵计算出相应的对比损失，综合所有对比损失更新所述学生模型的参数，并基于更新后的学生模型参数更新所述教师模型的参数；图像分类单元，用于将待分类的图像输入至训练后的学生模型中，获得图像分类结果。
[0007]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0008]一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
[0009]由上述本专利技术提供的技术方案可以看出，在源域模型训练过程中对跨域一致的语义相似性进行显式建模，语义相似性是一种跨域鲁棒的知识，对语义相似性进行显式建模和迁移可以有效增强目标域上的泛化性能，并且通过使用源域语义相似度矩阵可实现对伪标签噪声的鲁棒性；然后，目标域训练过程中结合语义相似性矩阵用于对比损失的计算，不仅可以实现对模型中分类器的优化，同时准确表达样本在特征空间的精细位置关系，总体而言，本专利技术上述方案可以有效增强目标域上的泛化性能，提升目标域图像分类性能。
附图说明
[0010]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用
的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0011]图1为本专利技术实施例提供的一种无源域无监督域适应的图像分类方法的流程图；图2为本专利技术实施例提供的源域模型训练及跨域鲁棒知识提取的示意图；图3为本专利技术实施例提供的基于跨域鲁棒知识的目标域训练过程示意图；图4为本专利技术实施例提供的一种无源域无监督域适应的图像分类系统的示意图；图5为本专利技术实施例提供的一种处理设备的示意图。
具体实施方式
[0012]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0013]首先对本文中可能使用的术语进行如下说明：术语“包括”、“包含”、“含本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无源域无监督域适应的图像分类方法，其特征在于，包括：在源域模型训练过程中对跨域一致的语义相似性进行显式建模，获得表示类别关系的语义相似性矩阵；基于训练后的源域模型构建教师模型与学生模型，每一目标域图像经过不同方式的增强处理后分别输入至教师模型与学生模型获得对应的预测概率，利用学生模型获得的预测概率作为查询样本，采用若干不同方式结合学生模型或者教师模型获得的预测概率构造正负样本，并结合所述语义相似性矩阵计算出相应的对比损失，综合所有对比损失更新所述学生模型的参数，并基于更新后的学生模型参数更新所述教师模型的参数；将待分类的图像输入至训练后的学生模型中，获得图像分类结果。2.根据权利要求1所述的一种无源域无监督域适应的图像分类方法，其特征在于，所述在源域模型训练过程中对跨域一致的语义相似性进行显式建模，获得表示类别关系的语义相似性矩阵包括：利用源域图像数据训练所述源域模型，训练过程中对跨域一致的语义相似性进行显式建模，通过基于迹范数的正则化约束实现语义相似性矩阵与源域模型中分类器参数的联合优化，训练过程中的损失包含分类损失与基于迹范数的正则化约束；训练完毕后，获得各类别之间的语义相似性矩阵，语义相似性矩阵中每个元素表示不同类别之间的相似性。3.根据权利要求1所述的一种无源域无监督域适应的图像分类方法，其特征在于，所述利用学生模型获得的预测概率作为查询样本，采用若干不同方式结合学生模型或者教师模型获得的预测概率构造正负样本，并结合所述语义相似性矩阵计算出相应的对比损失包括：根据教师模型输出的预测概率筛选出相应目标域图像，筛选出的相应目标域图像经增强处理后通过学生模型获得的预测概率作为查询样本，将查询样本对应目标域图像经增强处理后通过教师模型获得的预测概率作为伪标签，将伪标签对应独热向量形式的概率向量作为正样本，除去伪标签对应类别之外的其他类别对应的独热向量形式的概率向量作为负样本，利用查询样本、正样本与负样本，并结合所述语义相似性矩阵计算基于伪标签的噪声鲁棒对比损失。4.根据权利要求1所述的一种无源域无监督域适应的图像分类方法，其特征在于，所述利用学生模型获得的预测概率作为查询样本，采用若干不同方式结合学生模型或者教师模型获得的预测概率构造正负样本，并结合所述语义相似性矩阵计算出相应的对比损失包括：将同一目标域图像经过不同方式的增强处理后分别经过学生模型与教师模型获得对应的预测概率，将学生模型获得的预测概率作为查询样本，将教师模型获得的预测概率作为正样本，将其他目标域图像经增强处理后通过教师模型获得的预测概率作为负样本，利用查询样本、正样本与负样本，并结合所述语义相似性矩阵计算基于单个样本的对比损失。5.根据权利要求1所述的一种无源域无监督域适应的图像分类方法，其特征在于，所述利用学生模型获得的预测概率作为查询样本，采用若干不同方式结合学生模型或者教师模型获得的预测概率构造正负样本，并结合所述语义相似性矩阵计算出相应的对比损失包括：将每一目标域图像经过增强处理后分别输入学生模型，通过特征提取与分类预测，获
得对应...

【专利技术属性】
技术研发人员：王子磊，张燚鑫，贺伟男，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：