一种无源的主动领域自适应模型训练方法及装置制造方法及图纸

本申请公开了一种无源的主动领域自适应模型训练方法及装置，其方法包括：基于源域数据集对目标域神经网络模型进行初始化处理；获取目标域数据集，并基于目标域神经网络模型从目标域数据集中提取出第一数据集；对第一数据集中每个目标数据进行标注处理，并基于处理后的第一数据集、第二数据集以及目标域神经网络模型对处理后的第一数据集进行更新；根据更新后的第一数据集判断目标域神经网络模型迭代是否结束。通过在训练过程中不要求源数据的存在，又可利用有限的标注数据集对模型进行高效的领域自适应训练方式，不仅没有假设源数据在适应过程中的可用性，还可有效地克服无监督领域自适应的限制，进而提高训练出的模型的准确性。性。性。

【技术实现步骤摘要】
一种无源的主动领域自适应模型训练方法及装置


[0001]本申请属于深度神经网络
，特别的涉及一种无源的主动领域自适应模型训练方法及装置。

技术介绍

[0002]近年来，深度神经网络在各种计算机视觉领域取得了显著的成果，然而它们往往假设用于训练和测试的数据是从一个独立同分布（independent and identical distribution, i.i.d.）中随机抽样获得的，这与许多现实世界的场景相违背，导致良好训练的模型的性能在应用中显著下降。对于这种情况，领域自适应（Domain Adaptation, DA）发挥了作用，它能使知识从源领域转移到目标领域。
[0003]领域自适应（Domain Adaptation, DA）作为迁移学习的一个特例，能使知识从源域泛化到相关的目标域。根据源域和目标域之间类别集关系的假设不同，即语义迁移，领域自适应主要可分为闭集领域自适应、开集领域自适应、局部领域自适应和通用领域自适应。其还可根据目标数据可达性的假设被分为无监督领域自适应、半监督领域自适应、弱监督领域自适应、零样本领域自适应，单样本领域自适应，少样本领域自适应以及主动领域自适应。在这些子领域中，主动领域自适应的目标是寻找信息量最大的目标样本进行标注，使得其最益于目标域的分类。
[0004]在现有的技术中，对于主动领域自适应模型的训练方式需要源域和目标域的数据并存，以利用域间关系优化模型，而源数据可及性的假设在实际应用中可能会失效，因为源数据可能被保护或分散存储；其次，在一些应用无源无监督领域自适应的技术中，唯一的知识来源来自在源域训练好的模型，它以假设的形式迁移，而在没有任何来自源域或目标域的“图像
‑
类别”对的情况下，无源无监督领域自适应使得对齐问题更具挑战性，且加剧了该问题的不适定性。

技术实现思路

[0005]本申请为解决上述提到的源数据可及性的假设在实际应用中可能会失效以及无监督领域自适应过程中对模型训练的限制等技术问题，提出一种无源的主动领域自适应模型训练方法及装置，其具体技术方案如下：第一方面，本申请实施例提供了一种无源的主动领域自适应模型训练方法，包括：基于源域数据集对目标域神经网络模型进行初始化处理；其中，源域数据集中包括至少两种类别的样本数据；获取目标域数据集，并基于目标域神经网络模型从目标域数据集中提取出第一数据集；其中，目标数据集中任意一个目标数据未标注有类别，目标数据集包括第一数据集以及第二数据集，第一数据集对应的标注价值大于第二数据集对应的标注价值；对第一数据集中每个目标数据进行标注处理，并基于处理后的第一数据集、第二数据集以及目标域神经网络模型对处理后的第一数据集进行更新；
根据更新后的第一数据集判断目标域神经网络模型迭代是否结束。
[0006]在第一方面的一种可选方案中，基于源域数据集对目标域神经网络模型进行初始化处理，包括：采集源域数据集；基于源域数据集包含的类别对每个样本数据进行平滑正则化处理；基于处理后的源域数据集对神经网络模型进行训练，并根据源域数据集训练的神经网络模型对目标域神经网络模型的结构和参数进行初始化处理。
[0007]在第一方面的又一种可选方案中，基于目标域神经网络模型从目标域数据集中提取出第一数据集，包括：将目标域数据集中每个目标数据输入至目标域神经网络模型中，预测出每个目标数据中每种类别的概率分布；基于每个目标数据中每种类别的概率分布得到概率差值，并将概率差值作为每个目标数据的第一困难指标；根据每个目标数据的第一困难指标的大小对目标域数据集中所有目标数据进行排序，并按照预设选取方式从排序后的目标域数据集中提取出第一数据集。
[0008]在第一方面的又一种可选方案中，在将概率差值作为每个目标数据的第一困难指标之后，在根据每个目标数据的第一困难指标的大小对目标域数据集中所有目标数据进行排序，并按照预设选取方式从排序后的目标域数据集中提取出第一数据集之前，还包括：基于每个目标数据中预测概率最大的类别，统计出每种类别在目标域数据集中的预测概率分布，并根据每种类别在目标域数据集中的预测概率分布确定出每种类别在目标域数据集中的迁移困难程度；根据每种类别在目标域数据集中的迁移困难程度确定出每个目标数据的第二困难指标；根据每个目标数据的第一困难指标的大小对目标域数据集中所有目标数据进行排序，并按照预设选取方式从排序后的目标域数据集中提取出第一数据集，包括：根据每个目标数据的第一困难指标以及第二困难指标，对目标域数据集中所有目标数据进行排序，并按照预设选取方式从排序后的目标域数据集中提取出第一数据集。
[0009]在第一方面的又一种可选方案中，基于处理后的第一数据集、第二数据集以及目标域神经网络模型对处理后的第一数据集进行更新，包括：将处理后的第一数据集以及第二数据集分别输入至目标域神经网络模型，并根据目标域神经网络模型的预测结果分别建立交叉熵损失函数、类间分离损失函数以及类内集中损失函数；基于交叉熵损失函数、类间分离损失函数以及类内集中损失函数对目标域神经网络模型进行参数优化处理；基于处理后的目标域神经网络模型从第二数据集中提取出第三数据集，并对第三数据集进行标注处理；将处理后的第三数据集添加至处理后的第一数据集中。
[0010]在第一方面的又一种可选方案中，基于处理后的目标域神经网络模型从第二数据集中提取出第三数据集，包括：
将第二数据集中每个目标数据输入至处理后的目标域神经网络模型中，预测出每个目标数据中每种类别的概率分布；基于每个目标数据中每种类别的概率分布得到概率差值，并将概率差值作为每个目标数据的第一困难指标；基于每个目标数据中预测概率最大的类别，统计出每种类别在第二数据集中的预测概率分布，并根据每种类别在第二数据集中的预测概率分布确定出每种类别在第二数据集中的迁移困难程度；根据每种类别在第二数据集中的迁移困难程度确定出每个目标数据的第二困难指标；根据每个目标数据的第一困难指标以及第二困难指标，对第二数据集中所有目标数据进行排序，并按照预设选取方式从排序后的第二数据集中提取出第三数据集。
[0011]在第一方面的又一种可选方案中，根据更新后的第一数据集判断目标域神经网络模型迭代是否结束，包括：判断更新后的第一数据集中所有目标数据的个数是否超过预设阈值；当检测到所有目标数据的个数超过预设阈值时，确定目标域神经网络模型迭代结束；当检测到所有目标数据的个数未超过预设阈值时，返回至基于处理后的第一数据集、第二数据集以及目标域神经网络模型对处理后的第一数据集进行更新的步骤，直至更新后的第一数据集中所有目标数据的个数超过预设阈值。
[0012]第二方面，本申请实施例提供了一种无源的主动领域自适应模型训练装置，包括：第一处理模块，用于基于源域数据集对目标域神经网络模型进行初始化处理；其中，源域数据集中包括至少两种类别的样本数据；第二处理模块，用于获取目标域数据集，并基于目标域神经网络模型从目标域数据集中提取出第一数据集；其中，目标数据集中任意一个目标数据未标注有类别，目标数据集包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无源的主动领域自适应模型训练方法，其特征在于，包括：基于源域数据集对目标域神经网络模型进行初始化处理；其中，所述源域数据集中包括至少两种类别的样本数据；获取目标域数据集，并基于所述目标域神经网络模型从所述目标域数据集中提取出第一数据集；其中，所述目标数据集中任意一个目标数据未标注有类别，所述目标数据集包括第一数据集以及第二数据集，所述第一数据集对应的标注价值大于所述第二数据集对应的标注价值；对所述第一数据集中每个目标数据进行标注处理，并基于处理后的所述第一数据集、所述第二数据集以及所述目标域神经网络模型对处理后的所述第一数据集进行更新；根据更新后的所述第一数据集判断所述目标域神经网络模型迭代是否结束。2.根据权利要求1所述的方法，其特征在于，所述基于源域数据集对目标域神经网络模型进行初始化处理，包括：采集源域数据集；基于所述源域数据集中每个样本数据的类别进行平滑正则化处理；基于处理后的所述源域数据集对神经网络模型进行训练，并根据所述源域数据集训练的神经网络模型对目标域神经网络模型的结构和参数进行初始化处理。3.根据权利要求1所述的方法，其特征在于，所述基于所述目标域神经网络模型从所述目标域数据集中提取出第一数据集，包括：将所述目标域数据集中每个所述目标数据输入至所述目标域神经网络模型中，预测出每个所述目标数据中每种类别的概率分布；基于每个所述目标数据中每种类别的概率分布得到概率差值，并将所述概率差值作为每个所述目标数据的第一困难指标；根据每个所述目标数据的第一困难指标的大小对所述目标域数据集中所有所述目标数据进行排序，并按照预设选取方式从排序后的所述目标域数据集中提取出第一数据集。4.根据权利要求3所述的方法，其特征在于，在所述将所述概率差值作为每个所述目标数据的第一困难指标之后，在所述根据每个所述目标数据的第一困难指标的大小对所述目标域数据集中所有所述目标数据进行排序，并按照预设选取方式从排序后的所述目标域数据集中提取出第一数据集之前，还包括：基于每个所述目标数据中预测概率最大的类别，统计出每种类别在所述目标域数据集中的预测概率分布，并根据所述每种类别在所述目标域数据集中的预测概率分布确定出每种类别在所述目标域数据集中的迁移困难程度；根据所述每种类别在所述目标域数据集中的迁移困难程度确定出每个所述目标数据的第二困难指标；所述根据每个所述目标数据的第一困难指标的大小对所述目标域数据集中所有所述目标数据进行排序，并按照预设选取方式从排序后的所述目标域数据集中提取出第一数据集，包括：根据每个所述目标数据的第一困难指标以及第二困难指标，对所述目标域数据集中所有所述目标数据进行排序，并按照预设选取方式从排序后的所述目标域数据集中提取出第一数据集。
5.根据权利要求1所述的方法，其特征在于，所述基于处理后的所述第一数据集、所述第二数据集以及所述目标域神经网络模型对处理后的所述第一数据集进行更新，包括：将处理后的所述第一数据集以及所述第二数据集分别输入至所述目标域神经网络模型，并根据所述目标域神经网络模型的预测结果分别建立交叉熵损失函数、类间分离损失函数以及类内集中损失函数；基于所述交叉熵损失函数、所述类间分离损失函数以及所述类内集中损失函数对所述目标域神经网络...

【专利技术属性】
技术研发人员：吕梦遥，陈辉，赵思成，邵天予，
申请(专利权)人：杭州涿溪脑与智能研究所，
类型：发明
国别省市：