面向跨领域复杂视觉任务的孪生分类器确定性最大化方法技术

本发明专利技术涉及一种面向跨领域复杂视觉任务的孪生分类器确定性最大化方法，其特征在于，包括以下步骤：步骤1，构建神经网络框架并初始化；步骤2，将源域样本输入至特征生成器G中获得相应的特征表示；步骤3，在源域样本的标签信息的监督下，利用标准交叉熵损失函数计算在源域样本上模型预测输出p与真实标签y之间的经验风险误差等步骤；本发明专利技术的优越效果在于设计了一种新型的分类器确定性差异度量CDD，利用孪生分类器的目标预测间的类别相关性来衡量分类器的差异，同时会对目标特征的可鉴别性施加隐式的约束。加隐式的约束。

【技术实现步骤摘要】
面向跨领域复杂视觉任务的孪生分类器确定性最大化方法


[0001]本专利技术涉及迁移学习领域中一种无监督领域自适应的匹配方法，确切地说，涉及一种面向图像分类、语义分割和目标检测的复杂视觉任务的孪生分类器确定性最大化方法。

技术介绍

[0002]随着信息技术的飞速发展与数据规模的大幅增长，机器学习无论是在理论层面还是在实际应用中都有了很大的进展，尤其是近年来提出的深度神经网络(Deep Neural Network，DNN)，已成功地应用在包括计算机视觉、自然语言处理、医疗诊断等在内的多个领域，并取得了极大的突破。然而值得注意的是，深度学习所取得的巨大成功很大程度上依赖于大规模的带标签数据。但是在很多实际应用场景中，标记数据的获取需要耗费昂贵的时间与人力成本，从而导致了标注数据稀缺的问题。无监督领域自适应技术(Unsupervised Domain Adaptation，UDA)作为一种解决传统深度学习需要大量标注数据问题的手段随之提出，并受到了广泛关注。该技术旨在利用领域间的自适应将从标签丰富的源域中学到的知识迁移到无标签的目标域中。无监督域自适应放宽了训练数据和测试数据必须服从相同概率分布的约束，免于对每个任务都收集大量的标注数据，具有极强的研究价值与应用价值。
[0003]尽管现有的UDA方法在图像分类、语义分割、目标检测等计算机视觉任务上有着十分优越的表现，但是大多方法却倾向于仅面向某一个特定的任务场景，而无法直接应用到其他任务场景下，也很难泛化到包含不止一个任务场景的复杂视觉任务上。而随着人工智能与物联网的发展，同时涉及到诸如图像分类、语义分割、目标检测等多个任务场景的复杂视觉任务逐渐成为很多实际应用中亟需解决的问题。例如在无人驾驶领域中，对于由传感器获得的路面图像信息，既需要将其按照天气、路况、场景等进行分类，如晴天、雪天、拥堵、畅通、城市、乡村等，从而进一步调整车辆驾驶模式；也需要根据语义对图像进行分割，以识别出当前视野中哪些为街道、哪些为行人、哪些为建筑等；还需要对包括行人、车辆等进行目标检测甚至跟踪，从而精确调整车辆的行驶速度与方向。又如在医疗诊断领域，对医疗影像进行疾病分类、目标病变区域检测、按肌肉、血管、内脏等进行分割将同时作为进行最终医疗诊断的判断依据。以上的实际场景中所面临的视觉任务是极其复杂的，而现有的无监督域自适应方法却更适合于单一的任务场景。而在一个复杂视觉任务场景中同时应用多个不同模型来分别单独面向每个任务的话，势必会对系统整体的统一性、兼容性与高效性造成影响。
[0004]此外，如何利用有限的标签更好地实现领域间的对齐也是很重要的研究方向。其中主流的两类UDA方法分别基于最小化域间距离和基于生成式对抗网络GANs(Generative Adversarial Networks)。基于域间距离最小化的算法主要依赖于距离度量的选择，通过最小化域间距离来学习具有域不变性的特征，实现两个分布的对齐；基于生成式对抗网络的方法则一般通过域鉴别器或者孪生分类器与特征生成器间的博弈来学习具有良好迁移性
的特征表示。但是上述方法大都主要关注于特征表示的可迁移性，而忽略了分类器在目标域上的确定性，进而会导致特征可鉴别性的缺失，大大限制了算法的性能。例如最大化分类器差异方法(Maximum Classifier Discrepancy，MCD，)中所使用的简单的距离度量L1(两个n维向量间距离的简单度量方式，可定义为对应维度差的绝对值之和)范数，仅仅考虑了孪生分类器输出预测对应位置上的差异，却没有考虑到预测的确定性问题。这样的话当最小化孪生分类器间的L1距离时，就可能会输出诸如[0.34,0.33,0.33]和[0.34,0.33,0.33]这样的预测，导致生成位于决策边界附近的具有迷惑性的特征，从而极大地损害算法的性能。
[0005]因此，本专利技术提出了一种面向跨领域分类、分割和检测的复杂视觉任务的孪生分类器确定性最大化方法。该方法将图像分类、语义分割以及目标检测任务集成到了一个统一的算法框架中，可以同时适用于上述三类任务场景，从而达到对复杂视觉任务的支持。并且提出了一种新的度量方式，并基于该度量方式对现有域自适应算法做出了改进，能够在保证特征可迁移性的前提下，同时进一步保证特征的可鉴别性，从而实现对模型自适应性能的提升。
[0006]中国专利申请号CN202010687755.9公开了一种基于孪生条件对抗网络的跨领域多视图目标识别方法，包括：将孪生形式的网络结构作为特征提取器用于提取源域和目标域样本的特征；构建域鉴别器以对齐源域和目标域样本特征，采用源域样本特征训练分类器，使对齐后的源域和目标域特征具有类级可区分性；将对齐后的源域和目标域样本特征均输入到分类器中，分别获取输出结果，再将输出结果和对应的样本特征经过非线性映射后作为域鉴别器的输入；结合分类器和域鉴别器的分类损失作为网络损失，利用反向传播训练特征提取器，将目标域的分类结果也作为条件对抗网络的输入；利用训练好的特征提取器，提取目标域样本的特征，进行跨域的多视目标识别。
[0007]又如，中国专利技术专利公开号CN109800810A涉及一种基于不平衡数据的少样本学习分类器的构建方法，属于计算机数据分类
该方法：首先，根据孪生神经网络的一次学习和少样本学习特性设计了孪生平行全连接网络用于输入样本对的特征学习；然后，利用成本敏感优化器来处理输入样本对的不平衡问题，同时根据不同的误分类代价设计期望误分类成本函数，并将其融入网络参数优化算法中用于调节类不平衡分类权重。
[0008]上述专利技术专利申请存在的缺陷是，无法同时适用于多个视觉任务场景，从而无法处理复杂视觉任务下的问题，并且在进行跨领域适应的过程中仅关注于具有良好可迁移性的特征表示的学习，而无法保证特征的可鉴别性，从而限制甚至损害了模型的自适应性能。

技术实现思路

[0009]为了解决跨领域视觉任务适应场景单一以及其中特征表示的可鉴别性不足的问题，本专利技术提出了一种面向跨领域复杂视觉任务的孪生分类器确定性最大化方法。
[0010]本专利技术所述方法包括以下步骤：
[0011]步骤1，构建神经网络框架并初始化，包括特征生成器G以及孪生分类器C1，C2；
[0012]步骤2，将源域样本输入至特征生成器G中获得相应的特征表示，然后将生成的特征表示分别输入分类器C1，C2中获得标签预测输出p1，p2；
[0013]步骤3，在源域样本的标签信息的监督下，利用标准交叉熵损失函数计算在源域样
本上模型预测输出p与真实标签y之间的经验风险误差，并利用随机梯度下降算法(Stochastic Gradient Descent，SGD)进行反向传播，以更新特征生成器G以及孪生分类器C1，C2的参数，学习具有类级可区分性的源域样本特征；
[0014]步骤4，将目标域样本输入至特征生成器G中获得对应的特征表示，然后将特征表示输入至孪生分类器C1，C2中获得标签预测输出p1，p2；
[0015]步骤5，根据标签预测输出p1，p2构造孪生分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向跨领域复杂视觉任务的孪生分类器确定性最大化方法，其特征在于，包括以下步骤：步骤1，构建神经网络框架并初始化，包括特征生成器G以及孪生分类器C1，C2；步骤2，将源域样本输入至特征生成器G中获得相应的特征表示，然后将生成的特征表示分别输入分类器C1，C2中获得标签预测输出p1，p2；步骤3，在源域样本的标签信息的监督下，利用标准交叉熵损失函数计算在源域样本上模型预测输出p与真实标签y之间的经验风险误差，并利用随机梯度下降算法(Stochastic Gradient Descent，SGD)进行反向传播，以更新特征生成器G以及孪生分类器C1，C2的参数，学习具有类级可区分性的源域样本特征；步骤4，将目标域样本输入至特征生成器G中获得对应的特征表示，然后将特征表示输入至孪生分类器C1，C2中获得标签预测输出p1，p2；步骤5，根据标签预测输出p1，p2构造孪生分类器预测相关性矩阵A，其中相关性矩阵构造孪生分类器预测相关性矩阵A，其中相关性矩阵这里标签预测输出p1，p2为预测输出的softmax形式；步骤6，根据孪生分类器C1，C2预测相关性矩阵A定义分类器确定性差异度量CDD(Classifier Determinacy Disparity)，如下式(1)所示：上式(1)中：A
mn
即为分类器C1将样本分为第m类同时分类器C2将样本分为第n类的概率，看到分类器确定性差异度量CDD包含了所有分类器C1和分类器C2的预测不一致的概率，能够被用来衡量两个分类器C1，C2之间的差异；步骤7，基于分类器确定性差异度量CDD度量计算两个孪生分类器C1，C2，在目标域样本上的差异并将其作为损失函数，在源域标签信息的监督下更新孪生分类器C1，C2的参数，以使分类器确定性差异度量CDD损失函数最大化，通过最大化孪生分类器C1，C2之间的分类器确定性差异度量CDD差异，能够使两个孪生分...

【专利技术属性】
技术研发人员：李爽，刘驰，吕芳蕊，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：