一种面向跨领域智能分析的多网络对抗学习方法和系统技术方案

本发明专利技术提供一种面向跨领域智能分析的多网络对抗学习方法和系统，在深度神经网络分类器的基础上增加了一组与类别一一对应的辨别器，每个辨别器分别应用于对其对应类别的源领域、目标领域数据分布进行对抗学习，从而减小领域间对应每一个模式的分布。在训练中，每个数据参与各辨别器训练的权重由数据在深度神经网络分类器正向传播后得到的伪标注决定。分类器的训练目标是通过调整参数，取得最大化辨别器损失函数和最小化分类器损失函数与辨别器损失函数之和的均衡。能有效地解决数据分布呈多模式结构、难以消除偏移的难题，并在多个跨领域智能分析任务中取得了着良好的效果。

【技术实现步骤摘要】
一种面向跨领域智能分析的多网络对抗学习方法和系统
本专利技术涉及机器学习
，更具体地，涉及一种面向跨领域智能分析的多网络对抗学习方法和系统。
技术介绍
深度神经网络在经过对源领域大规模标注数据的学习后，可以获得在多种相关领域智能分析任务中可用的可迁移特征。但是，由于不同的任务间存在分布偏移，基于源领域训练的深度特征表示并不能保证在目标领域有很好的泛化能力。这个问题的一个直接解决方式，就是在该深度表示的基础上，使用目标领域的有标注数据集进一步地调整深度神经网络。但恰当地调整深度神经网络需要足量的目标领域有标注数据，从而很可能产生昂贵的标注成本。如何能够避免大规模标注工作的同时得到更好的跨领域分析任务效果，已经成为了亟待解决的问题。通过学习一个鉴别模型来减小源领域和目标领域的分布偏移，这样的技术被称作迁移学习或是领域适应。之前的浅层迁移学习方法通过寻找领域之间共享的特征，或是重新估计无标签数据的权重来减小分布偏移。而现有技术中深度领域适应方法使用深度神经网络缩小领域间变化因子的同时，匹配不同领域的边缘数据分布，以用来自适应地学习可迁移的数据表示。领域适应范式旨在研究如何利用对目标领域无标注数据集的学习，来得到任务效果更佳的深度神经网络。现存的领域适应方法假定源领域和目标领域数据享有共同的数据空间，只是在数据空间上满足不同的分布。接下来，领域适应方法构造辨别模型，对不同领域的数据分布进行匹配，从而减少数据分布的偏移。最近的一些研究工作将深度神经网络应用在领域适应范式中，可以自适应地为跨领域分析任务发掘可迁移的特征表示，从而摆脱了传统的浅层领域适应中需要人为设计特征表示的困难，也解决了深度学习模型微调时的标注成本问题，在众多的跨领域分析任务中取得了良好的效果。对抗学习方法(adversariallearning)最近被应用在深度领域适应模型中，对抗学习的过程可以看做是我们要得到一个模型(例如CNN)，使得它在源领域数据集上得到的特征表示分布与在一个目标领域数据集上得到的特征表示分布尽量接近。在这个过程中使用一个鉴别器(discriminator)，它可以识别出一个特征表示到底是来自源领域还是来自目标领域。如果这个鉴别器的水平很高，而它又无法分清不同领域特征表示之间的区别，那么就说明我们需要的模型具有很好的跨领域表达能力。该方法拥有学习可迁移特征表示的能力，可以显著减小源领域和目标领域的分布偏移，基于该方法的深度领域适应模型也在各类深度领域适应方法中表现出众。然而，当源领域数据与目标领域数据呈现复杂的多模式结构时，已有的方法常常将源领域和目标领域的特征数据分布直接进行匹配，从而导致迁移不足与错误迁移等问题。其中，迁移不足问题指的是发生在领域间每一个模式对应的分布不能被充分匹配，而错误迁移问题则使不同模式对应的分布被错误地结合在一起的情况。
技术实现思路
本专利技术提供一种克服上述问题或者至少部分地解决上述问题的一种面向跨领域智能分析的多网络对抗学习方法和系统，解决了现有技术中源领域和目标领域的特征数据分布进行匹配时，由于源领域数据与目标领域数据呈现复杂的多模式结构导致迁移不足与错误迁移等问题。根据本专利技术的一个方面，提供一种多网络对抗学习方法，包括：基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；选择源领域有标注数据集目标领域无标注数据集，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数；将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数；基于所述深度神经网络分类器的损失函数和所述全连接神经网络辨别器组的损失函数，得到所述多网络分类器的目标函数；对所述多网络分类器进行训练，使所述全连接神经网络辨别器组损失函数最大化时，所述深度神经网络分类器损失函数与所述全连接神经网络辨别器损失函数之和最小化，得到训练后的深度神经网络分类器。作为优选的，基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器，具体包括：通过计算机视觉系统识别ImageNet数据集对图像识别分类器进行预训练，得到初始的深度神经网络分类器F(x)＝Gy(Gf(x))，所述深度神经网络分类器的分类类别数为K；Gf为所述深度神经网络分类器的底部特征层，所述底部部特征层用于将数据映射为df维向量；所述Gy为所述深度神经网络分类器的顶部特征层，所述顶部特征层用于将所述df维向量映射到标注空间；在所述深度神经网络分类器的基础上，增加K个输入为df维向量、输出区间为[0,1]的全连接神经网络辨别器组作为优选的，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数，具体包括：将所述源领域有标注数据集输入所述多网络分类器，得到源领域有标注数据集在所述深度神经网络分类器上的损失函数：式中，为所述源领域有标注数据集，L为交叉熵函数。作为优选的，将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数，具体包括：将所述源领域数据集中的标注删除，得到源领域无标注数据集，将所述源领域无标注数据集输入多网络分类器中正向传播，得到源领域无标注数据集中每个数据的伪标注向量；将目标领域无标注数据集输入到所述多网络分类器中正向传播，得到目标领域无标注数据集中每个数据的伪标注向量；基于所述源领域无标注数据集中每个数据的伪标注向量与所述目标领域无标注数据集中每个数据的伪标注向量，得到所述全连接神经网络辨别器组的损失函数。作为优选的，所述全连接层网络辨别器组的损失函数为：式中，Ld为全连接层网络辨别器组的损失函数，n为所述源领域无标注数据集与所述目标领域无标注数据集中的数据总数，D为所述源领域无标注数据集与所述目标领域无标注数据集的合集；di为数据类别标签，当xi属于源领域无标注数据集时，di＝1，为源领域无标注数据集中数据的伪标注向量；当xi属于目标领域无标注数据集时，di＝0，为目标领域无标注数据集的伪标注向量。作为优选的，所述多网络分类器的目标函数为：式中，θf为所述深度神经网络分类器的底部特征层的网络参数，θy为所述深度神经网络分类器的顶部特征层的网络参数，λ为预设定平衡参数。作为优选的，对所述多网络分类器进行训练具体包括：通过反向传播技术训练所述多网络分类器的网络参数，在每一个训练轮次中，通过随机梯度下降法对所述多网络分类器的参数进行更新，直至所述多网络分类器的参数收敛。一种多网络对抗学习系统，包括：多网络分类器模块，用于基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；选择源领域有标注数据集目标领域无标注数据集，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数；将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数；基于所述深度神经网络分类器的损失函数和所述全连接神经网络辨别器组的损失函数，得到所述多网络分类器的目标函数；训练模块，用于对所述多网络分类器进行训练，使所述全连接神经网络辨别器组损失函数最大化时，所述深度神经网络分类器损失函数与所述全连接神经网络辨别器损失函数之和最小本文档来自技高网...

【技术保护点】
一种多网络对抗学习方法，其特征在于，包括：基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；选择源领域有标注数据集目标领域无标注数据集，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数；将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数；基于所述深度神经网络分类器的损失函数和所述全连接神经网络辨别器组的损失函数，得到所述多网络分类器的目标函数；对所述多网络分类器进行训练，使所述全连接神经网络辨别器组损失函数最大化时，所述深度神经网络分类器损失函数与所述全连接神经网络辨别器损失函数之和最小化，得到训练后的深度神经网络分类器。

【技术特征摘要】
1.一种多网络对抗学习方法，其特征在于，包括：基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；选择源领域有标注数据集目标领域无标注数据集，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数；将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数；基于所述深度神经网络分类器的损失函数和所述全连接神经网络辨别器组的损失函数，得到所述多网络分类器的目标函数；对所述多网络分类器进行训练，使所述全连接神经网络辨别器组损失函数最大化时，所述深度神经网络分类器损失函数与所述全连接神经网络辨别器损失函数之和最小化，得到训练后的深度神经网络分类器。2.根据权利要求1所述的多网络对抗学习方法，其特征在于，基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器，具体包括：构建初始的深度神经网络分类器F(x)＝Gy(Gf(x))，所述深度神经网络分类器的分类类别数为K；Gf为所述深度神经网络分类器的底部特征层，所述底部部特征层用于将数据映射为df维向量；所述Gy为所述深度神经网络分类器的顶部特征层，所述顶部特征层用于将所述df维向量映射到标注空间；在所述深度神经网络分类器的基础上，增加K个输入为df维向量、输出区间为[0,1]的全连接神经网络辨别器组3.根据权利要求2所述的多网络对抗学习方法，其特征在于，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数，具体包括：将所述源领域有标注数据集输入所述多网络分类器，得到源领域有标注数据集在所述深度神经网络分类器上的损失函数：式中，为所述源领域有标注数据集，L为交叉熵函数。4.根据权利要求3所述的多网络对抗学习方法，其特征在于，将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数，具体包括：将所述源领域数据集中的标注删除，得到源领域无标注数据集，将所述源领域无标注数据集输入多网络分类器中正向传播，得到源领域无标注数据集中每个数据的伪标注向量；将目标领域无标注数据集输入到所述多网络分类器中正向传播，得到目标领域无标注数据集中每个数据的伪标注向量；基于所述源领域无标注数据集中每个数据的伪标注向量与所述目标领域无标注数据集中每个数据的伪标注向量，得到所述全连接神经网络辨别器组的损失函数。5.根据权利要求4所述的多网络对抗学习方法，其特征在于，所述全连接层网络辨别器组的损失函数为：

【专利技术属性】
技术研发人员：龙明盛，王建民，张育宸，黄向东，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11