一种基于孪生条件对抗网络的跨域多视目标识别方法技术

本发明专利技术公开了一种基于孪生条件对抗网络的跨域多视目标识别方法，包括：将孪生网络形式的网络结构作为特征提取器用于提取原域和目标域样本的特征；构建域鉴别器用于对齐原域和目标域样本特征，采用原域样本特征训练分类器，使对齐后的原域和目标域样本特征在类层次上具有区分性；将对齐后的原域和目标域样本特征均输入到分类器中，分别获取输出结果，再将输出结果和对应的样本特征经过非线性映射后作为域鉴别器的输入；结合分类器和域鉴别器的分类损失作为网络损失，利用反向传播训练特征提取器，将目标域的分类结果也作为条件对抗网络的输入；利用训练好的特征提取器，提取目标域样本的特征，进行跨域的多视目标识别，提升了识别精度。

【技术实现步骤摘要】
一种基于孪生条件对抗网络的跨域多视目标识别方法
本专利技术涉及多视目标识别领域，尤其涉及一种基于孪生条件对抗网络的跨域多视目标识别方法。
技术介绍
随着技术的发展，多视目标的识别任务受到了越来越多的关注[1]，也有了越来越多的突破[2]。但是三维模型的相关数据库还比较少，同时包含的三维模型数量量级比较低。例如比较有名的两个数据库：ModelNet40[3]，ShapeNetCore55[4]，虽然他们中的三维模型已经涉及生活中普遍存在的类别，也有很多研究者借助其去训练和验证自己提出的算法。但是他们自身包含三维物体的数量还是很有限的，对算法的研究和进一步提升有很大制约。同时相比图像数据集，例如ImageNet数据集百万量级以上，这个数量更是相距甚远。多视目标识别领域目前一种比较主流的方法，是利用相机去获取三维模型多个视角的视图集作为多视目标的表示，然后设计算法提取视图特征并进行融合，取得了出色的成果。比如GVCNN[5]、MVCNN[6]就是其中比较具有代表性的算法。在跨域学习领域中，目前由于对抗网络的提出，也涌现了越来越多优秀的方法，但是简单的对抗网络在复杂的数据样本中，很容易造成负迁移效果，问题亟待解决，比如JAN[7]。目前针对于跨域的多视目标识别的问题上，研究的成果还比较少，面临的挑战主要有三个方面：1、如何提取不同域(图像和三维模型)的具有可识别的域不变性的特征；2、如何捕捉不同域数据的多模态结构；3、如何在类层次上使得不同类之间的特征具有可鉴别力。r>
技术实现思路
本专利技术提供了一种基于孪生条件对抗网络的跨域多视目标识别方法，本方法根据新的网路结构可以很好的捕捉不同数据域的多模态结构，应对复杂数据样本的状况，可提取具有鉴别力的特征，从而达到提升跨域多视目标识别精度的目的，详见下文描述：一种基于孪生条件对抗网络的跨域多视目标识别方法，所述方法包括以下步骤：将孪生网络形式的网络结构作为特征提取器用于提取原域和目标域样本的特征；构建域鉴别器用于对齐原域和目标域样本特征，采用原域样本特征训练分类器，使对齐后的原域和目标域样本特征在类层次上具有区分性；将对齐后的原域和目标域样本特征均输入到分类器中，分别获取输出结果，再将输出结果和对应的样本特征经过非线性映射后作为域鉴别器的输入；结合分类器和域鉴别器的分类损失作为网络损失，利用反向传播训练特征提取器，将目标域的分类结果也作为条件对抗网络的输入；利用训练好的特征提取器，提取目标域样本的特征，进行跨域的多视目标识别。其中，所述非线性映射具体为：通过两个张量进行矩阵乘法去模拟一个协方差的效果，进而捕捉数据分布中的多模态结构。进一步地，所述域鉴别器与特征提取器共同组成条件对抗网络，用于捕捉不同域数据的多模态结构。进一步地，所述方法还包括：利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成多视图数据，将多视图数据作为网络的输入。本专利技术提供的技术方案的有益效果是：1、本专利技术设计了条件对抗网络结构，将输入样本的分类信息与样本特征一同输入到对抗网络中作为约束条件，现有域适应领域的方法通常采用以样本的特征作为输入，虽然可以在一定程度上取得比较好的迁移效果，但容易造成负迁移，本专利技术可以借助样本分类信息对于训练过程的迁移方向，进行一定程度的引导和约束，遏制负迁移；2、本专利技术设计了非线性映射模块整合样本特征和分类信息作为条件对抗网络的输入，现有技术提出的整合样本特征和分类信息的方法，都是一种线性方法，受限于线性结合本身拟合能力较差的事实，与之相比本专利技术可以捕捉不同域数据的多模态结构信息，在具有复杂数据分布的样本域上，也具有良好的迁移能力；3、本专利技术提出新的训练手段，使用目标的域(三维模型)分类结果作为一种伪标签联合目标域样本特征同原域(图像)样本特征和样本分类结果共同指导鉴别器，现有技术在无监督场景下往往会忽略这部分信息，因为目标域是没有标签的，分类结果是不准确的，但随着训练迭代次数的增加会变的更加准确，也能为鉴别器提供有用信息提高多视目标识别的精度；4、本专利技术设计了全新的条件对抗网络结构，可以进行跨域的多视目标识别，以往研究主要集中在三维物体本身的数据集上，对于利用其他域的数据集，并没有进行太多的研究，而本专利技术设计了一个全新的端到端的网络结构提高了识别精度。附图说明图1为一种基于孪生条件对抗网络的跨域多视目标识别方法的流程图；图2为利用虚拟相机生成三维模型的多视图的示意图；图3为孪生条件对抗网络的结构图；图4为AlexNet提取的原域和目标域样本特征的可视化图；图5为孪生条件对抗网络提取的原域和目标域样本特征的可视化图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1一种基于孪生条件对抗网络的跨域多视目标识别方法，参见图1，该方法包括以下步骤：101：利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成多视图数据，将多视图数据作为网络的输入；102：设计一个孪生网络形式的网络结构作为特征提取器用于提取不同域样本(模型的多视图数据，图像域的2D图像)的特征；其中，三维模型域作为目标域，图像域等作为原域，即通过特征提取器提取到原域样本特征和目标域样本特征。其中，孪生是设计了多路结构完全相同的AlexNet网络，且多路AlexNet网络参数共享，这样结构可以同时完成对三维模型和图像的特征提取。103：构建域鉴别器去分辨样本的域类别(原域或目标域)，该域鉴别器用于对齐原域和目标域样本特征，同时用原域样本特征训练一个分类器，使对齐后的原域和目标域样本特征可以在类层次上具有区分性；其中，域鉴别器是一个二分类的分类器，用于分辨输入来自原域还是目标域，构建域鉴别器的步骤为本领域技术人员所公知，本专利技术实施例对此不做赘述。104：将对齐后的原域和目标域样本特征都输入到分类器中，分别获取分类输出结果，再将分类输出结果和对应的样本特征经过非线性映射后作为域鉴别器的输入，域鉴别器与步骤102中的特征提取器共同组成条件对抗网络，更好的捕捉不同域数据的多模态结构；即，将对齐后的原域样本特征输入到分类器中，获取原域的分类输出结果，再将原域的分类输出结果和原域样本特征经过非线性映射后作为域鉴别器的输入；将对齐后的目标域样本特征输入到分类器中，获取目标域的分类输出结果，再将目标域的分类输出结果和目标域的样本特征经过非线性映射后作为域鉴别器的输入。其中，非线性映射由本专利技术设计的非线性映射模块完成，这个操作可以理解为通过两个张量进行矩阵乘法去模拟一个协方差的效果捕捉数据分布中的多模态结构。进一步地，对抗网络具体为：在设计域鉴别器和特征提取器的时候，让其互为竞争对抗的关系。域鉴别器的目的是为了分辨输入是来自哪个域，而特征提取器的目的是让域本文档来自技高网...

【技术保护点】
1.一种基于孪生条件对抗网络的跨域多视目标识别方法，其特征在于，所述方法包括以下步骤：/n将孪生网络形式的网络结构作为特征提取器用于提取原域和目标域样本的特征；/n构建域鉴别器用于对齐原域和目标域样本特征，采用原域样本特征训练分类器，使对齐后的原域和目标域样本特征在类层次上具有区分性；/n将对齐后的原域和目标域样本特征均输入到分类器中，分别获取输出结果，再将输出结果和对应的样本特征经过非线性映射后作为域鉴别器的输入；/n结合分类器和域鉴别器的分类损失作为网络损失，利用反向传播训练特征提取器，将目标域的分类结果也作为条件对抗网络的输入；/n利用训练好的特征提取器，提取目标域样本的特征，进行跨域的多视目标识别。/n

【技术特征摘要】
1.一种基于孪生条件对抗网络的跨域多视目标识别方法，其特征在于，所述方法包括以下步骤：
将孪生网络形式的网络结构作为特征提取器用于提取原域和目标域样本的特征；
构建域鉴别器用于对齐原域和目标域样本特征，采用原域样本特征训练分类器，使对齐后的原域和目标域样本特征在类层次上具有区分性；
将对齐后的原域和目标域样本特征均输入到分类器中，分别获取输出结果，再将输出结果和对应的样本特征经过非线性映射后作为域鉴别器的输入；
结合分类器和域鉴别器的分类损失作为网络损失，利用反向传播训练特征提取器，将目标域的分类结果也作为条件对抗网络的输入；
利用训练好的特征提取器，提取目标域样本的特征，进行跨域的多视目标识...

【专利技术属性】
技术研发人员：刘安安，郭富宾，周河宇，宋丹，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12