一种基于多层次特征对齐网络的跨域三维模型检索方法技术

本发明专利技术公开了一种基于多层次特征对齐网络的跨域三维模型检索方法，所述方法包括：利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成多视图数据；构建多层次特征对齐网络；通过对齐网络、鉴别器对图像和三维模型的特征进行域层次的特征对齐；基于对齐网络，计算出图像和三维模型这两个域中每一个类的所有特征的质心，将同一类的质心之间的距离作为损失函数的一部分，利用反向传播算法最小化损失函数；当损失函数最小化时，利用训练好的多层次特征对齐网络分别提取图像和三维模型的特征，进行跨域的三维模型检索。本发明专利技术提出了一个新的网络框架：多层次的特征对齐网络，在域层次和类层次两个层次上对图像和三维模型两个域进行了特征对齐，提高了跨域三维模型检索精度。

A cross domain 3D model retrieval method based on multi-level feature alignment network

【技术实现步骤摘要】
一种基于多层次特征对齐网络的跨域三维模型检索方法
本专利技术涉及特征对齐、跨域学习、以及模型检索领域，尤其涉及一种基于多层次特征对齐网络的跨域三维模型检索方法。
技术介绍
随着技术的发展，三维模型的应用也越来越广泛，虚拟现实，现实增强，3D建模[1]等技术也日益成熟，三维模型这一数据形式呈现出爆破式地增长，三维模型的高效快速的检索和分类也成了一个很重要的研究问题[2]。但是之前的很多研究与方法都是以三维模型作为查询目标，随着用户需求的增加，检索方式也变得多种多样，查询目标也不局限三维模型本身，查询目标以图像的形式出现的频率也大大的增加。但是直接对图像和模型的进行简单的特征提取，会因为图像特征和三维模型特征在特征空间的分布差异性，导致一个较差检索结果，无法满足用户的检索需求。这一现状给进行跨域学习的三维模型检索方法的研究提供了一个很强的动机。同时目前公开的三维模型数据ModelNet40[3],ShapeNetCore55[4]是其中比较有代表性和数据规模较大的数据库，但是相比图像公开的数据库如ImageNet等上百万的数据量，还是相形见绌。我们知道，用于训练算法的数据规模，将会直接影响一个算法的性能。所以通过跨域学习利用图像领域大量公开的数据集带来大量的标签信息和先验知识迁移的三维模型检索领域也是一个比较有开创性的尝试。在三维模型检索领域，前人的研究工作主要可以分为两类：基于模型的方法和基于视图的方法。基于模型的方法，主要直接利用模型的结构信息和自身数据，比如体素，点云[5]等数据，这类方法存在计算复杂，数据稀疏无序的缺点，但是它直接反应了模型的自身特性。基于视图的方法，是利用虚拟相机对模型进行虚拟拍照获取三维模型的一组视图[6]作为模型的表示，视图本身不能表征目标三维模型的拓扑结构，基于视图进行三维模型检索有一定的局限性。在跨域学习领域中，跨域学习的方法也可以主要划分为两大类：传统的迁移的学习和深度迁移学习。传统的迁移学习利用不同域的数据分布去训练学习器[7]，深度迁移学习是利用深度学习获取其他领域的先验知识[8]。虽然已经有人在三维模型检索领域和跨域学习领域做了很多工作，但是很少有人将二者结合起来进行研究。基于此现状，本专利技术提出基于多层次特征对齐网络的跨域三维模型检索方法：目前面临的挑战主要有两个方面：1、如何提取不同域(图像和三维模型)的具有可识别的域不变性的特征；2、如何在跨域学习中充分探索每个类别的语义信息，更好提升检索的精度。
技术实现思路
本专利技术提供了一种基于多层次特征对齐网络的跨域三维模型检索方法，本专利技术提出了一个新的网络框架：多层次的特征对齐网络，在域层次和类层次两个层次上对图像和三维模型两个域进行了特征对齐，提高了跨域三维模型检索精度，详见下文描述：一种基于多层次特征对齐网络的跨域三维模型检索方法，所述方法包括：利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成多视图数据；构建多层次特征对齐网络；通过对齐网络、鉴别器对图像和三维模型的特征进行域层次的特征对齐；基于对齐网络，计算出图像和三维模型这两个域中每一个类的所有特征的质心，将同一类的质心之间的距离作为损失函数的一部分，利用反向传播算法最小化损失函数；当损失函数最小化时，利用训练好的多层次特征对齐网络分别提取图像和三维模型的特征，进行跨域的三维模型检索。其中，所述多层次特征对齐网络的特征提取部分采取CNN作为基础网络，提取图像特征和三维模型多视图特征时，该两部分的CNN网络进行参数共享；采取池化层将所有图像的特征整合成一个3D描述符作为三维模型的特征表示。进一步地，所述损失函数具体为：分类损失、图像和三维模型两个域的差异、不同域同一类的质心距离三项的求和；且，图像和三维模型两个域的差异、不同域同一类的质心距离分别乘以超参数。本专利技术提供的技术方案的有益效果是：1、通过域层次的特征对齐，使图像和三维模型的特征在特征空间中分布更加靠近，使得提出的特征具有可识别性，域不变性，能够有效提高三维模型检索的精度；2、通过类层次的特征对齐，使图像和三维模型的同一类的特征在特征空间的分布更加靠近，可以更好探索每个类别的语义信息，有效的提高了三维模型的检索精度。附图说明图1为一种基于多层次特征对齐网络的跨域三维模型检索方法的流程图；图2为利用虚拟相机生成三维模型的多视图的示意图；图3为多层次特征对齐网络流程图；图4为多层次特征对齐网络对不同域特征对齐的可视化过程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1一种基于多层次特征对齐网络的跨域三维模型检索方法，参见图1，该方法包括以下步骤：101：首先利用虚拟相机对三维模型数据库中的模型进行虚拟拍照，生成多视图数据；102：设计了新的网络框架：多层次特征对齐网络，用于在域层次和类层次上对图像和三维模型进行特征对齐。其中，多层次特征对齐网络的特征提取部分采取经典CNN网络(AlexNet等)作为基础网络结构。提取图像特征和三维模型多视图特征时，这两部分的CNN网络进行参数共享，然后采取池化层将三维模型多视图中所有视图的特征整合成一个3D描述符作为三维模型的特征表示。103：多层次特征对齐网络，为了更好提取不同域(图像和三维模型)的具有可识别的域不变性的特征，通过鉴别器对图像和三维模型的特征进行域层次的特征对齐。为了充分探索每个类别的语义信息，在类层次的特征对齐，本专利技术实施例又提出了新的算法：计算出图像和三维模型这两个域中每一个类的所有特征的质心，然后把同一类的质心之间的距离作为损失函数的一部分，利用反向传播算法最小化损失函数。104：当损失函数最小化时，利用训练好的多层次特征对齐网络分别提取图像和三维模型的特征，进行跨域的三维模型检索。综上所述，本专利技术实施例针对三维模型的跨域检索基于多层次特征对齐网络设计了全新的网络结构，对齐图像和三维模型的特征在特征空间的分布，提高了三维模型检索的精度。实施例2下面结合具体的实例、计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：201：首先利用虚拟相机去对三维模型数据库中模型进行虚拟拍照，生成多视图数据；其中，上述步骤201主要包括：预定义一组视点，视点即为观测目标物体的视点，设M为预定义视点的数量，在本专利技术实施例中，M取为12，即围绕在三维模型的质心每隔30度放置一个虚拟相机，视点完全均匀的分布在目标物体周围。通过选取不同的间隔角度，可以获取模型的不同组视图。将三维模型数据库中所有物体进行投影，每个目标得到一组视图，所有目标的一组视图即构成了多视图模型数据库。202：设计了新的网络框架：多层次特征对齐网络。在域层次和类层次上对图像和三维模型进行特本文档来自技高网...

【技术保护点】
1.一种基于多层次特征对齐网络的跨域三维模型检索方法，其特征在于，所述方法包括：/n利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成多视图数据；/n构建多层次特征对齐网络；/n通过对齐网络、鉴别器对图像和三维模型的特征进行域层次的特征对齐；/n基于对齐网络，计算出图像和三维模型这两个域中每一个类的所有特征的质心，将同一类的质心之间的距离作为损失函数的一部分，利用反向传播算法最小化损失函数；/n当损失函数最小化时，利用训练好的多层次特征对齐网络分别提取图像和三维模型的特征，进行跨域的三维模型检索。/n

【技术特征摘要】
1.一种基于多层次特征对齐网络的跨域三维模型检索方法，其特征在于，所述方法包括：
利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成多视图数据；
构建多层次特征对齐网络；
通过对齐网络、鉴别器对图像和三维模型的特征进行域层次的特征对齐；
基于对齐网络，计算出图像和三维模型这两个域中每一个类的所有特征的质心，将同一类的质心之间的距离作为损失函数的一部分，利用反向传播算法最小化损失函数；
当损失函数最小化时，利用训练好的多层次特征对齐网络分别提取图像和三维模型的特征，进行跨域的三维模型检索。


2.根据权利要求1...

【专利技术属性】
技术研发人员：刘安安，郭富宾，周河宇，宋丹，聂为之，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12