一种基于异构孪生神经网络的三维模型草图检索方法技术

本发明专利技术涉及一种基于异构孪生神经网络的三维模型草图检索方法，包括以下步骤：S1：获取三维模型训练数据和草图训练数据；S2：利用两个模态独立网络别提取草图和三维模型的深度特征；S3：用一个模态共享网络将模态独立网络学习到的草图特征和三维模型特征映射到共享特征空间中；S4：利用训练完成的模态独立网络和模态共享网络提取查询草图特征和三维模型库中三维模型特征，进行草图和三维模型特征相似度计算并排序，得到检索结果。与现有技术相比，本发明专利技术具有有效克服跨模态差异性，网络设计简单易复现，为后续方法提高简单基线等优点。点。点。

【技术实现步骤摘要】
一种基于异构孪生神经网络的三维模型草图检索方法


[0001]本专利技术涉及草图检索领域，尤其是涉及一种基于异构孪生神经网络的三维模型草图检索方法。

技术介绍

[0002]现如今，三维模型的应用越来越广泛。例如建筑行业，利用三维模型模拟更加精准和直观的建筑模型。医疗行业，三维模型相对于二维图像更能精确地展示人体器官的构造，有助于手术进行和疾病分析。随着三维打印和三维扫描技术的发展，三维模型的获取也变得越来越简单。因此，近几年，三维模型的数量急剧增长。面对数量快速增加的三维模型，如何有效地进行管理就变成了一个关键的问题。如同二维图像的检索一样，三维模型的检索也是管理三维模型的一个重要的方面。如何快速，便捷，有效地检索三维模型成了计算机视觉和计算机图形学领域的一个热门研究。最常用的方法是基于文本的三维模型检索。它主要是对三维模型库里的三维模型进行文本标注。当输入检索关键字时，利用查询关键字和三维模型的标注进行匹配从而实现模型检索。该检索技术的优点是容易实现，技术门槛低。但是基于文本的三维模型检索有以下缺点：首先是目前大量的三维模型都是没有文本标注的，对这些海量的三维模型进行标注，需要消耗大量的人力资源。其次，文本信息大多时候很难直观地描述三维模型的检索需求。另外，近年来，人们开始研究基于实例的三维模型检索，该检索技术主要是利用三维模型去检索三维模型。输入的查询是一个实例的三维模型。该方法的优点是可以获得很高的检索精度，因为查询输入和待检索的模型库没有跨模态差异性。但是该方法的缺点也很明显，即人们大多时候是不具有查询输入的三维模型。
[0003]近年来，随着触屏技术的发展，手绘草图成为了一种便捷，直观的人机交互方式。例如，人们利用手绘草图去检索二维图像。在此背景下，基于草图的三维模型检索也越来越受到计算机视觉和图形学领域的关注。基于草图的三维模型检索具有以下优点：首先草图的获取相对于实例三维模型更加容易，尤其是智能手机和平板产品的出现，使得草图的获取更加便捷。其次，草图相对于文本可以更加直观地描述人们的检索需求。人们可以很直观地描绘一些细节上的需求。
[0004]现有技术中，初期基于三维模型草图的检索方法主要依赖人工设计的特征进行。另外，随着深度学习在计算机视觉领域的应用，各种深度学习方法也被应用在基于草图的三维模型检索中，主要分为两个方向：一方面是设计更加复杂的网络模型，方便更好的特征提取以及特征表示，另一方便是对损失函数的改进，设计越来越复杂的损失函数，损失的函数的设计的目标都是尽量使同类别的草图和三维模型聚集，不同类别的草图和三维模型尽可能分离。
[0005]这些深度学习方法有两个缺点：一方面是由于网络和损失函数设计的局限性，这些方法不能有效地减小跨模态差异性，检索的精度低。另一方是随着损失函数和模型网络的不断改进，这些深度学习方法变得越来越复杂，对于后续的三维模型草图检索工作来说，没有一个容易复现、改进和比较的基线。

技术实现思路

[0006]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于异构孪生神经网络的三维模型草图检索方法。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]一种基于异构孪生神经网络的三维模型草图检索方法，包括以下步骤：
[0009]S1：获取三维模型训练数据和草图训练数据；
[0010]S2：利用两个模态独立神经网络分别提取草图和三维模型的深度特征；
[0011]S3：利用一个模态共享网络将模态独立网络学习到的草图和三维模型的深度特征映射到共享特征空间中；
[0012]S4：利用训练完成的模态独立网络和模态共享网络提取查询草图特征和三维模型库中待检索三维模型特征，进行草图和三维模型特征相似度计算并排序，得到检索结果。
[0013]优选地，所述的步骤S1具体包括：
[0014]S11：获取原始草图图像作为草图训练数据；
[0015]S12：获取三维模型的多个二维视角图作为三维模型训练数据。
[0016]优选地，所述的步骤S2具体包括：
[0017]S21：构建草图深度卷积神经网络，将草图训练数据输入到草图深度卷积神经网络模型，获取草图深度特征；
[0018]S22：构建视角图深度卷积神经网络，获取三维模型的多个二维视角图的深度特征；
[0019]S23：将二维视角图的深度特征进行特征融合，得到三维模型深度特征。
[0020]优选地，所述的视角图深度卷积神经网络包括参数共享的卷积神经网络，不同视角的二维视角图输入到不同的卷积神经网络中进行二维视角图的深度特征的提取。
[0021]优选地，所述的步骤S3具体包括：
[0022]S31：构建一个模态共享网络；
[0023]S32：利用模态共享网络输出的深度特征以及类别信息构建基线损失函数；
[0024]S33：利用模态共享网络和基线损失函数，将模态独立网络学习的草图深度特征和三维模型深度特征映射到一个共享的特征空间中。
[0025]优选地，所述的模态共享网络将模态独立网络学到的草图深度特征和三维模型深度特征从原始的各自独立的特征空间映射到一个模态共享的特征空间中，所述的基线损失函数L
B
使具有相同类别信息的草图特征和三维模型特征在共享特征空间中对齐。
[0026]优选地，所述的基线损失函数L
B
的表达式为：
[0027][0028][0029]其中，f
i
为模态共享网络输出的进入分类器特征，包括草图的深度特征和三维模型的深度特征；w
i
为模态共享网络最后一层分类器的权重；表示对深度特征f
i
进行归
一化处理，表示对权重w
i
进行归一化处理；softmax表示softmax 激活；函数c表示类别总数；τ表示缩放因子，对进入softmax激活函数的z
i
进行缩放，z
i
为
‘
logit
’
，表示特征与该类中心的得分，t为目标类别，i表示第i个类别。
[0030]优选地，所述的模态共享网络包括多层全连接网络，所述的模态共享网络的输入是草图、三维模型的深度特征，输出是映射后的特征。
[0031]优选地，所述的步骤S4具体包括：
[0032]S41：将所有的待检索三维模型渲染成二维视角图；
[0033]S42：将查询草图输入草图深度卷积神经网络、模态共享网络中，提取查询草图特征，将待检索三维模型的多个二维视角图输入到视角图深度卷积神经网络、模态共享网络中，提取待检索三维模型特征；
[0034]S43：计算查询草图特征和所述有待检索三维模型特征之间的余弦距离，并进行排序；
[0035]S44：按照排序结果依次输出每个距离对应的三维模型，完成三维模型检索。
[0036]优选地，所述余弦距离sim(x,y)的计算公式如下：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，包括以下步骤：S1：获取三维模型训练数据和草图训练数据；S2：利用两个模态独立神经网络分别提取草图和三维模型的深度特征；S3：利用一个模态共享网络将模态独立网络学习到的草图和三维模型的深度特征映射到共享特征空间中；S4：利用训练完成的模态独立网络和模态共享网络提取查询草图特征和三维模型库中待检索三维模型特征，进行草图和三维模型特征相似度计算并排序，得到检索结果。2.根据权利要求1所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的步骤S1具体包括：S11：获取原始草图图像作为草图训练数据；S12：获取三维模型的多个二维视角图作为三维模型训练数据。3.根据权利要求1所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的步骤S2具体包括：S21：构建草图深度卷积神经网络，将草图训练数据输入到草图深度卷积神经网络模型，获取草图深度特征；S22：构建视角图深度卷积神经网络，获取三维模型训练数据的多个二维视角图的深度特征；S23：将二维视角图的深度特征进行特征融合，得到三维模型深度特征。4.根据权利要求3所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的视角图深度卷积神经网络包括参数共享的卷积神经网络，不同视角的二维视角图输入到不同的卷积神经网络中进行二维视角图的深度特征的提取。5.根据权利要求1所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的步骤S3具体包括：S31：构建一个模态共享网络；S32：利用模态共享网络输出的深度特征以及类别信息构建基线损失函数；S33：利用模态共享网络和基线损失函数，将模态独立网络学习的草图深度特征和三维模型深度特征映射到一个共享的特征空间中。6.根据权利要求5所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的模态共享网络将模态独立网络学到的草图深度特征和三维模型深度特征从原始的各自独立的特征空间映射到一个模态共享的特征空间中，所述的基线损失函数L
B
使具有相同类别信息的...

【专利技术属性】
技术研发人员：梁爽，戴伟东，蔡奕阳，
申请(专利权)人：同济大学，
类型：发明
国别省市：