一种基于异构孪生神经网络的三维模型草图检索方法技术

本发明专利技术涉及一种基于异构孪生神经网络的三维模型草图检索方法，包括以下步骤：S1：获取三维模型训练数据和草图训练数据；S2：利用两个模态独立网络别提取草图和三维模型的深度特征；S3：用一个模态共享网络将模态独立网络学习到的草图特征和三维模型特征映射到共享特征空间中；S4：利用训练完成的模态独立网络和模态共享网络提取查询草图特征和三维模型库中三维模型特征，进行草图和三维模型特征相似度计算并排序，得到检索结果。与现有技术相比，本发明专利技术具有有效克服跨模态差异性，网络设计简单易复现，为后续方法提高简单基线等优点。点。点。

【技术实现步骤摘要】
一种基于异构孪生神经网络的三维模型草图检索方法


[0001]本专利技术涉及草图检索领域，尤其是涉及一种基于异构孪生神经网络的三维模型草图检索方法。

技术介绍

[0002]现如今，三维模型的应用越来越广泛。例如建筑行业，利用三维模型模拟更加精准和直观的建筑模型。医疗行业，三维模型相对于二维图像更能精确地展示人体器官的构造，有助于手术进行和疾病分析。随着三维打印和三维扫描技术的发展，三维模型的获取也变得越来越简单。因此，近几年，三维模型的数量急剧增长。面对数量快速增加的三维模型，如何有效地进行管理就变成了一个关键的问题。如同二维图像的检索一样，三维模型的检索也是管理三维模型的一个重要的方面。如何快速，便捷，有效地检索三维模型成了计算机视觉和计算机图形学领域的一个热门研究。最常用的方法是基于文本的三维模型检索。它主要是对三维模型库里的三维模型进行文本标注。当输入检索关键字时，利用查询关键字和三维模型的标注进行匹配从而实现模型检索。该检索技术的优点是容易实现，技术门槛低。但是基于文本的三维模型检索有以下缺点：首先是目前大量的三维模型都是没有文本标注的，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，包括以下步骤：S1：获取三维模型训练数据和草图训练数据；S2：利用两个模态独立神经网络分别提取草图和三维模型的深度特征；S3：利用一个模态共享网络将模态独立网络学习到的草图和三维模型的深度特征映射到共享特征空间中；S4：利用训练完成的模态独立网络和模态共享网络提取查询草图特征和三维模型库中待检索三维模型特征，进行草图和三维模型特征相似度计算并排序，得到检索结果。2.根据权利要求1所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的步骤S1具体包括：S11：获取原始草图图像作为草图训练数据；S12：获取三维模型的多个二维视角图作为三维模型训练数据。3.根据权利要求1所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的步骤S2具体包括：S21：构建草图深度卷积神经网络，将草图训练数据输入到草图深度卷积神经网络模型，获取草图深度特征；S22：构建视角图深度卷积神经网络，获取三维模型训练数据的多个二维视角图的深度特征；S23：将二维视角图的深度特征进行特征融合，得到三维模型深度特征。4.根据权利要求3所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的视角图深度卷积神经网络包括参数共享的卷积神经网络，不同视角的二维视角图输入到不同的卷积神经网络中进行二维视角图的深度特征的提取。5.根据权利要求1所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的步骤S3具体包括：S31：构建一个模态共享网络；S32：利用模态共享网络输出的深度特征以及类别信息构建基线损失函数；S33：利用模态共享网络和基线损失函数，将模态独立网络学习的草图深度特征和三维模型深度特征映射到一个共享的特征空间中。6.根据权利要求5所述的一种基于异构孪生神经网络的三维模型草图检索方法，其特征在于，所述的模态共享网络将模态独立网络学到的草图深度特征和三维模型深度特征从原始的各自独立的特征空间映射到一个模态共享的特征空间中，所述的基线损失函数L
B
使具有相同类别信息的...

【专利技术属性】
技术研发人员：梁爽，戴伟东，蔡奕阳，
申请(专利权)人：同济大学，
类型：发明
国别省市：