一种基于跨模态向导网络的三维模型草图检索方法技术

本发明专利技术涉及一种基于跨模态向导网络的三维模型草图检索方法，包括以下步骤：S1：获取三维模型训练数据和草图训练数据；S2：训练三维模型网络，并利用训练完成的三维模型网络学习得到三维模型特征空间；S3：以三维模型特征空间为目标空间训练草图网络，得到训练完成的草图网络；S4：利用训练完成的三维模型网络和草图网络提取的待检索三维模型特征和查询草图特征，检索得到用于相应应用的三维模型，与现有技术相比，本发明专利技术具有有效克服跨模态差异性问题等优点。

A 3D model sketch retrieval method based on cross modal guide network

【技术实现步骤摘要】
一种基于跨模态向导网络的三维模型草图检索方法
本专利技术涉及基于草图的三维模型检索领域，尤其是涉及一种基于跨模态向导网络的三维模型草图检索方法。
技术介绍
三维模型相对于二维图像具有更丰富的信息，更能全面体现客观实际，因而被广泛应用于建筑、医疗等各个领域。近年来，随着三维扫描，三维打印和三维重建技术的成熟，三维模型的数量也迅速增长。如何有效地从三维模型库中检索这些三维模型成为人们关注的重点。早期的检索方法主要是基于关键字检索和基于三维模型实例检索。基于关键字检索的缺点一方面在于需要事先对三维模型库进行大量的文本标注，耗时耗力；另一方面在于关键字很难直观地描述人们的查询需求。基于实例三维模型的检索是很直接的，但是实际中却很难实现，因为人们很少能获得作为查询输入的三维模型。近年来，手绘草图逐渐成为更受欢迎的人机交互方式。相对于三维模型，手绘草图是很方便获取的；相对于关键字，手绘草图可以更直观地表达人们的需求。因此基于草图的三维模型检索成为了计算机视觉领域备受关注的研究方向。早期的基于三维模型草图检索的方法主要是依赖人工设计的特征进行的。这些本文档来自技高网...

【技术保护点】
1.一种基于跨模态向导网络的三维模型草图检索方法，其特征在于，包括以下步骤：/nS1：获取三维模型训练数据和草图训练数据；/nS2：训练三维模型网络，并利用训练完成的三维模型网络学习得到三维模型特征空间；/nS3：以三维模型特征空间为目标空间训练草图网络，得到训练完成的草图网络；/nS4：利用训练完成的三维模型网络和草图网络提取待检索三维模型特征和查询草图特征，检索得到用于相应应用的三维模型。/n

【技术特征摘要】
1.一种基于跨模态向导网络的三维模型草图检索方法，其特征在于，包括以下步骤：
S1：获取三维模型训练数据和草图训练数据；
S2：训练三维模型网络，并利用训练完成的三维模型网络学习得到三维模型特征空间；
S3：以三维模型特征空间为目标空间训练草图网络，得到训练完成的草图网络；
S4：利用训练完成的三维模型网络和草图网络提取待检索三维模型特征和查询草图特征，检索得到用于相应应用的三维模型。


2.根据权利要求1所述的一种基于跨模态向导网络的三维模型草图检索方法，其特征在于，所述的步骤S2具体包括：
S21：构建三维模型网络；
S22：利用分类损失函数LAM-S，将三维模型训练数据输入三维模型网络进行训练，得到训练完成的三维模型网络；
S23：将三维模型训练数据输入训练完成的三维模型网络，学习得到所有三维模型训练数据的三维模型特征和一个分类别的三维模型特征空间；
S24：根据类别信息计算三维模型特征空间中各类别三维模型特征的类别中心。


3.根据权利要求2所述的一种基于跨模态向导网络的三维模型草图检索方法，其特征在于，所述的步骤S3具体包括：
S31：构建草图网络；
S32：利用三维模型特征的类别中心和类别信息构建向导损失函数LG；
S33：利用向导损失函数LG，将草图训练数据输入草图网络进行训练，得到训练完成的草图网络。


4.根据权利要求3所述的一种基于跨模态向导网络的三维模型草图检索方法，其特征在于，所述的向导损失函数LG将草图网络中提取的草图特征约束到三维模型特征空间中，并使具有相同类别信息的草图特征和三维模型特征对齐。


5.根据权利要求4所述的一种基于跨模态向导网络的三维模型草图检索方法，其特征在于，所述的向导损失函数LG的表达式为：
LG＝Lc-λLa






其中，Lc为草图特征和同类别的三维模型特征的类别中心的余弦距离，La为草图特征和不同类别的三维模型特征的类别中心的余弦距离之和，λ...

【专利技术属性】
技术研发人员：梁爽，戴伟东，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31