基于多视图卷积神经网络的三维模型检索方法技术

本发明专利技术公开了一种基于多视图卷积神经网络的三维模型检索方法，所述方法包括：采用最大池化层合并多个视图特征，再用基于长短期记忆网络的注意力机制动态地计算特征矩阵每个位置的权重，将特征矩阵上的元素进行加权求和从而得到三维模型的特征，通过反向传播算法最小化损失函数学习到最优的权重矩阵；权重矩阵和注意力得分由神经网络自动更新，神经网络训练结束后，将特征进行加权求和，得到三维模型的最终特征描述符；神经网络通过隐藏状态输出单个三维模型的最终特征描述符，根据欧式距离算出与查询模型距离较近的数据库中的其他三维模型从而完成检索任务。本发明专利技术可以在视觉域和空间域中挖掘多个视图之间的上下文信息，所提取的三维模型特征也更具鉴别性与显著性，从而提高了检索精度。

3D model retrieval method based on multi view convolution neural network

【技术实现步骤摘要】
基于多视图卷积神经网络的三维模型检索方法
本专利技术涉及多视图三维模型检索领域，尤其涉及一种基于多视图卷积神经网络的三维模型检索方法。
技术介绍
随着三维数据的爆炸式增长、三维重建技术[1]的快速发展和三维设备的广泛应用，近年来三维对象检索[2]和分类[3]的重要性日益提高。三维模型在医学诊断、智能机器人、自动驾驶汽车等领域也有着广泛的应用。与文本和图像相比，三维对象[4]不易处理，在互联网上存在着万亿个三维对象，如何有效地获取所需的三维对象成为一项重要且具有挑战性的任务。因此，如何实现快速有效的三维对象检索成为一个亟待解决的问题。目前三维模型检索主要有两大类[5]：第一类是基于文本进行三维模型检索，另外一类基于三维模型的内容检索。在第一类中，基于文本的检索算法通常做法是输入文本信息来搜索模型。由于文本所能承载的信息量过少，不能准确并充分的描述出三维模型的结构、纹理等关键性信息。第二类是基于内容的检索，基于内容的三维模型检索是针对模型的特征信息进行检索。一般步骤是：采用一些算法处理提取三维模型的拓扑结构[6]、几何形状[7]等特征，然后与数据库中其他模型的相关特征进行相似度计算。根据特征提取方式的不同，基于内容的三维模型检索可以分为基于模型和基于视图两种[8]：而基于模型的检索要求每个三维模型必须具有清晰完整的空间和结构信息，这限制了基于模型检索的实际应用。近些年来，因为神经网络在图像领域的杰出表现，人们把视线转向基于视图的检索。三维模型检索领域目前面临的主要挑战为[9]：如何挖掘出最具鉴别性的特征矩阵去描述三维模型。基于视图的三维模型检索方法领域目前面临的挑战主要有两个方面[10]：1、多视图特征融合方式的选择，当通过二维卷积神经网络得到三维模型的多个视图特征后，如何去有效的将多个视图特征合并成为一个三维模型特征。2、如何去挖掘三维模型多视图之间的相关信息，单个视图信息是有限的，而多个视图之间的上下文信息也是需要去探索的。
技术实现思路
本专利技术提供了一种基于多视图卷积神经网络的三维模型检索方法，本专利技术可以在视觉域和空间域中挖掘多个视图之间的上下文信息，所提取的三维模型特征也更具鉴别性与显著性，从而提高了检索精度，详见下文描述：一种基于多视图卷积神经网络的三维模型检索方法，所述方法包括：将每个三维模型沿着固定坐标轴垂直放置，将12个虚拟摄像机以θ＝30°为间隔围绕模型进行虚拟拍照，虚拟摄像机指向三维模型的质心后与地平面成30度的夹角，得到单个三维模型的十二个视图后，即可构成多视图模型数据库；采用最大池化层合并多个视图特征，再用基于长短期记忆网络的注意力机制动态地计算特征矩阵每个位置的权重，将特征矩阵上的元素进行加权求和从而得到三维模型的特征，通过反向传播算法最小化损失函数学习到最优的权重矩阵；权重矩阵和注意力得分由神经网络自动更新，神经网络训练结束后，将特征进行加权求和，得到三维模型的最终特征描述符；神经网络通过隐藏状态输出单个三维模型的最终特征描述符，根据欧式距离算出与查询模型距离较近的数据库中的其他三维模型从而完成检索任务。其中，所述方法还包括：将多视图模型数据库按照7：2：1的比例划分为训练集、测试集和验证集。进一步地，所述权重矩阵具体为：其中，ei＝wTtanh(Uvht-1+Avv′i+bv)w,Uv,Av,bv分别代表变换矩阵，前一时刻的隐藏状态ht-1的权重矩阵，v′i的权重矩阵以及偏置向量；ai即为特征矩阵v′对应的权重，也是特征的注意力得分。本专利技术提供的技术方案的有益效果是：1、本方法利用LSTM设计了一个针对三维模型视图序列特征的注意力机制，不仅可以使网络在模型一些重要的特征上自动学到更大的权重，还能挖掘视图序列之间的上下文关联信息，从而使得最终输出的三维模型特征更加具有显著性与鉴别性；2、本方法针对基于多视图卷积神经网络的三维模型检索设计了全新的网络结构；3、本方法大幅提高了模型检索的精度和效率，改善了传统方法针对多视图特征融合而导致信息缺失的问题。附图说明图1为一种基于多视图卷积神经网络的三维模型检索方法的流程图；图2为单个目标经过虚拟拍照后得到多视图的示意图；图3为基于多视图卷积神经网络的三维模型检索的查准-查全曲线的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1一种基于多视图卷积神经网络的三维模型检索方法，参见图1，该方法包括以下步骤：101：假设数据库中的每个三维模型沿着固定轴(例如，z轴)垂直放置，将12个虚拟摄像机以θ＝30°为间隔围绕模型进行虚拟拍照，这些虚拟摄像机指向三维模型的质心后与地平面成30度的夹角，得到单个三维模型的十二个视图后，即可构成多视图模型数据库；102：将多视图模型数据库按照7：2：1的比例划分为训练集、测试集和验证集，训练过程中通过反向传播算法最小化损失函数并不断更新网络参数；103：网络训练结束后，神经网络通过隐藏状态ht输出单个三维模型的特征，根据欧式距离算出与查询模型距离较近的数据库中的其他三维模型从而完成检索任务。综上所述，本专利技术针对基于多视图卷积神经网络的三维模型检索任务设计了全新的网络结构，充分挖掘三维模型的多视图之间的上下文信息，使得模型特征更加具有显著性，提高了模型检索的精度和效率。实施例2下面结合具体的实例、计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：201：将ModelNet40[11]数据库中的每个三维模型沿着固定轴(例如，z轴)垂直放置，将十二个虚拟摄像机以θ＝30°为间隔围绕模型进行虚拟拍照，这些虚拟摄像机指向三维模型的质心后与地平面成30度的夹角。得到单个三维模型的十二个视图后，即可构成多视图模型数据库；其中，上述步骤201主要包括：预定义一组视点，视点即为观测目标物体的视点，设L为预定义视点的数量，在本专利技术实施例中，L取为12。将十二个虚拟摄像机以θ＝30°为间隔围绕模型进行虚拟拍照，这些虚拟摄像机指向三维模型的质心后与地平面成30度的夹角。将记作单个目标的所有视图的集合，其中vi为ModelNet40数据库中单个训练样本的第i个视图。将数据库中所有物体进行投影，每个目标得到12个视图，所有目标的12个视图即构成了多视图模型数据库。以ModelNet40为例，ModelNet40是由普林斯顿大学收集构建的三维模型数据库，主要有12311个CAD三维模型，将数据库中的每个模型进行投影，即可以得到147732个视图，构成了多视图模型数据库。图2为从多视图模型数据库中取的某单个模型，经过虚拟拍照后的多视图示意图。202：将上述得到的多视图模型数据库按照7：2：1的比例划分为训练集、测试集和验证集，训练集主要用于神经网络模型参数的设定，验证集主要用于调整神本文档来自技高网...

【技术保护点】
1.一种基于多视图卷积神经网络的三维模型检索方法，其特征在于，所述方法包括：/n将每个三维模型沿着固定坐标轴垂直放置，将12个虚拟摄像机以θ＝30°为间隔围绕模型进行虚拟拍照，虚拟摄像机指向三维模型的质心后与地平面成30度的夹角，得到单个三维模型的十二个视图后，即可构成多视图模型数据库；/n采用最大池化层合并多个视图特征，再用基于长短期记忆网络的注意力机制动态地计算特征矩阵每个位置的权重，将特征矩阵上的元素进行加权求和从而得到三维模型的特征，通过反向传播算法最小化损失函数学习到最优的权重矩阵；权重矩阵和注意力得分由神经网络自动更新，神经网络训练结束后，将特征进行加权求和，得到三维模型的最终特征描述符；/n神经网络通过隐藏状态输出单个三维模型的最终特征描述符，根据欧式距离算出与查询模型距离较近的数据库中的其他三维模型从而完成检索任务。/n

【技术特征摘要】
1.一种基于多视图卷积神经网络的三维模型检索方法，其特征在于，所述方法包括：
将每个三维模型沿着固定坐标轴垂直放置，将12个虚拟摄像机以θ＝30°为间隔围绕模型进行虚拟拍照，虚拟摄像机指向三维模型的质心后与地平面成30度的夹角，得到单个三维模型的十二个视图后，即可构成多视图模型数据库；
采用最大池化层合并多个视图特征，再用基于长短期记忆网络的注意力机制动态地计算特征矩阵每个位置的权重，将特征矩阵上的元素进行加权求和从而得到三维模型的特征，通过反向传播算法最小化损失函数学习到最优的权重矩阵；权重矩阵和注意力得分由神经网络自动更新，神经网络训练结束后，将特征进行加权求和，得到三维模型的最终特征描述符；
神经网络通过隐藏状态输出单个三维模型的最终特征描述符，根...

【专利技术属性】
技术研发人员：刘安安，
申请(专利权)人：天津运泰科技有限公司，
类型：发明
国别省市：天津;12