基于非均匀投影的三维模型检索制造技术

本发明专利技术提出一种基于非均匀投影的三维模型检索方法，该方法通过描述三维模型表面信息量，刻画三维模型的不同位置所包含的信息量差异，同时给出基于信息量差异的视图拍摄方法。对于信息量稀疏的区域产生少量投影，对于信息量密集的区域产生较多的投影。采用非均匀的投影方法在保证模型描述精度的前提下，减少冗余信息，然后再利用三维模型提取出全景视图，将投影视图与全景图作为特征视图集。其次将特征视图集作为卷积神经网(Convolutional Neural Network,CNN)的输入，提取出视图集的深度特征并进行降维处理，将处理后的描述符作为模型检索的特征。最后计算该特征的欧式距离作为检索结果。此方法不仅利用全景图解决了非均匀投影视图缺少三维模型关联信息的问题，同时还采用非均匀投影视图解决了全景视图缺少三维模型完成信息的缺点。并且利用CNN对模型进行先分类再检索，有效提高了模型的检索速度与效率。

3D model retrieval based on non-uniform projection

【技术实现步骤摘要】
基于非均匀投影的三维模型检索
本专利技术属于计算机图形学领域，尤其涉及了一种基于非均匀投影的三维模型检索方法。
技术介绍
随着计算机图形处理能力和三维建模技术的日益增强，三维模型在工业设计、医学诊断等诸多领域得到了广泛应用，三维模型的数量也随之产生了几何式的增长，海量的数据为三维模型检索技术的发展带来了新的机遇与挑战。三维模型检索的前提是有效提取模型的特征描述符，基于投影的特征提取方法采用多个不同视角对模型进行投影，然后提取和汇总各投影的全局图像特征作为原三维模型的内容表征，如何更精确、更全面表示三维模型是一个需要研究的问题。目前方法的拍摄位置均匀分布在模型周围，所产生的海量投影数据代表性差，因此需要研究合理的拍摄方法去除冗余数据，产生少量且具有代表性的二维视图。本专利技术研究描述三维模型表面信息量的方法，刻画三维模型的不同位置所包含的信息量差异，同时给出基于信息量差异的视图拍摄方法。对于信息量稀疏的区域产生少量投影，对于信息量密集的区域产生较多的投影。采用非均匀的模型投影方法不仅减少了冗余信息，还提高了模型的描述精度，有利于提高三维模型的检索速度和精度。本专利技术将投影视图与全景视图结合，解决了投影视图只考虑了所有视图的特征数据，没考虑到视图之间的关联信息，全景视图只考虑了视图间的关联信息。对模型的特征描述不够全面等问题。
技术实现思路
本专利技术针对现有技术的不足之处，提供一种基于非均匀投影的三维模型检索方法，该方法首先根据三维模型信息量的复杂程度确定投影视点的位置与个数，提取出来三维模型的二维视图集，然后再利用三维模型提取出全景视图，构成特征视图集。其次将视图集作为卷积神经网络的输入，从而提取出视图集的深度特征并进行降维处理，处理后的整合描述符作为模型检索的特征。最后利用计算该特征的欧式距离作为检索结果。此方法不仅利用全景图解决了非均匀投影视图缺少三维模型关联信息的问题，同时还采用非均匀投影视图解决了全景视图缺少三维模型完成信息的缺点,并且利用卷积神经网络对模型进行先分类再检索，有效提高了模型的检索速度与效率。本专利技术是通过以下技术完成上述目的：基于非均匀投影的三维模型检索，包括以下几步。(1)读取三维模型off格式文件，若三维模型面包片数大于一万，则说明此三维模型为复杂模型，信息量密集，此时设置12个虚拟摄像机对三维模型进行投影，否则说明该三维模型为简单模型，信息量稀疏，设置6个虚拟摄像机对三维模型进行投影。(2)再将此三维模型沿质心轴线垂直放置，对于复杂模型，计算z轴正负半轴面包片数，若正负半轴面包片数均大于五千，此时正负半轴均设置6个虚拟摄像机；若正半轴面包片数大于五千，负半轴面包片数小于五千，则正半轴设置9个虚拟摄像机，负半轴设置3个虚拟摄像机；若负半轴面包片数大于五千，正半轴面包片数小于五千，则负半轴设置9个虚拟摄像机，正半轴设置3个虚拟摄像机；对于简单模型，直接在z轴正半轴设置6个虚拟摄像机，z轴正半轴摄像机离水平夹角正30度，并根据摄像机个数均匀放置，z轴负半轴摄像机离水平夹角负30度，并根据摄像机个数均匀放置。(3)构建与三维模型质心轴线平行的圆柱体，用该圆柱体包围三维模型，将三维模型投影到圆柱体侧面，得到全景视图，全景视图与步骤(1)投影所得多视图构成特征视图集。(4)在卷积神经网络VGG-M模型的第一个全连接层上添加一层视图池化层，对特征视图集进行分类训练，最终得到训练完成的分类器和三维模型特征集合，并采用PCA对三维模型特征降维。(5)模型检索时，以三维模型作为输入，首先提取该模型的特征视图集，然后输入到分类器中进行分类，与同一类别中的模型进行欧式距离计算，最终将距离最小的八个模型作为检索结果输出到检索列表。所述步骤(1)、(2)渲染方法将三维模型沿质心轴线垂直放置，根据三维模型的信息量稀疏情况，设置位置与数量不同的虚拟相机并对准三维模型质心方向，拍摄得到渲染视图。上述步骤(3)提取全景视图，构建平行于三维模型主轴的圆柱体，用圆柱体包围三维模型，将圆柱体表面离散化成点集，其中p代表点集总量。对于点集中每一点的m值，在与m等高的三维模型主轴上都能找到一个对应点n，m与n相连，如果与三维模型有交点，则表明该值不为0，将m放入全景图数据集中。最后，展开圆柱体的侧面得到全景图，经过展开后若全景视图大小小于所需视图集224*224大小，需进行像素扩张，大于视图集224*224大小，需进行像素裁剪。上述步骤(4)构建CNN模型时，该网络由五个卷积层、三个池化层和一个视图池化层、两个全连接层、一个softmax层组成。卷积核的取值为7*7，5*5，3*3，3*3，3*3，激活函数为relu。池化层采用最大池化，可以有效减少过拟合的现象。在全连接层的设定上，视图集经过卷积层后根据特征视图集中视图的数量生成同数量的特征向量，需要经过视图池化层整合成一个特征。在训练整个网络时使用反向传播算法，对实际输出与理想输出的误差做出比较，并用随机梯度下降对误差进行最小化。上述步骤(5)模型检索步骤方法如下。1.三维模型作为输入，首先对三维模型非均匀投影与提取全景视图，生成视图集，在经过分类器时提取该模型特征，并进行分类。2.同一类别中的模型进行加权欧式距离计算计算特征，间的距离，计算公式如下。的设定方便用户自己调整权值，选取欧式距离最小的八个模型作为检索结果，输出到界面上。附图说明图1是本专利技术的总体流程示意图。图2是本专利技术的三维模型的二维渲染过程。图3是本专利技术的三维模型的二维渲染图。图4是本专利技术的卷积神经网络结构图。图5是本专利技术的检索示例图1。图6是本专利技术的检索示例图2。具体实施方式以下结合附图对本专利技术作进一步说明，但本专利技术的保护范围并不仅限于此。如图1所示，基于非均匀投影的三维模型检索方法，包括离线预处理阶段和在线检索阶段，离线预处理阶段步骤如下。步骤一，对ImagNet-10数据集中共5005个三维模型进行渲染，如图2所示，该模型总面包片数为6509，说明此三维模型为简单模型，z轴正半轴面包片数为5233，z轴负半轴面包片为1276，则对渲染后的三维模型选择6个虚拟摄像机进行投影，每个虚拟照相机与水平夹角成正30度，每隔60度放置一个虚拟相机，虚拟摄像机对准模型质心，该三维模型产生六张视图作为三维模型的特征图。利用平行于三维模型主轴的圆柱体包围三维模型，将圆柱体的侧面离散化成点集，其中p代表点集总量。对于点集中每一点的m值，在与m等高的三维模型主轴上都能找到一个对应点n，m与n相连，如果与三维模型有交点，则表明该值不为0，将m放入全景图数据集中。最后，展开圆柱体的侧面得到全景图，经过展开后若全景视图大小小于所需视图集224*224大小，需进行像素扩张，大于视图集224*224大小，需进行像素裁剪。<本文档来自技高网...

【技术保护点】
1.基于非均匀投影的三维模型检索方法，包括以下几个步骤：/n(1)读取三维模型off格式文件，若三维模型面包片数大于一万，则说明所述维模型为复杂模型，信息量密集，此时设置12个虚拟摄像机对三维模型进行投影，否则说明所述三维模型为简单模型，信息量稀疏，设置6个虚拟摄像机对三维模型进行投影；/n(2)再将所述三维模型沿质心轴线垂直放置，对于复杂模型，计算z轴正负半轴面包片数，若正负半轴面包片数均大于五千，此时正负半轴均设置6个虚拟摄像机；若正半轴面包片数大于五千，负半轴面包片数小于五千，则正半轴设置9个虚拟摄像机，负半轴设置3个虚拟摄像机；若负半轴面包片数大于五千，正半轴面包片数小于五千，则负半轴设置9个虚拟摄像机，正半轴设置3个虚拟摄像机；对于简单模型，直接在z轴正半轴设置6个虚拟摄像机，z轴正半轴摄像机离水平夹角正30度，并根据摄像机个数均匀放置，z轴负半轴摄像机离水平夹角负30度，并根据摄像机个数均匀放置；/n(3)构建与三维模型质心轴线平行的圆柱体，用所述圆柱体包围三维模型，将三维模型投影到圆柱体侧面，得到全景视图，全景视图与步骤(1)投影所得二维图构成特征视图集；/n(4)在卷积神经网络VGG-M模型的第一个全连接层上添加一层视图池化层，对特征视图集进行分类训练，最终得到训练完成的分类器和三维模型特征集合，并采用PCA对三维模型特征降维；/n(5)模型检索时，以三维模型作为输入，首先提取所述模型的特征视图集，然后输入到分类器中进行分类，与同一类别中的模型进行欧式距离计算，最终将距离最小的八个模型作为检索结果输出到检索列表。/n...

【技术特征摘要】
1.基于非均匀投影的三维模型检索方法，包括以下几个步骤：
(1)读取三维模型off格式文件，若三维模型面包片数大于一万，则说明所述维模型为复杂模型，信息量密集，此时设置12个虚拟摄像机对三维模型进行投影，否则说明所述三维模型为简单模型，信息量稀疏，设置6个虚拟摄像机对三维模型进行投影；
(2)再将所述三维模型沿质心轴线垂直放置，对于复杂模型，计算z轴正负半轴面包片数，若正负半轴面包片数均大于五千，此时正负半轴均设置6个虚拟摄像机；若正半轴面包片数大于五千，负半轴面包片数小于五千，则正半轴设置9个虚拟摄像机，负半轴设置3个虚拟摄像机；若负半轴面包片数大于五千，正半轴面包片数小于五千，则负半轴设置9个虚拟摄像机，正半轴设置3个虚拟摄像机；对于简单模型，直接在z轴正半轴设置6个虚拟摄像机，z轴正半轴摄像机离水平夹角正30度，并根据摄像机个数均匀放置，z轴负半轴摄像机离水平夹角负30度，并根据摄像机个数均匀放置；
(3)构建与三维模型质心轴线平行的圆柱体，用所述圆柱体包围三维模型，将三维模型投影到圆柱体侧面，得到全景视图，全景视图与步骤(1)投影所得二维图构成特征视图集；
(4)在卷积神经网络VGG-M模型的第一个全连接层上添加一层视图池化层，对特征视图集进行分类训练，最终得到训练完成的分类器和三维模型特征集合，并采用PCA对三维模型特征降维；
(5)模型检索时，以三维模型作为输入，首先提取所述模型的特征视图集，然后输入到分类器中进行分类，与同一类别中的模型进行欧式距离计算，最终将距离最小的八个模型作为检索结果输出到检索列表。


2.根据权利要求1所述的基于非均匀投影的三维模型检索方法，其特征在于：所述步骤(1)、(2)渲染方法将三维模型沿质心轴线垂直放置，根据三维模型的信息量稀疏情况，设置位置与数量不同的虚拟相机并对准三维模型质心方向，拍摄得到渲染...

【专利技术属性】
技术研发人员：丁博，伊明，汤磊，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙;23