基于卷积神经网络与多视角图的三维模型检索方法及装置制造方法及图纸

本申请实施例涉及一种基于卷积神经网络与多视角图的三维模型检索方法、装置、电子设备及存储介质，上述方法，包括：获取非刚性三维模型的多张视角图，每张视角图分别对应不同的视角；通过卷积神经网络提取所述每张视角图的卷积特征；获取所述每张视角图的图像熵，并根据所述图像熵确定所述每张视角图的卷积特征对应的置信度；根据所述多张视角图的卷积特征及对应的置信度确定所述非刚性三维模型与三维模型中各个实体模型的相似度；根据所述相似度检索与所述非刚性三维模型匹配的实体模型。上述基于卷积神经网络与多视角图的三维模型检索方法、装置、电子设备及存储介质，能够更加准确地检索到三维模型。

3-D Model Retrieval Method and Device Based on Convolutional Neural Network and Multi-view Graph

【技术实现步骤摘要】
基于卷积神经网络与多视角图的三维模型检索方法及装置
本申请涉及三维设计领域，特别是涉及一种基于卷积神经网络与多视角图的三维模型检索方法、装置、电子设备及存储介质。
技术介绍
相对于图像、视频和声音等多种媒体数据，三维模型及其组成的三维场景能够更全面、真实地展现客观物体信息，符合人体视觉系统感知形式，因而被广泛应用在了产品设计、虚拟现实、影视动画等领域。快速准确地从模型库中检索到相似模型不仅能够减少构建重复模型的任务量，并能方便三维模型素材的管理与使用，使三维设计变得容易且迅速。在当前模型库构建中，三维模型检索大多采取基于文本的检索方式，此种方式需要人工对模型标注。但凭借人工主观判断，同一标注内的模型可能千差万别，存在检索结果不准确等不足。
技术实现思路
本申请实施例提供一种基于卷积神经网络与多视角图的三维模型检索方法、装置、电子设备及存储介质，能够更加准确地检索到三维模型。一种基于卷积神经网络与多视角图的三维模型检索方法，包括：获取非刚性三维模型的多张视角图，每张视角图分别对应不同的视角；通过卷积神经网络提取所述每张视角图的卷积特征；获取所述每张视角图的图像熵，并根据所述图像熵确定所述每张视角图的卷积特征对应的置信度；根据所述多张视角图的卷积特征及对应的置信度确定所述非刚性三维模型与三维模型库中各个实体模型的相似度；根据所述相似度检索与所述非刚性三维模型匹配的实体模型。一种基于卷积神经网络与多视角图的三维模型检索装置，包括：获取模块，用于获取非刚性三维模型的多张视角图，每张视角图分别对应不同的视角；提取模块，用于通过卷积神经网络提取所述每张视角图的卷积特征；置信度确定模块，用于获取所述每张视角图的图像熵，并根据所述图像熵确定所述每张视角图的卷积特征对应的置信度；相似度确定模块，用于根据所述多张视角图的卷积特征及对应的置信度确定所述非刚性三维模型与三维模型库中各个实体模型的相似度；检索模块，用于根据所述相似度检索与所述非刚性三维模型匹配的实体模型。一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权上所述的方法。上述基于卷积神经网络与多视角图的三维模型检索方法、装置、电子设备及存储介质，获取非刚性三维模型中对应不同视角的多张视角图，通过卷积神经网络提取每张视角图的卷积特征，获取每张视角图的图像熵，并根据图像熵确定每张视角图的卷积特征对应的置信度，再根据多张视角图的卷积特征及对应的置信度确定非刚性三维模型与三维模型库中各个实体模型的相似度，从而可根据相似度检索与非刚性三维模型匹配的实体模型，能够更加准确、快速地检索到三维模型。附图说明图1为一个实施例中基于卷积神经网络与多视角图的三维模型检索方法的步骤流程图；图2为一个实施例中卷积神经网络的组成示意图；图3为一个实施例中获取多张视角图的步骤流程图；图4为一个实施例中获取非刚性三维模型视角图的示意图；图5为一个实施例中获取图像熵并确定对应置信度的步骤流程图；图6为一个实施例中基于卷积神经网络与多视角图的三维模型检索装置的框图；图7为一个实施例中电子设备的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。如图1所示，本申请实施例提供一种基于卷积神经网络与多视角图的三维模型检索方法，包括以下步骤：步骤110，获取非刚性三维模型的多张视角图，每张视角图分别对应不同的视角。电子设备可获取非刚性三维模型的多张视角图，该非刚性三维模型可指的是需要进行检索的三维模型，该三维模型在各种处理作用下可能会产生形变。视角图指的是从特定角度渲染非刚性三维模型而成的图像，获取的多张视角图可分别对应不同的视角，即可从不同的视角渲染生成非刚性三维模型的视角图，获取的多张视角图可包含该非刚性三维模型绝大部分的形状、颜色等特征信息。相较于投影、手绘草图等其他三维模型的二维图像表征方式，视角图更贴近模型的真实存在。步骤120，通过卷积神经网络提取每张视角图的卷积特征。电子设备对非刚性三维模型降维，将其转换成方便处理的二维视角图像，这不仅使得处理对象变得规整统一，并为充分移植在二维图像处理领域性能卓越的卷积神经网络提供了可能。获取的多张视角图可作为非刚性三维模型的一组二维描述，电子设备可将获取的多张视角图输入预先建立的卷积神经网络，并通过该卷积神经网络提取每张视角图的卷积特征。在一些实施方式中，该卷积神经网络采用VGG16(VisualGeometryGroupNetwork16)基本架构，通过反复堆叠小型卷积核构筑16层深的卷积神经网络，该卷积神经网络包括13个卷积层及3个全连接层，其中，卷积层可采用尺寸为3×3的卷积核，从而可以使卷积神经网络的参数数量减少，降低计算的复杂度。在一些实施方式中，可根据图像数据集预先建立卷积神经网络，可根据图像数据集训练卷积神经网络的模型参数，该图像数据集可包含有大量的二维图像，例如，可以是ImageNet等大规模图像数据集。电子设备可先对图像数据集中的图像进行预处理操作，该预处理操作可包括对图像数据集中的图像进行平移、旋转、缩放及对称映射等中的至少一种，得到预处理后的图像，再根据包含有预处理后图像的图像数据集训练得到卷积神经网络，可以使卷积神经网络习得一定的平移不变性、旋转不变性与尺度变换不变性等，使卷积神经网络提取的卷积特征具有变换不变性，即便非刚性三维模型经过平移、旋转等处理，依然可使检索效果不下降，可使检索结果更为准确、稳定。在一些实施方式中，13个卷积层中可设置有多个最大池化层，对于从前一卷积层输出的特征图，最大池化层可选取邻域内特征点的最大值，若区域内其余特征点的值略有改变，经过最大池化层后结果不变，可以减小卷积层参数误差造成的估计均值漂移。卷积神经网络中可设置有激活函数，激活函数可用于判断对应区域的特征强度是否达到一定的标准。作为一种实施方式，卷积神经网络可采用ReLU激活函数，该激活函数的公式可如式(1)所示：f(x)＝max(0,x)(1)当区域的特征强度低于标准时，可输出0，表明不能提取该区域的特征，当特征强度达到标准时，可输出相应的特征，利用激活函数，与特征无关的区域不会影响到卷积神经网络的训练。在一些实施方式中，在全连接层后可设置有分类层，该分类层可用于将图像的多维特征映射为一个n维的概率分布。作为一种具体实施方式，分类层Softmax层的公式可如式(2)所示：其中，Z表示卷积层提取的多维特征，n表示类别数量，将预处理后的图像输入卷积层，经过卷积层及最大池化层后，可提取该图像的多维特征Z，并通过全连接层及分类层，计算多维本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络与多视角图的三维模型检索方法，其特征在于，包括：获取非刚性三维模型的多张视角图，每张视角图分别对应不同的视角；通过卷积神经网络提取所述每张视角图的卷积特征；获取所述每张视角图的图像熵，并根据所述图像熵确定所述每张视角图的卷积特征对应的置信度；根据所述多张视角图的卷积特征及对应的置信度确定所述非刚性三维模型与三维模型库中各个实体模型的相似度；根据所述相似度检索与所述非刚性三维模型匹配的实体模型。

【技术特征摘要】
1.一种基于卷积神经网络与多视角图的三维模型检索方法，其特征在于，包括：获取非刚性三维模型的多张视角图，每张视角图分别对应不同的视角；通过卷积神经网络提取所述每张视角图的卷积特征；获取所述每张视角图的图像熵，并根据所述图像熵确定所述每张视角图的卷积特征对应的置信度；根据所述多张视角图的卷积特征及对应的置信度确定所述非刚性三维模型与三维模型库中各个实体模型的相似度；根据所述相似度检索与所述非刚性三维模型匹配的实体模型。2.根据权利要求1所述的方法，其特征在于，在所述获取非刚性三维模型的多张视角图之前，所述方法还包括：获取图像数据集，所述图像数据集包含多张图像；对所述图像数据集中的图像进行预处理操作，所述预处理操作包括平移、旋转、缩放及对称映射中的至少一种；根据预处理后的图像数据集训练得到卷积神经网络。3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络包括13个卷积层及3个全连接层，在所述卷积层中设置有多个最大池化层，在所述全连接层后设置有分类层，各个卷积层均采用尺寸为3×3卷积核，所述分类层用于将通过所述卷积层提取的多维特征映射为n维的概率分布，其中，n为大于1的正整数；在所述根据预处理后的图像数据集训练得到卷积神经网络之后，所述方法还包括：删除所述全连接层和分类层。4.根据权利要求1所述的方法，其特征在于，所述获取非刚性三维模型的多张视角图，包括：在虚拟空间中，将非刚性三维模型包围在一个正方体内；在所述正方体的六个面中心及八个顶点处各设置对应的虚拟相机，每个虚拟相机均指向所述非刚性三维模型的中心；分别通过各个虚拟相机渲染对应视角的视角图。5.根据权利要求1所述的方法，其特征在于，所述获取所述每张视角图的图像熵，并根据所述图像熵确定所述每张视角图的卷积特征对应的置信度，包括：获取所述每张视角图的尺度，以及包含的各个像素点的像素灰度值；根据所述各个像素点的像素灰度值确定对应视角图的灰度分布特征；根据所述每张视角图的尺度及灰度分布特征计算所述每张视角图的图像熵；根据所述图像熵确定...

【专利技术属性】
技术研发人员：胡书山，朱天放，
申请(专利权)人：湖北大学，
类型：发明
国别省市：湖北,42