构建3D模型特征向量和根据图像特征搜索3D模型方法技术

本发明专利技术提供一种提取图像特征搜索3D模型的方法，以解决用户在数量庞大的3D模型资源库中，通过图像搜索的方式，快速找到相同或相似的3D模型资源问题。所述方法包括：对3D模型资源建立多角度的二维投影，对二维投影作图像特征的向量提取并保存，当接收到图像搜索指令时，对待搜索图像作特征提取，根据搜索图像的特征和3D模型投影特征的匹配度，按照预设的准确率和查全率，给出资源库中的一个模型或多个相似的3D模型。本方法只需要用户提供和模型特征相似的图像，即可搜索到不同行业类别，不同复杂度的3D模型资源。其优点是以图像搜索3D模型，可以方便用户不需要准确描述3D模型特征，即可在海量的模型库中，直观快捷的找到模型资源。

Constructing 3D model feature vector and searching 3D model based on image feature

The invention provides a method of extracting image features to search 3D model, so as to solve the problem that users can quickly find the same or similar 3D model resources through image search in a large number of 3D model resource databases. The method includes: establishing multi angle two-dimensional projection for 3D model resources, extracting and saving the vector of image features for two-dimensional projection, when receiving the image search instruction, extracting the features of the search image, according to the matching degree of the features of the search image and the projection features of 3D model, and according to the preset accuracy and recall, giving a model or multiple phases in the resource base Similar 3D model. In this method, users only need to provide images similar to model features, and then 3D model resources of different industry categories and different complexity can be searched. Its advantage is to search 3D model by image, which is convenient for users to find model resources in massive model database without accurately describing 3D model features.

【技术实现步骤摘要】
构建3D模型特征向量和根据图像特征搜索3D模型方法
本专利技术涉及用于计算机的3D建模和模型特性的抽取，涉及应用电子设备进行识别的方法，尤指一种构建3D模型特征向量和根据图像特征搜索3D模型的方法。
技术介绍
随着互联网技术的发展，3D技术的不断进步，将会有越来越多的互联网应用以3D模型的方式呈现给用户，包括网络游戏、虚拟社区、电子商务、远程教育、家装、工业设备、BIM建筑等等，各个行业的3D模型资源越来越多，而3D模型越来越复杂，如何快速的找到用户想要的3D模型资源，就成为了一个需要迫切解决的问题。类似于输入图像搜索图像的技术应用，用户也希望输入图像搜索3D模型资源。特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。深度学习(DeepLearning,DL)是机器学习的技术和研究领域之一，通过建立具有阶层结构的人工神经网络，在计算系统中实现人工智能。目前没有相关的模型搜索项目先例，而在较为成熟的“以图搜图”领域，传统搜索方法更多地注重图像色彩，而忽视了图像的纹理、形状等特征。基于深度学习的图像搜索技术，可以提取图像的高级语义信息，兼顾了颜色、纹理等特征，目前成为研究的热点。
技术实现思路
针对现有技术的缺失和科技术发展的需求，本专利技术的目的在于提供一种构建3D模型特征向量和根据图像特征搜索3D模型的方法。所述3D模型是一个虚拟的三维事物，关键特征有在一个三维坐标空间下的颜色、形状、角度、大小、尺寸、贴图图案、材质、纹理，而三维空间的模型视觉特征是多个平面角度的二维图像特征集合。本专利技术解决其技术问题所采用的技术方案之一是：提供一种构建3D模型特征向量的方法，包括如下步骤：S11.对3D模型文件做二维投影处理,通过选取不同三维角度观察拍摄模型得到多张二维的投影图；(投影图的数量无限制，是综合搜索准确度和搜索时间得到一个合理值。理论上投影图越多，搜索结果越准确，但是当投影图数量过多时会造成检索时间过长，影响到最终的结果展示体验。)S12.将得到的二维投影图像作为Resnet50深度学习网络的输入，提取Resnet50最后一层卷积特征，形成多维的归一化向量，先将图像进行resize，特征提取过程采用Resnet50在imagenet数据集上的预训练权重，网络计算过程中的池化方法为maxpooling，投影的特征参数包含尺寸、纹理、形状、轮廓、图案、颜色，最终将所有单个3D模型的多个投影特征提取成向量，存储在服务器的文件系统中；S13.给每一个投影建立数据库索引，同时将同一模型资源的索引之间的关联关系保存在数据库表中。本专利技术解决其技术问题所采用的技术方案之二是：根据图像特征搜索3D模型的方法，其特征在于包括如下步骤：S21.提供一个搜索入口，允许用户上传图像和进行搜索操作。S22.将搜索请求上送的图像作特征向量提取；S23.以搜索请求图像的特征向量作为查询条件，通过分布式结构的比对程序，同文件服务器中二维投影向量的特征匹配比对,比对时，评价标准是曼哈顿距离其中：d12为两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的曼哈顿距离；X1k，下标k表示维度，X1k是一个维度空间下的点坐标；x2k，同上X2k是有别于X1k是同一个空间维度下的另一个点坐标，两者间的距离即为曼哈顿距离和向量内积为二维空间内的向量a的大小；为二维空间内的向量b的大小；θ为向量a和b的夹角；(当采用曼哈顿距离时，距离越小，向量越接近，图像越相似；采用向量内积时，内积越大，向量间夹角越小，图像越相似。)图像的最终结果为其对应的多张投影向量计算结果的累加，将匹配比对结果按差异性由小到大排列，并按照预设的准确率和查全率筛选，最终得到一个或多个匹配的投影，并获得该批投影的索引；S24.根据筛选后的投影索引，通过数据库查询定位到具体的3D模型资源文件，并作为搜索结果返回；S25.展示搜索到的3D模型。本专利技术提取搜索图像的特征，通过分布式计算平台Spark，逐一和存于hdfs中的每个模型的投影向量比较，得到特征匹配最接近的投影，然后通过数据库索引找到对应的模型资源地址，最后将3D模型资源通过网页的形式展示给客户与现有技术相比，本专利技术的优点是：以图像搜索3D模型，可以方便用户在没法用文字准确描述3D模型特征时，在海量的模型库中，直观快捷的找到模型资源。附图说明下面结合附图对本专利技术作进一步的描述。图1是本专利技术构建3D模型特征向量流程示意图。图2是本专利技术根据图像特征搜索3D模型的方法流程示意图，具体实施方式参见附图，本专利技术一种构建3D模型的方法的一个具体实施例，包括如下步骤：S31.对3D模型文件做二维投影处理,包括如下步骤：S311.将一个3D模型水平放置，先从顶部视角和底部视角渲染两张图像；S312.将模型按水平方向逆时针递增旋转，每旋转45度渲染一张图像，360度旋转后得到8张图像；S313.将模型沿水平线向上倾斜45度，沿倾斜角逆时针水平递增旋转，每旋转45度渲染一张图像，得到8张图像；S314.将模型沿水平线向下倾斜45度，依照步骤S313方法旋转渲染，同样得到8张图像；S315.综上共得到26张投影图；S32.将得到的26张二维投影特征图像作为Resnet50深度学习网络的输入，提取Resnet50最后一层卷积特征，形成512维的归一化向量，网络输入为224×224×3尺寸的图像，先将图像进行resize，特征提取过程采用Resnet50在imagenet数据集上的预训练权重，网络计算过程中的池化方法为maxpooling，投影的特征参数包含尺寸、纹理、形状、轮廓、图案、颜色，最终将所有单个3D模型的26个投影特征提取成向量存储在云服务器的分布式文件系统hdfs中，每一个模型的26个投影是一个具有关联关系的集合；S33.对每一个投影向量建立数据库索引，同时将同一模型资源的投影向量索引之间的关联关系则保存在数据库表中。本专利技术一种根据图像特征搜索3D模型的方法的一个具体实施例，包括如下步骤：S41.提供一个搜索入口，允许用户上传图像和进行搜索操作。S42.将搜索请求上送的图像作特征提取，获取搜索图像的特征向量；S43.以搜索请求图像的特征向量作为查询条件，通过分布式结构的比对程序，同二维投影向量文件服务器中的投影特征匹配比对,比对时，评价标准是曼哈顿距离其中：d12为两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的曼哈顿距离；X1k，下标k表示维度，X1k是一个维度空间下的点本文档来自技高网...

【技术保护点】
1.一种构建3D模型特征向量的方法，其特征在于包括如下步骤：/nS11.对3D模型文件做二维投影处理,通过选取不同三维角度观察拍摄模型得到多张二维的投影图；/nS12.将得到的二维投影图像作为Resnet50深度学习网络的输入，提取Resnet50最后一层卷积特征，形成多维的归一化向量，先将图像进行resize，特征提取过程采用Resnet50在imagenet数据集上的预训练权重，网络计算过程中的池化方法为maxpooling，投影的特征参数包含尺寸、纹理、形状、轮廓、图案、颜色，最终将所有单个3D模型的多个投影特征提取成向量，存储在服务器的文件系统中；/nS13.给每一个投影建立数据库索引，同时将同一模型资源的索引之间的关联关系保存在数据库表中。/n

【技术特征摘要】
1.一种构建3D模型特征向量的方法，其特征在于包括如下步骤：
S11.对3D模型文件做二维投影处理,通过选取不同三维角度观察拍摄模型得到多张二维的投影图；
S12.将得到的二维投影图像作为Resnet50深度学习网络的输入，提取Resnet50最后一层卷积特征，形成多维的归一化向量，先将图像进行resize，特征提取过程采用Resnet50在imagenet数据集上的预训练权重，网络计算过程中的池化方法为maxpooling，投影的特征参数包含尺寸、纹理、形状、轮廓、图案、颜色，最终将所有单个3D模型的多个投影特征提取成向量，存储在服务器的文件系统中；
S13.给每一个投影建立数据库索引，同时将同一模型资源的索引之间的关联关系保存在数据库表中。


2.一种根据图像特征搜索3D模型的方法，其特征在于包括如下步骤：
S21.提供一个搜索入口，允许用户上传图像和进行搜索操作；
S22.将搜索请求上送的图像作特征向量提取；
S23.以搜索请求图像的特征向量作为查询条件，通过分布式结构的比对程序，同文件服务器中二维投影向量的特征匹配比对,比对时，评价标准是曼哈顿距离



其中：d12为两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的曼哈顿距离；
X1k，下标k表示维度，X1k...

【专利技术属性】
技术研发人员：李韬，夏宇翔，
申请(专利权)人：长沙眸瑞网络科技有限公司，
类型：发明
国别省市：湖南;43