基于块卷积神经网络的多视图三维模型检索方法技术

一种基于块卷积神经网络的多视图三维模型检索方法，通过针对多视图图像，使用块卷积层在视图特征的提取过程中挖掘视图之间的内在联系。根据每个视图特征与最大视图池化后的特征之间的余弦相似度来给每个视图分配不同的权重，利用了视图特征之间区分性，得到更有区分性的模型特征。在生成损失函数时不仅考虑了模型特征还考虑了视图特征，可以更好约束网络进行学习。该基于块卷积神经网络的多视图三维模型检索方法在相关的三维模型检索数据集中达到了优良的性能。

【技术实现步骤摘要】
基于块卷积神经网络的多视图三维模型检索方法
本专利技术涉及三维视觉领域，具体涉及一种基于块卷积神经网络的多视图三维模型检索方法。
技术介绍
随着三维表示技术和计算机硬件性能的发展，三维视觉越来越受到研究人员的关注。相比于传统的二维图像，三维视觉是对现实世界更逼真的描述，包含着三维物体的空间结构信息以及立体几何和轮廓曲线的特性。三维模型检索是三维视觉领域的一个研究热点。相关的研究方法可以分为两个阶段(1)基于传统方法的三维模型检索方法，(2)基于深度学习的三维模型检索方法。基于传统方法的三维模型检索方法是从三维模型的信息，如几何矩，表面分布，体积描述符和表面几何形状产生特征描述符，然后使用欧式距离来进行特征之间相似度的度量。然而，在实际的应用中使用传统方法对三维模型进行渲染和特征提取不仅计算量大而且效果并不理想。这些困难限制了相关传统方法的发展。在基于深度学习的三维模型检索方法中，包含基于模型的检索算法以及基于多视图的检索算法。基于模型的检索算法是直接在三维模型上使用深度神经网络提取特征，根据模型的不同表示，还可以分为基于体素的方法、基于本文档来自技高网...

【技术保护点】
1.一种基于块卷积神经网络的多视图三维模型检索方法，其特征在于，包括：/na)渲染三维模型得到三维模型的N个二维视图；/nb)将每个二维视图输入卷积神经网络，每个二维视图得到M个特征块，每个特征块的特征维度为P维；/nc)将每个特征块在P维的特征空间中根据欧氏距离寻找其k个近邻的块，利用中心块和k个近邻的块共同构建近邻图，每个近邻图包括k+1个顶点和k条无向边，k条无向边分别连接中心块和12个近邻块，采用(p

【技术特征摘要】
1.一种基于块卷积神经网络的多视图三维模型检索方法，其特征在于，包括：
a)渲染三维模型得到三维模型的N个二维视图；
b)将每个二维视图输入卷积神经网络，每个二维视图得到M个特征块，每个特征块的特征维度为P维；
c)将每个特征块在P维的特征空间中根据欧氏距离寻找其k个近邻的块，利用中心块和k个近邻的块共同构建近邻图，每个近邻图包括k+1个顶点和k条无向边，k条无向边分别连接中心块和12个近邻块，采用(pi,pj-pi)表示无向边的边特征，其中pi为中心块，pj为第j个近邻块，使用三维坐标(x,y,z)表示块在第z张二维视图的第x行第y列，两个块之间的边特征表示为(pi,pj-pi,ci,cj-ci)，ci为中心块的三维坐标，cj为第j个近邻块的三维坐标，边特征的维度为E维，通过公式对块进行卷积操作，得到新的块特征pi′，式中h为非线性函数，N(i)为第i个样本通过KNN算法获得的邻域样本；
d)将新的块特征pi′使用平均池化层融合块特征得到每张二维视图的视图特征，对视图特征使用一维卷积提取相邻视图之间的关系，通过最大视图池化得到二维视图的池化后的特征g，通过公式计算池化后的特征g与第j个视图特征fj之间的余弦相似度sj(fj,g)，式中D为特征维度，k为第k个维度，通过公式计算第j个二维视图余弦相似度的权重αj，式中si(fi,g)为池化后的特征g与第i个视图特征fi之间的余弦相似度，通过公式fj′＝αj×fj计算加权后的视图特征fj′，通过公式计算加权后的模型特征g′；
e)根据公式LDis＝β×Lmodel+γ×Lviews计算损失函数LDis，式中Lmodel为模型特征g′产生的损失函数值，Lviews为视图特征fj′产生的损失函数值，β为表示Lmodel权重大小的超参，γ为表示Lviews权重大小的超参，式中为第j个二维视图的视图特征产生的损失函数值；
f)对于给定的一个三维模型，在目标数据集中检索得到与该模型最相似的三维模型。


2.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法，其特征在于：步骤a)中的三维模型为计算机生成的三维模型，计算机渲染三维模型...

【专利技术属性】
技术研发人员：高赞，邵煜翔，程志勇，陈达，舒明雷，聂礼强，
申请(专利权)人：山东省人工智能研究院，山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：山东;37