一种基于交互注意力卷积神经网络的三维模型检索方法技术

本发明专利技术提出了一种基于交互注意力卷积神经网络的三维模型检索方法。该方法首先对三维模型进行预处理，固定投影角度获取三维模型的6幅视图，并将其转换为线形图作为三维模型的视图集。其次，在卷积神经网络中嵌入交互注意模块来提取语义特征，增加了卷积神经网络两个网络层之间的数据交互。利用Gist算法和二维形状分布算法提取全局特征。再次，采用欧几里得距离计算草图与二维视图之间的相似度。然后，将这些特征与权值相结合检索三维模型。本发明专利技术弥补了使用小样本数据训练神经网络时过拟合导致的语义特征不准确问题，提高了三维模型检索的准确率。索的准确率。

【技术实现步骤摘要】
一种基于交互注意力卷积神经网络的三维模型检索方法

：
[0001]本专利技术涉及一种基于交互注意力卷积神经网络的三维模型检索方法，该方法在三维模型检索领域中有着很好的应用。

技术介绍
：
[0002]近年来，随着科学技术的日益发展，三维模型不仅在很多专业领域有着重要作用，在人们的日常生活中也被广泛普及，人们对三维模型的检索需求逐渐增大。基于实例的三维模型检索的测试对象只能是数据库中的模型，因此缺少了一定的通用性。基于草图的三维模型检索可以根据用户的需求随意绘制，方便适用，所以具有广泛的前景。
[0003]目前，一些常见的算法使用单一手工特征或深度学习的算法对来解决基于草图的模型检索问题。但是传统的手工特征存在不足，研究人员需要大量的先验知识，参数的设置需要手工提前设置，而且提取的特征效果并不想象。使用深度学习算法可以自动的调整参数，因此具有很好的扩展性。但是同样它也存在着一定的缺陷。由于深度神经网络的节点数量比较多，因此需要大量的数据来训练神经网络才能得到优秀的结果，一旦训练数据量不足就会导致过拟合，那么得到的结果也会出现偏差。为了能够在训练样本不足的前提下还能得到较好的检索结果，本专利技术提出了一种基于交互注意力卷积神经网络的三维模型检索方法。

技术实现思路
：
[0004]为了解决在训练样本不足的前提下，基于草图的三维模型检索方法检索效果差的问题，本专利技术公开了一种基于交互注意力卷积神经网络的三维模型检索方法。
[0005]为此，本专利技术提供了如下技术方案：
[0006]1.一种基于交互注意力卷积神经网络的三维模型检索方法，其特征在于，该方法包括以下步骤：
[0007]步骤1：进行数据预处理，对三维模型投影，得到三维模型对应的多幅视图并使用边缘检测算法得到模型的边缘视图集。
[0008]步骤2：设计深度卷积神经网络，使用交互注意力模块优化网络模型。选取其中一部分视图集作为训练集，另一部分视图集作为测试集。
[0009]步骤3：训练包括前向传播和反向传播两个过程。训练数据作为交互注意力卷积神经网络模型训练的输入，经过交互注意力卷积神经网络模型的训练，得到优化后的交互注意力卷积神经网络模型。
[0010]步骤4：使用优化后的交互注意力卷积神经网络模型与gist特征分别提取手绘草图与模型视图的语义特征，使用二维形状分布特征分别提取手绘草图与模型视图的二维形状分布特征。
[0011]步骤5：将多个特征加权融合。根据欧几里得距离检索出与手绘草图最相似的模型。
[0012]2.根据权利要求1所述的基于交互注意力卷积神经网络的三维模型检索方法，其特征在于，所述步骤1中，对三维模型投影，得到三维模型对应的多幅视图并使用边缘检测算法得到模型的边缘视图集，具体步骤为：
[0013]步骤1
‑
1将三维模型设置在一个虚拟球体的球心；
[0014]步骤1
‑
2将虚拟摄像机放在该模型的上方，将模型以每步30度旋转360度，从而获得三维模型的12张视图集；
[0015]步骤1
‑
3使用Canny边缘检测算法获得12张原始视图集各自的边缘视图；
[0016]对三维模型投影后，三维模型被表征为一组二维视图，使用Canny边缘检测算法可以减少手绘草图与三维模型视图之间的语义鸿沟。
[0017]3.根据权利要求1所述的基于交互注意力卷积神经网络的三维模型检索方法，其特征在于，所述步骤2中，设计深度卷积神经网络，使用交互注意力模块优化网络模型，具体步骤为：
[0018]步骤2
‑
1确定卷积神经网络的深度，卷积核的大小，卷积层和池化层的数量；
[0019]步骤2
‑
2设计交互注意力模块，在卷积层的输出后连接全局池化层，求出卷积层conv
n
中每个通道的信息量Z
k
，其信息量计算公式如下：
[0020][0021]其中，conv
nk
表示第n个卷积层输出的第k个特征映射，其大小为W
n
*H
n
。
[0022]步骤2
‑
3在全局池化层之后连接两个全连接层，根据信息量自适应地调整各个信道的注意力权重S
kn
，权重的计算公式如下：
[0023]S
kn
＝F
ex
(Z,W)＝σ(g(Z,W))＝σ(W2δ(W1Z))
[0024]其中，δ为Relu函数，σ为sigmoid函数。W1、W2分别为第一个全连接和第二个全连接的权重。
[0025]步骤2
‑
4分别计算两个邻域卷积层的交互注意力权重S
k1
和S
k2
，并将其融合，得到最优注意力权重S
k
，最优注意力权重的计算公式如下：
[0026]S
k
＝Average(S
k1
,S
k2
)
[0027]步骤2
‑
5将注意权重S
k
与第二卷积层conv2、第一池化层a
p
融合得到最终结果a2，融合的计算公式如下：
[0028][0029]选取其中一部分视图集作为训练集，另一部分视图集作为测试集。
[0030]4.根据权利要求1所述的基于交互注意力卷积神经网络的三维模型检索方法，其特征在于，所述步骤3中，对卷积神经网络模型进行训练，具体步骤为：
[0031]步骤3
‑
1把训练数据输入到初始化的交互注意力卷积神经网络模型中；
[0032]步骤3
‑
2经过卷积层，提取更详细的视图特征，浅层次卷积层提取低层特征，高层次卷积层提取高级语义特征；
[0033]步骤3
‑
3经过注意力模块，通过加权通道与邻域卷积层融合后，减少手绘草图或模型的边缘视图在池化时丢失的信息；
[0034]步骤3
‑
4经过池化层，缩小视图特征的规模，从而减少参数个数，加快模型计算的
速度；
[0035]步骤3
‑
5经过Dropout层，减轻因为训练样本不足导致的过拟合问题；
[0036]步骤3
‑
6通过卷积、注意力模块、Dropout和池化交替操作之后，最后输入全连接层，对所提取的特征进行降维，连接成一维的高层语义特征向量；
[0037]步骤3
‑
7在反向传播过程中，使用带有标签的2D视图来优化交互注意力卷积神经网络的权重和偏置。2D视图集为{v1,v2，
…
，v
n
}，对应的标签集为{l1,l2，
…
,l
n
}。2D视图有t类，包括1,2，
…
，t。正向传播后，v
i
在第j类下的预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交互注意力卷积神经网络的三维模型检索方法，其特征在于，该方法包括以下步骤：步骤1：进行数据预处理，对三维模型投影，得到三维模型对应的多幅视图并使用边缘检测算法得到模型的边缘视图集。步骤2：设计深度卷积神经网络，使用交互注意力模块优化网络模型。选取其中一部分视图集作为训练集，另一部分视图集作为测试集。步骤3：训练包括前向传播和反向传播两个过程。训练数据作为交互注意力卷积神经网络模型训练的输入，经过交互注意力卷积神经网络模型的训练，得到优化后的交互注意力卷积神经网络模型。步骤4：使用优化后的交互注意力卷积神经网络模型与gist特征分别提取手绘草图与模型视图的语义特征，使用二维形状分布特征分别提取手绘草图与模型视图的二维形状分布特征。步骤5：将多个特征加权融合。根据欧几里得距离检索出与手绘草图最相似的模型。2.根据权利要求1所述的基于交互注意力卷积神经网络的三维模型检索方法，其特征在于，所述步骤1中，对三维模型投影，得到三维模型对应的多幅视图并使用边缘检测算法得到模型的边缘视图集，具体步骤为：步骤1
‑
1将三维模型设置在一个虚拟球体的球心；步骤1
‑
2将虚拟摄像机放在该模型的上方，将模型以每步30度旋转360度，从而获得三维模型的12张视图集；步骤1
‑
3使用Canny边缘检测算法获得12张原始视图集各自的边缘视图；对三维模型投影后，三维模型被表征为一组二维视图，使用Canny边缘检测算法可以减少手绘草图与三维模型视图之间的语义鸿沟。3.根据权利要求1所述的基于交互注意力卷积神经网络的三维模型检索方法，其特征在于，所述步骤2中，设计深度卷积神经网络，使用交互注意力模块优化网络模型，具体步骤为：步骤2
‑
1确定卷积神经网络的深度，卷积核的大小，卷积层和池化层的数量；步骤2
‑
2设计交互注意力模块，在卷积层的输出后连接全局池化层，求出卷积层conv
n
中每个通道的信息量Z
k
，其信息量计算公式如下：其中，conv
nk
表示第n个卷积层输出的第k个特征映射，其大小为W
n
*H
n
。步骤2
‑
3在全局池化层之后连接两个全连接层，根据信息量自适应地调整各个信道的注意力权重S
kn
，权重的计算公式如下：S
kn
＝F
ex
(Z,W)＝σ(g(Z,W))＝σ(W2δ(W1Z))其中，δ为Relu函数，σ为sigmoid函数。W1、W2分别为第一个全连接和第二个全连接的权重。步骤2
‑
4分别计算两个邻域卷积层的交互注意力权重S
k1
和S
k2
，并将其融合，得到最优注意力权重S
k
，最优注意力权重的计算公式如下：
S
k
＝Average(S
k1
,S
k2
)步骤2
‑
5将注意权重S
k
与第二卷积层conv2、第一池化层a
p
融合得到最终结果a2，融合的计算公式如下：选取其中一部分视图集作为训练集，另一部分视图集作为测试集。4.根据权利要求1所述的基于交互注意力卷积神经网络的三维模型检索方法，其特征在于，所述步骤3中，对卷积神经网络模型进行训练，具体步骤为：步骤3
‑
1把训练数据输入到初始化的交互注意力卷积神经网络模型中；步骤3
‑
2经过卷积层，提取更详细的视图特征，浅层次卷积层提取低层特征，高层次卷积层提取高级语义特征；步骤3
‑
3经过注意力模块，通过加权通道与邻域卷积层融合后，减少手绘草图或模型的边缘视图在池化时丢失的信息；步骤3
‑
4经过池化层，缩小视图特征的规模，从而减少参数个数，加快模型计算的速度；步骤3
‑
5经过Dropout层，减轻因为训练样本不足导致的过拟合问题；步骤3
‑
6通过卷积、注意力模块、Dropout和池化交替操作之后，最后输入全连接层，对所提取的特征进行降维，连接成一维的高层语义特征向量；步骤3
‑
7在反向传播过程中，使用带有标签的2D视图来优化交互注意力卷积神经网络的权重和偏置。2D视图集为{v1,v2，
…
，v
n
}，对应的标签集为{l1,l2，
…
,l
n
}。2D视图有t类，包括1,2，
…
，t。正向传播后，v
i
在第j类下的预测概率为y_testj。将v
i
的标签l
i
与类别j比较，计算期望概率y
ij
，概率的计算公式如下：步骤3
‑
8将预测概率y_test
ij
和真实概率y
j
进行比较，利用交叉熵损失函数来计算误差loss。所述误差loss的计算过程如下所示：不断迭代交互注意力卷积神经网络模型，得到优化后的交互注意力卷积神经网络模型，并将权重与偏置保存。5.根据权利要求1所述的基于交互注意力卷积神经网络的三维模型检索方法，其特征在于，在所述步骤4中，使用优化后的交互注意力卷积神经网络模型与gist特征分别提取手绘草图与模型视图的语义特征，使用二维形状分布特征分别提取手绘草图与模型视图的二维形状分布特征，具体过程为：步骤4
‑
1把测试数据输入到优化后的交互注意力卷积神经网络模型之中；步骤4
‑
2提取出全连接层的特征作为手绘草图或模型视图的高层语义特征。步骤4
‑
3将尺寸为m*n的草图或2D视图划分为4*4的块。每个块的大小...

【专利技术属性】
技术研发人员：贾雯惠，高雪瑶，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：