基于笔画点序列特征增强的三维模型草图检索方法技术

本发明专利技术公开了一种基于笔画点序列特征增强的三维模型草图检索方法，包括：获取手绘草图、笔画点序列和三维模型多视图初始特征，并输入到共享语义嵌入网络，得到手绘草图、笔画点序列和三维模型多视图共享语义特征；将手绘草图、笔画点序列和三维模型多视图初始特征经过单域多类中心损失模块进行约束；将手绘草图、笔画点序列和三维模型多视图共享语义特征送入域间对比损失模块和跨域度量损失模块进行约束，捕获手绘草图、笔画点序列和三维模型多视图共享语义特征间的关联关系及实现各个共享语义特征在共享语义空间中的良好对齐。本发明专利技术分析并论证了手绘草图的线条轮廓信息以及手绘草图和三维模型的类内差异性对其的重要作用，实现了更好的性能。实现了更好的性能。实现了更好的性能。

【技术实现步骤摘要】
基于笔画点序列特征增强的三维模型草图检索方法


[0001]本专利技术涉及三维模型草图检索的
，尤其是指一种基于笔画点序列特征增强的三维模型草图检索方法。

技术介绍

[0002]近年来，三维建模技术被广泛应用于机械制造、医疗诊断以及计算机辅助设计等领域，三维模型的数量也随之飞速增长。在实际生产应用中，约80％的场景是直接重用现有模型或仅对模型微调后使用，因此通过有效的检索方法快速且准确的找到所需要的三维模型成为了一项重要的工作。同时，随着便携式触屏设备的普及，草图逐渐成为一种方便快捷且应用广泛的新型信息交流载体。上述两个因素共同催生出了大量关于三维模型草图检索的工作。
[0003]然而，三维模型草图检索仍然是困难的。三维模型是对真实物体的客观表征，拥有具体和复杂等特性；而草图是人类对想法的主观表达，具有抽象和简单等特性；三维模型和草图间存在着明显的域间差异性，这给三维模型草图检索任务带来了巨大的挑战。针对上述问题，现有的基于深度学习的方法从特征提取和损失建立两个角度出发，将草图和三维模型同时表征成一个或一组二维图像，通过同构或异构的卷积神经网络(convolutional neural networks,CNN)分别提取特征并使用跨域度量损失缩小草图和三维模型的域间差异，取得了较好的跨域检索效果。
[0004]但是，仔细分析三维模型草图检索任务不难发现，除域间差异性外，该任务同时面临着草图线条表征的稀疏性及各域数据的类内差异性，然而，现有的深度学习方法对以上两点却考虑不足：1、将草图视作普通的二维图像。事实上，二维图像通常具有丰富的纹理和颜色信息，广泛采用的CNN通过局部感受野和层次叠加捕捉局部到全局的丰富特征表示，从而完成相应的目标任务；而草图仅由单一颜色的线条构成，具有显著的稀疏性，通过CNN提取到的表示特征信息含量相对较低，无法准确的表征草图所蕴含的线条轮廓特点，从而限制了网络的检索性能。2、属于同一类别的草图或者三维模型都存在较大的差异性，而现有方法仅使用跨域度量学习对草图和三维模型的特征进行类别一致性约束，针对同类别的特征在空间中仅构建单一类中心的分布，但同类别数据间的较大差异会扩大该类特征在空间中的分布半径，从而与异类特征的分布相互交叠，最终降低网络的检索准确度。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于笔画点序列特征增强的三维模型草图检索方法，引入笔画点序列分支构建三元组网络结构，实现对草图数据的信息增强；然后通过多层次联合损失对网络进行域内域间跨域的全面约束，使得网络学习到同时体现数据的单域类内差异和域间关系的表示特征，有效的提升网络的检索性能。
[0006]为实现上述目的，本专利技术所提供的技术方案为：基于笔画点序列特征增强的三维
模型草图检索方法，包括以下步骤：
[0007]1)数据输入及初始特征提取，输入分为三个部分，第一个部分以单张手绘草图图像为输入，经过草图分支网络得到手绘草图初始特征；第二个部分以手绘草图图像数据集的笔画点序列为输入，经过笔画点序列分支网络得到笔画点序列初始特征；第三个部分以三维模型数据集的二维多视图为输入，然后经过三维模型分支网络得到三维模型多视图初始特征；
[0008]2)将手绘草图初始特征、笔画点序列初始特征和三维模型多视图初始特征输入到共享语义嵌入网络中，得到手绘草图共享语义特征、笔画点序列共享语义特征和三维模型多视图共享语义特征；
[0009]3)将手绘草图初始特征、笔画点序列初始特征和三维模型多视图初始特征经过单域多类中心损失模块进行约束，使得各个特征能够表达各域数据的类内差异；
[0010]4)将得到的手绘草图共享语义特征、笔画点序列共享语义特征和三维模型多视图共享语义特征送入域间对比损失模块和跨域度量损失模块进行约束，捕获手绘草图共享语义特征、笔画点序列共享语义特征和三维模型多视图共享语义特征间的关联关系以及实现各个共享语义特征在共享语义空间中的良好对齐，最终完成度量学习。
[0011]进一步，在步骤1)中，手绘草图初始特征、笔画点序列初始特征和三维模型多视图初始特征的提取过程具体情况如下：
[0012]a、以单张二维图像的形式表征手绘草图图像，手绘草图图像数据集其中：S
tr
为手绘草图图像数据集中的训练集，S
te
为手绘草图图像数据集中的测试集，N＝N
tr
+N
te
为手绘草图图像的总数，N
tr
为训练集中手绘草图图像的数量，N
te
为测试集中手绘草图图像的数量；a
i
表示第i个手绘草图图像，b
i
∈{1,2,3,...,C}为手绘草图图像a
i
对应的类别标签；C＝C
tr
+C
te
为类别标签总数，C
tr
为训练集类别标签数，C
te
为测试集类别标签数；
[0013]输入训练集中的手绘草图图像以及类别标签，表示为输入训练集中的手绘草图图像以及类别标签，表示为为训练集中第i个手绘草图图像，为手绘草图图像对应的类别标签；将手绘草图图像输入至草图分支网络，提取手绘草图图像的初始特征草图分支网络，提取手绘草图图像的初始特征为特征的向量表示；其中，所述草图分支网络采用的是ResNet
‑
50的第1到4个阶段以及Average Pooling操作；
[0014]b、三维模型数据集三维模型数据集不区分训练集和测试集，即所有数据同时运用于测试和训练过程，N
′
为三维模型的总数；e
i
表示第i个三维模型，f
i
∈{1,2,3,...,D}为三维模型e
i
对应的类别标签；D为类别标签总数；将三维模型表征为多视图形式，有I
v,i
表示三维模型e
i
的第v个视图，N
v
＝12表示三维模型的多视图的数量；
[0015]输入数据集中三维模型多视图以及类标签，表示输入数据集中三维模型多视图以及类标签，表示为数据集中第i
组三维模型多视图，为三维模型多视图对应的类别标签；将三维模型多视图输入三维模型分支网络，提取每一个视图的初始视觉特征并进行特征融合得到三维模型多视图初始特征始特征为特征的向量表示；其中，所述三维模型分支网络采用的是Resnet
‑
50的第1到3个阶段构成与视图数对应且权重相同的网络支流提取三维模型各个视图的初始视觉特征，然后通过View
‑
Max Pooling操作完成各视图初始视觉特征的初步融合，再使用ResNet
‑
50的第4个阶段模块处理初步融合后的特征，获得三维模型多视图初始特征；
[0016]c、笔画点序列数据集其中：P
tr
为笔画点序列数据集中的训练集，P
te
...

【技术保护点】

【技术特征摘要】
1.基于笔画点序列特征增强的三维模型草图检索方法，其特征在于，包括以下步骤：1)数据输入及初始特征提取，输入分为三个部分，第一个部分以单张手绘草图图像为输入，经过草图分支网络得到手绘草图初始特征；第二个部分以手绘草图图像数据集的笔画点序列为输入，经过笔画点序列分支网络得到笔画点序列初始特征；第三个部分以三维模型数据集的二维多视图为输入，然后经过三维模型分支网络得到三维模型多视图初始特征；2)将手绘草图初始特征、笔画点序列初始特征和三维模型多视图初始特征输入到共享语义嵌入网络中，得到手绘草图共享语义特征、笔画点序列共享语义特征和三维模型多视图共享语义特征；3)将手绘草图初始特征、笔画点序列初始特征和三维模型多视图初始特征经过单域多类中心损失模块进行约束，使得各个特征能够表达各域数据的类内差异；4)将得到的手绘草图共享语义特征、笔画点序列共享语义特征和三维模型多视图共享语义特征送入域间对比损失模块和跨域度量损失模块进行约束，捕获手绘草图共享语义特征、笔画点序列共享语义特征和三维模型多视图共享语义特征间的关联关系以及实现各个共享语义特征在共享语义空间中的良好对齐，最终完成度量学习。2.根据权利要求1所述的基于笔画点序列特征增强的三维模型草图检索方法，其特征在于，在步骤1)中，手绘草图初始特征、笔画点序列初始特征和三维模型多视图初始特征的提取过程具体情况如下：a、以单张二维图像的形式表征手绘草图图像，手绘草图图像数据集其中：S
tr
为手绘草图图像数据集中的训练集，S
te
为手绘草图图像数据集中的测试集，N＝N
tr
+N
te
为手绘草图图像的总数，N
tr
为训练集中手绘草图图像的数量，N
te
为测试集中手绘草图图像的数量；a
i
表示第i个手绘草图图像，b
i
∈{1,2,3,...,C}为手绘草图图像a
i
对应的类别标签；C＝C
tr
+C
te
为类别标签总数，C
tr
为训练集类别标签数，C
te
为测试集类别标签数；输入训练集中的手绘草图图像以及类别标签，表示为输入训练集中的手绘草图图像以及类别标签，表示为为训练集中第i个手绘草图图像，为手绘草图图像对应的类别标签；将手绘草图图像输入至草图分支网络，提取手绘草图图像的初始特征分支网络，提取手绘草图图像的初始特征为特征的向量表示；其中，所述草图分支网络采用的是ResNet
‑
50的第1到4个阶段以及Average Pooling操作；b、三维模型数据集三维模型数据集不区分训练集和测试集，即所有数据同时运用于测试和训练过程，N
′
为三维模型的总数；e
i
表示第i个三维模型，f
i
∈{1,2,3,...,D}为三维模型e
i
对应的类别标签；D为类别标签总数；将三维模型表征为多视图形式，有I
v,i
表示三维模型e
i
的第v个视图，N
v
＝12表示三维模型的多视图的数量；输入数据集中三维模型多视图以及类标签，表示输入数据集中三维模型多视图以及类标签，表示为数据集中第i组三
维模型多视图，f
ti
为三维模型多视图对应的类别标签；将三维模型多视图输入三维模型分支网络，提取每一个视图的初始视觉特征并进行特征融合得到三维模型多视图初始特征征为特征的向量表示；其中，所述三维模型分支网络采用的是Resnet
‑
50的第1到3个阶段构成与视图数对应且权重相同的网络支流提取三维模型各个视图的初始视觉特征，然后通过View
‑
Max Pooling操作完成各视图初始视觉特征的初步融合，再使用ResNet
‑
50的第4个阶段模块处理初步融合后的特征，获得三维模型多视图初始特征；c、笔画点序列数据集其中：P
tr
为笔画点序列数据集中的训练集，P
te
为笔画点序列数据集中测试集，N
″
＝N
″
tr
+N
″
te
为笔画点序列的总数，N
″
tr
为训练集中笔画点序列的数量，N
″
te
为测试集中笔画点序列的数量；g
i
表示第i个笔画点序列，j
i
∈{1,2,3,...,E}为笔画点序列g
i
对应的类别标签；E＝E
tr
+E
te
为总体的类别标签总数，E
tr
为训练集类别标签数，E
te
为测试集类别标签数；将笔画点序列表征为二维坐标集合的形式，有g
i
＝(p1,p2,...,p
i
,p
i+1
,...,p
m
)，p
i
表示笔画点序列g
i
中的第i个点的坐标，m表示笔画点序列中坐标点的数量；输入训练集中的笔画点序列以及类标签，表示输入训练集中的笔画点序列以及类标签，表示为训练集中第i个笔画点序列，为笔画点序列对应的类别标签；将笔画点序列输入笔画点序列分支网络，提取笔画点序列的初始特征络，提取笔画点序列的初始特征为特征的向量表示；所述笔画点序列分支网络首先采用三组多层感知器获得包含输入的笔画点序列中每个点信息的表示特征，每组多层感知器后使用ReLU激活函数和批归一化操作，然后对表示特征的第二个维度进行Max Pooling操作，获得笔画点序列在此维度上响应最大的特征，即笔画点序列初始特征。3.根据权利要求2所述的基于笔画点序列特征增强的三维模型草图检索方法，其特征在于，在步骤2)中，所述共享语义嵌入网络的具体情况如下：共享语义嵌入网络旨在将手绘草图初始特征、笔画点序列初始特征和三维模型多视图初始特征嵌入到同一个共享语义空间中，经过草图分支网络、笔画点序...

【专利技术属性】
技术研发人员：白静，杨瞻源，白少进，彭斌，李文静，郑虎，
申请(专利权)人：北方民族大学，
类型：发明
国别省市：