一种使用面片卷积的三维模型特征提取方法技术

本发明专利技术提供一种使用面片卷积的三维模型特征提取方法，包括：确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。本发明专利技术提供的方法中，提取的特征具有排列不变性，可支持传统的机器学习和深度学习，应用于三维模型分类、分割、检索和形状对应等，可提高准确度和健壮性。和健壮性。和健壮性。

【技术实现步骤摘要】
一种使用面片卷积的三维模型特征提取方法


[0001]本专利技术涉及三维模型
，尤其涉及一种使用面片卷积的三维模型特征提取方法。

技术介绍

[0002]网格(Mesh)是对三维模型形状的一种常用的描述方式，广泛应用于建模、渲染、动画、3D打印等。通常一个网格定义了三维空间中的顶点，顶点之间的连接关系所定义的面片。最为常用的网格是三角网格和四边网格：三角网格中所有的面片是三角形，四边网格中所有的面片是四边形。
[0003]在图像、自然语言处理、点云等数据格式上的理解分析与生成，深度神经网络相较于传统方法已经取得了显著进步。
[0004]现有的基于三角网格的特征提取方法通常使用机器学习的方式。在二维的基于卷积神经网络的特征提取方案中，神经网络通过图像卷积操作提取图像中的特征。但是对于基于三角网格表示的三维模型而言，因为三角网格缺乏如同图像的规则结构，使得传统图像方法卷积难以应用，导致基于三角网格表示的三维形状的特征提取无法通过机器学习的模式实现。此前已有方法尝试对网格的节点、边设计卷积操作，比如Hanocka等人提出的MeshCNN。但是这些卷积都只能支持一种卷积核大小，不能支持空洞，因此缺乏灵活度，感受野受限。
[0005]因此，如何避免现有的三角网格的特征提取中由于卷积操作难以实现，导致深度神经网络难以设计，机器学习方法难以应用，相关系统难以提升效果，仍然是本领域技术人员亟待解决的问题。

技术实现思路

[0006]本专利技术提供一种使用面片卷积的三维模型特征提取方法，用以解决现有的深度学习方法难以实现非规则三角数据的学习和表示问题，通过一个或者多个面片卷积层，对三角网格中的面片以预设规则进行卷积操作，提供一种对三角网格这种不规则图形的卷积操作规则，可以提取三角网格的特征，具有顺序不变性，可以支持传统的机器学习方法和深度学习方法，使得图像领域中有效的深度卷积神经网络可以应用于三角网格表示的三维模型。
[0007]本专利技术提供一种使用面片卷积的三维模型特征提取方法，包括：
[0008]确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；
[0009]将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；
[0010]其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。
[0011]根据本专利技术提供的一种使用面片卷积的三维模型特征提取方法，所述特征提取模块由一个或者多个面片卷积层构成，具体包括：
[0012]若所述特征提取模块由一个面片卷积层构成，则该面片卷积层对输入的所述三角网格，基于每个面片的形状描述和位姿描述以预设规则进行卷积操作，输出该三角网格每个面片的特征向量；
[0013]若所述特征提取模块由多个面片卷积层构成，则第m层面片卷积层将输入的每个面片的第m
‑
1层特征向量以所述预设规则进行卷积操作，输出每个面片的第m层特征向量至第m+1层面片卷积层，所述特征提取模块输出第L层特征向量；其中，m＝1，2，
…
,L，L为所述多层面片卷积层中的总层数，第零层特征向量为所述三角网格的面片形状描述和面片位姿描述构成。
[0014]根据本专利技术提供的一种使用面片卷积的三维模型特征提取方法，所述将输入的每个面片的第m
‑
1层特征向量以所述预设规则进行卷积操作，输出每个面片的第m层特征向量，具体包括：
[0015]遍历输入的三角网格中的每个面片，以遍历顺序依次以任一面片为中心面片计算所述任一面片的第m层特征向量并输出；
[0016]其中，对于任一中心面片，基于卷积核的预设大小和预设空洞确定参与卷积的计算面片集合；
[0017]以面片顺序不变卷积方式对所述计算面片集合进行卷积操作。
[0018]根据本专利技术提供的一种使用面片卷积的三维模型特征提取方法，所述基于卷积核的预设大小和预设空洞确定参与卷积的计算面片集合，具体包括：
[0019]若卷积核大小k和空洞d同时满足k＝3和d＝1时，中心面片的邻域范围为其相邻的三个面片；
[0020]若卷积核大小k和空洞d同时满足k>3和d>1时，设定中心面片的邻域内面片到所述中心面片的最大距离为以预设度量规则确定邻域内相邻面片间的间隔距离,基于所述最大距离和所述间隔距离确定邻域范围所包含的面片。
[0021]根据本专利技术提供的一种使用面片卷积的三维模型特征提取方法，所述预设度量规则为以逆时针采用zig步伐和以顺时针采用zag步伐进行延伸得到的之字形路线进行度量。
[0022]根据本专利技术提供的一种使用面片卷积的三维模型特征提取方法，所述以面片顺序不变卷积方式对所述计算面片集合进行卷积操作，具体包括：
[0023]以深度优先顺序对所述中心面片的计算面片集合进行排序；
[0024]对于输入的任一中心面片的第m
‑
1层特征向量，基于所述排序确定中心面片和所述周围面片之间对应的第m
‑
1层特征向量差之和为第m层中心差项，以及基于所述排序确定所述周围面片在所述排序中前后之间对应的第m
‑
1层特征向量差之和为第m层环形差项；
[0025]基于所述第m层中心差项、所述第m层环形差项、所述任一中心面片的第m
‑
1层特征向量和所述周围面片对应的第m
‑
1层特征向量，确定所述任一中心面片的第m层特征向量。
[0026]根据本专利技术提供的一种使用面片卷积的三维模型特征提取方法，所述基于所述排序确定中心面片和所述周围面片之间对应的第m
‑
1层特征向量差之和为第m层中心差项，以及基于所述排序确定所述周围面片在所述排序中前后之间对应的第m
‑
1层特征向量差之和
为第m层环形差项，具体包括：
[0027]通过如下公式确定任一中心面片i的第m层中心差项和任一中心面片i的第m层环形差项
[0028][0029]其中，为所述任一中心面片i的第m
‑
1层特征向量，所述任一中心面片i的周围面片按照深度优先顺序排列后对应的第m
‑
1层特征向量分别为n为所述周围面片的总数量，abs(
·
)为求绝对值函数；
[0030]对应地，所述基于所述第m层中心差项、所述第m层环形差项、所述任一中心面片的第m
‑
1层特征向量和所述周围面片对应的第m
‑
1层特征向量，确定所述任一中心面片的第m层特征向量，具体包括：
[0031]通过如下公式计算所述任一中心面片i的第m
‑
1层特征向量经过第m层面片卷积层后输出的第m层特征向量conv(f
i
)：
[0032][0033]其中，为所述任一中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用面片卷积的三维模型特征提取方法，其特征在于，包括：确定待提取特征的三维模型的三角网格表示；其中，所述三角网格表示是由多个三角面片组成的用于刻画实体或场景的三维形状；将所述三维模型的三角网格输入特征提取模块，输出所述三角网格每个面片的特征向量；其中，所述特征提取模块由一个或者多个面片卷积层构成，所述面片卷积层对输入的三角网格中每个面片以预设规则进行卷积操作。2.根据权利要求1所述的使用面片卷积的三维模型特征提取方法，其特征在于，所述特征提取模块由一个或者多个面片卷积层构成，具体包括：若所述特征提取模块由一个面片卷积层构成，则该面片卷积层对输入的所述三角网格，基于每个面片的形状描述和位姿描述以预设规则进行卷积操作，输出该三角网格每个面片的特征向量；若所述特征提取模块由多个面片卷积层构成，则第m层面片卷积层将输入的每个面片的第m
‑
1层特征向量以所述预设规则进行卷积操作，输出每个面片的第m层特征向量至第m+1层面片卷积层，所述特征提取模块输出第L层特征向量；其中，m＝1,2,
…
,L，L为所述多层面片卷积层中的总层数，第零层特征向量为所述三角网格的面片形状描述和面片位姿描述构成。3.根据权利要求2所述的使用面片卷积的三维模型特征提取方法，其特征在于，所述将输入的每个面片的第m
‑
1层特征向量以所述预设规则进行卷积操作，输出每个面片的第m层特征向量，具体包括：遍历输入的三角网格中的每个面片，以遍历顺序依次以任一面片为中心面片计算所述任一面片的第m层特征向量并输出；其中，对于任一中心面片，基于卷积核的预设大小和预设空洞确定参与卷积的计算面片集合；以面片顺序不变卷积方式对所述计算面片集合进行卷积操作。4.根据权利要求3所述的使用面片卷积的三维模型特征提取方法，其特征在于，所述基于卷积核的预设大小和预设空洞确定参与卷积的计算面片集合，具体包括：若卷积核大小k和空洞d同时满足k＝3和d＝1时，中心面片的邻域范围为其相邻的三个面片；若卷积核大小k和空洞d同时满足k>3和d>1时，设定中心面片的邻域内面片到所述中心面片的最大距离为以预设度量规则确定邻域内相邻面片间的间隔距离,基于所述最大距离和所述间隔距离确定邻域范围所包含的面片。5.根据权利要求4所述的使用面片卷积的三维模型特征提取方法，其特征在于，所述预设度量规则为以逆时针采用zig步伐和以顺时针采用zag步伐进行延伸得到的之字形路线进行度量。6.根据权利要求3所述的使用面片卷积的三维模型特征提取方法，其特征在于，所述以面片顺序不变卷积方式对所述计算面片集合进行卷积操作，具体包括：以深度优先顺序对所述中心面片的计算面片集合进行排序；
对于输入的任一中心面片的第m
‑
1层特征向量，基于所述排序确定中心面片和所述周围面片之间对应的第m
‑
1层特征向量差之和为第m层中心差项，以及基于所述排序确定所述周围面片在所述排序中前后之间对应的第m
‑
1层特征向量差之和为第m层环形差项；基于所述第m层中心...

【专利技术属性】
技术研发人员：胡事民，刘政宁，蔡俊雄，穆太江，
申请(专利权)人：清华大学，
类型：发明
国别省市：