基于规范等变转换算子神经网络的三维物体形状分类方法技术

本发明专利技术公布了一种基于规范等变转换算子的神经网络的三维物体形状识别方法，创建用于实现模型规范等变性的等变转换算子，再将全局坐标系投影到局部坐标系，并基于规范等变性实现模型的旋转不变性，用于高效地进行三维物体分类与识别视觉分析。本发明专利技术构造并训练基于规范等变转换算子的神经网络的三维物体形状识别模型GET，模型的输入是以三维空间下的二维流形结构表示的3D物体，输出为该3D物体的预测类别，能够高效地进行3D图像数据中物体形状的分类与识别等视觉分析，提升物体形状分类的精确度和效率。确度和效率。确度和效率。

【技术实现步骤摘要】
基于规范等变转换算子神经网络的三维物体形状分类方法


[0001]本专利技术属于模式识别、机器学习、神经网络、深度学习、人工智能、计算机图形学
，涉及物体形状分类方法，具体涉及一种基于规范等变转换算子神经网络的三维物体形状分类方法。

技术介绍

[0002]近些年来，转换算子(Transformer)几乎已经主导了自然语言处理领域的相关算法。它的一个显著的优点是在给定的上下文中注重最相关的部分。由于其卓越的性能，目前有很多工作已经将Transformer应用到了其他机器学习领域中，比如计算机视觉和图像处理应用中。
[0003]流形学习技术是一项将传统的神经网络模型应用到复杂多样的数据结构的一项机器学习技术。现有的一些工作将三维图像中的曲面数据通过进行二维投影，或者通过体素格点来表示，这些方法的缺点是计算量过大。另外一些工作直接将卷积定义在全面上，这样的好处对三维图像中曲面的形变处理更鲁棒。但这类方法的主要难点在于，曲面上每个点的邻域没有一个标准的坐标系，使得近邻点的参数化无法统一，从而影响神经网络模型的性能。/>[0004]为解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于规范等变转换算子的神经网络的三维物体形状识别方法，创建用于实现模型规范等变性的等变转换算子，再将全局坐标系投影到局部坐标系，并基于规范等变性实现模型的旋转不变性，用于高效地进行三维物体分类与识别视觉分析；包括以下步骤：1)对以流形结构表示的3D物体数据进行网格(mesh)化，生成3D物体mesh数据；2)对3D物体mesh数据进行预处理；包括：归一化；确定邻域；选定局部坐标系；计算对数映射以及联络；构造模型输入特征，对mesh中每一个点，将其在全局坐标系下的坐标投影到局部坐标系下，作为模型输入特征；3)将3D物体mesh数据集分为训练样本和测试样本；4)构建规范等变的Transformer；所述Transformer包括：键值函数、查询函数和价值函数；其中，注意力分数包括键值key和查询query；通过设计不变的注意力分数和等变的价值函数实现规范等变的Transformer；包括如下步骤：41)构建规范等变的Transformer架构；设Transformer输入特征域f的维度为C
in
，群表示为ρ
in
,输出特征域的维度为C
out
，群表示为ρ
out
；定义规范等变的Transformer在规范w下，点p的输出为：其中，MHSA是多头注意力函数，SA是单头注意力函数，W
M
是线性变换矩阵，||是向量拼接操作运算符；在头h处，SA函数的输出为：其中，点q
u
＝exp
p
w
p
(u),f
w
′
(q
u
)为点q
u
处的特征向量平行移动到点p在规范w下的值，V
u
为价值函数，其将相对位置u用一个矩阵进行编码，表达式如下：其中，α是注意力分数，其在中心点为p,邻域点为q
u
时头h处的表达式如下：42)扩展正规表示；C
N
群是由空间中所有对应的弧度值为的旋转矩阵所构成的具有N个元素的群，其中k为0到N
‑
1之间的整数；正规表示是C
N
的一种特殊群表示；如果用Θ
k
来表示旋转角度为的旋转矩阵，则C
N
可表示为{Θ0,Θ1,
…
,Θ
N
‑1}；对整数k，正规表示是一个N
×
N的置换矩阵，其中向量的所有分量循环平移k个单位；
可用不可约表示分解为其中是C
N
的不可约表示，A是N
×
N的可逆矩阵；当N为奇数时，不可约表示的形式如下：其中，θ∈[0,2π)是矩阵Θ对应的旋转角度，即：且进一步地，将不可约表示扩展到二维旋转群SO(2)上，表示为：其中即得到扩展后的群表示为：由此实现对空间中的任意向量平行移动而不损失旋转角度信息；43)构建规范等变的价值函数，将相对位置u用矩阵进行编码；将价值函数定义为平行移动的特征向量的数值左乘价值编码矩阵W
V
；价值函数规范等变的充分必要条件是W
V
(Θ
‑1u)＝ρ
out
(Θ
‑1)W
V
(u)ρ
in
(Θ)；对W
V
进行泰勒展开求解此方程，即：将该式代入到规范等变的充分必要条件式，即得线性方程组，表示为：W0＝ρ
out
(Θ
‑1)W0ρ
in
(Θ),cos(θ)W1‑
sin(θ)W2＝ρ
out
(Θ
‑1)W1ρ
in
(Θ),sin(θ)K1‑
cos(θ)K2＝ρ
out
(Θ
‑1)W2ρ
in
(Θ),
…
可通过截断泰勒展开的项限制线性方程组中方程的个数；求解线性方程组得到一组基其中m是解空间的维数；每一个包括将等变的编码矩阵W
(i)
表示为：W
(i)
的线性组合∑c
i
W
(i)
仍满足Value函数规范等变的充分必要条件；在训练过程中，c
i
为可学习参数；
44)构建规范不变的注意力分数；将键值函数和查询函数表示为：其中W
K
和W
Q
为线性变换矩阵；得分函数采用S(K(
·
),Q(
·
))＝P(Re...

【专利技术属性】
技术研发人员：林宙辰，董一鸣，何翎申，王奕森，
申请(专利权)人：北京大学，
类型：发明
国别省市：