基于骨架蒙皮变形的三维网格姿态迁移方法技术

本发明专利技术公开了一种基于骨架蒙皮变形的三维网格姿态迁移方法，包括：1)输入源三维网格与参考三维网格；2)设计基于拓扑感知边卷积算子的神经网络，绑定源三维网格与参考三维网格的刚性蒙皮权重，提取骨架关节坐标；3)构造源骨架树与参考骨架树，求解源骨架树到参考骨架树姿态中每个关节的全局变换矩阵；4)使用扩散方程平滑源三维网格的刚性蒙皮权重，使用线性混合蒙皮变形技术对源三维网格进行变形，得到最终的目标三维网格。本发明专利技术利用神经网络的拓扑与形状信息，提取模型骨架并绑定刚性蒙皮权重，以骨架作为模型姿态的显式表示，再利用蒙皮变形变换源三维网格模型姿态到参考姿态，相较于端到端的神经网络方法，本发明专利技术方法具有更好的泛化性。好的泛化性。好的泛化性。

【技术实现步骤摘要】
基于骨架蒙皮变形的三维网格姿态迁移方法


[0001]本专利技术涉及基于样例的三维网格模型变形与编辑的
，尤其是指一种基于骨架蒙皮变形的三维网格姿态迁移方法。

技术介绍

[0002]三维网格模型是计算机图形学中重要的研究对象之一，而三维网格模型的变形与编辑提供了一种基于现有模型生成新模型的直观方法，其中变形迁移与姿态迁移作为基于样例的变形与编辑方法，已有较多的研究成果，随着近年来深度学习在图形学领域的广泛应用，基于深度学习的姿态迁移方法开始受到关注。
[0003]受计算机视觉中的图像风格迁移启发，目前基于深度学习的姿态迁移模型主要是编码器
‑
解码器结构的端到端网络，编码器先编码源模型的形状信息与参考模型的姿态信息到隐空间，再利用解码器生成保细节的目标模型。但这类方法存在以下问题：首先，由于缺乏规则性约束，隐空间编码的自由度较高，生成特征空间并不能很好表示原始信号中的内在联系，容易出现过拟合的现象。其次，这些网络特征提取部分的卷积层主要为PointNet的结构，PointNet独立地学习每个顶点特征，本质上属于顶点共享权重网络，这样的网络忽略了顶点之间的联系，无法捕捉点与点之间的局部结构信息，因此即使是轻微的变动都会使网络预测出扭曲的目标模型。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于骨架蒙皮变形的三维网格姿态迁移方法，为避免目前端到端神经网络编码模型姿态容易产生的过拟合现象，本专利技术利用基于拓扑感知边卷积算子的神经网络的拓扑与形状信息，提取网格骨架并绑定刚性蒙皮权重，以骨架作为网格姿态的显式表示，再利用蒙皮变形变换源三维网格姿态到参考三维网格姿态，相较于端到端的神经网络方法，本专利技术具有更好的泛化性。
[0005]为实现上述目的，本专利技术所提供的技术方案为：基于骨架蒙皮变形的三维网格姿态迁移方法，包括以下步骤：
[0006]1)输入源三维网格与参考三维网格；
[0007]2)设计一种基于拓扑感知边卷积算子的神经网络，使用该神经网络分别绑定源三维网格与参考三维网格的刚性蒙皮权重，并分别提取两个网格的骨架关节点坐标；
[0008]3)使用骨架关节点坐标与预定义的骨架拓扑结构构造源骨架树与参考骨架树，根据前向运动学过程求解源骨架树到参考骨架树中每个关节点的全局变换矩阵；
[0009]4)使用余切形式的拉普拉斯算子与源三维网格的刚性蒙皮权重构造扩散方程，求解源三维网格的平滑蒙皮权重，根据全局变换矩阵与平滑蒙皮权重，使用线性混合蒙皮变形技术对源三维网格进行变形，得到最终的目标三维网格。
[0010]进一步，在步骤1)中，源三维网格是指将要进行姿态变换的网格，表示为：
[0011][0012]式中，表示源三维网格，V表示源三维网格的顶点坐标矩阵，F表示源三维网格的三角面集和，表示实数集，n
′
表示源三维网格的顶点个数；
[0013]参考三维网格是指提供参考姿态的网格，表示为：
[0014][0015]式中，表示参考三维网格，Q表示参考三维网格的顶点坐标矩阵，F
r
表示参考三维网格的三角面集和，n
r
表示参考三维网格的顶点个数。
[0016]进一步，在步骤2)中，设计的基于拓扑感知边卷积算子的神经网络由三部分组成，分别是刚性蒙皮权重置信度模块、关节点回归模块和损失函数，具体情况如下：
[0017]刚性蒙皮权重置信度模块：输入网格模型M，这里的网格模型M为源三维网格或者参考三维网格输出模型顶点绑定到每个关节点的置信度，刚性蒙皮权重置信度模块通过三层基于拓扑感知的边卷积算子编码单个顶点的特征，每层基于拓扑感知的边卷积算子称为GKEdgeConv，表示为：
[0018][0019][0020]x'
v
＝MLP(concat(x'
v,k
,x'
v,g
)；w
concat
)
[0021]式中，x
v
表示顶点v的特征向量，x
u
表示顶点u的特征向量，N
k
(v)表示顶点v在当前层特征空间中的k近邻域，由特征空间中的顶点距离决定，N
g
(v)表示顶点v的网格拓扑1
‑
邻域，由网格拓扑结构决定，MLP表示全连接层，w
k
、w
g
、w
concat
表示每个全连接层的可学习参数，max表示最大池化操作，concat表示拼接操作，经过训练，网络能够权衡拓扑感知特征x'
v,g
相对于几何感知特征x'
v,k
的重要性，并联合两种特征重新编码单个顶点特征x'
v
；
[0022]在经过三层GKEdgeConv后，将前面所有层的特征输出拼接，后接一个MLP层与池化层编码网格的全局形状特征，最后将单个顶点特征与全局形状特征拼接，通过最后的MLP层输出蒙皮权重置信度矩阵
[0023]A＝(A
ij
)＝f
c
(M；w
c
)
[0024]式中，n为网格模型M的顶点个数，m为关节点个数，A
ij
表示第i个顶点关于第j个关节的蒙皮权重置信度，f
c
表示刚性蒙皮权重置信度模块，w
c
为刚性蒙皮权重置信度模块中网络的可学习参数，由蒙皮权重置信度矩阵A能够进一步计算刚性蒙皮权重W＝(W
ij
)：
[0025][0026]式中，W
ij
表示第i个顶点关于第j个关节的刚性蒙皮权重，C表示所有关节点集合，A
i
(x)表示第i个顶点关于关节点x的蒙皮权重置信度，argmax是指求解使得A
i
(x)中置信度最大的x，此时x就是j的取值；
[0027]关节点回归模块：根据输入网格模型M与刚性蒙皮权重W回归得到关节点集合关节点回归模块首先使用三层GKEdgeConv将三维顶点坐标编码，并拼接前面所有层的输出得到高维特征V
′
，然后利用基于蒙皮权重的池化方法对顶点特征进行加权平均得到关节点高维特征：
[0028][0029]式中，C'
j
为第j个关节点的高维特征，V
′
i
为第i个顶点的高维特征，随后将关节点高维特征通过去掉了几何感知特征的三层GKEdgeConv降维，最后将每一层的输出拼接后送入MLP层得到关节点三维坐标：
[0030]C＝f
r
(M,W；w
r
)
[0031]式中，f
r
表示关节点回归模块，w
r
为关节点回归模块中网络的可学习参数；
[0032]损失函数：在刚性蒙皮权重置信度模块中，蒙皮绑定类似顶点分类问题，使用softmax...

【技术保护点】

【技术特征摘要】
1.基于骨架蒙皮变形的三维网格姿态迁移方法，其特征在于，包括以下步骤：1)输入源三维网格与参考三维网格；2)设计一种基于拓扑感知边卷积算子的神经网络，使用该神经网络分别绑定源三维网格与参考三维网格的刚性蒙皮权重，并分别提取两个网格的骨架关节点坐标；3)使用骨架关节点坐标与预定义的骨架拓扑结构构造源骨架树与参考骨架树，根据前向运动学过程求解源骨架树到参考骨架树中每个关节点的全局变换矩阵；4)使用余切形式的拉普拉斯算子与源三维网格的刚性蒙皮权重构造扩散方程，求解源三维网格的平滑蒙皮权重，根据全局变换矩阵与平滑蒙皮权重，使用线性混合蒙皮变形技术对源三维网格进行变形，得到最终的目标三维网格。2.根据权利要求1所述的基于骨架蒙皮变形的三维网格姿态迁移方法，其特征在于，在步骤1)中，源三维网格是指将要进行姿态变换的网格，表示为：式中，S表示源三维网格，V表示源三维网格的顶点坐标矩阵，F表示源三维网格的三角面集和，表示实数集，n
′
表示源三维网格的顶点个数；参考三维网格是指提供参考姿态的网格，表示为：式中，表示参考三维网格，Q表示参考三维网格的顶点坐标矩阵，F
r
表示参考三维网格的三角面集和，n
r
表示参考三维网格的顶点个数。3.根据权利要求2所述的基于骨架蒙皮变形的三维网格姿态迁移方法，其特征在于，在步骤2)中，设计的基于拓扑感知边卷积算子的神经网络由三部分组成，分别是刚性蒙皮权重置信度模块、关节点回归模块和损失函数，具体情况如下：刚性蒙皮权重置信度模块：输入网格模型M，这里的网格模型M为源三维网格S或者参考三维网格输出模型顶点绑定到每个关节点的置信度，刚性蒙皮权重置信度模块通过三层基于拓扑感知的边卷积算子编码单个顶点的特征，每层基于拓扑感知的边卷积算子称为GKEdgeConv，表示为：GKEdgeConv，表示为：x'
v
＝MLP(concat(x'
v,k
,x'
v,g
)；w
concat
)式中，x
v
表示顶点v的特征向量，x
u
表示顶点u的特征向量，N
k
(v)表示顶点v在当前层特征空间中的k近邻域，由特征空间中的顶点距离决定，N
g
(v)表示顶点v的网格拓扑1
‑
邻域，由网格拓扑结构决定，MLP表示全连接层，w
k
、w
g
、w
concat
表示每个全连接层的可学习参数，max表示最大池化操作，concat表示拼接操作，经过训练，网络能够权衡拓扑感知特征x'
v,g
相对于几何感知特征x'
v,k
的重要性，并联合两种特征重新编码单个顶点特征x'
v
；在经过三层GKEdgeConv后，将前面所有层的特征输出拼接，后接一个MLP层与池化层编码网格的全局形状特征，最后将单个顶点特征与全局形状特征拼接，通过最后的MLP层输出蒙皮权重置信度矩阵
A＝(A
ij
)＝f
c
(M；w
c
)式中，n为网格模型M的顶点个数，m为关节点个数，A
ij
表示第i个顶点关于第j个关节的蒙皮权重置信度，f
c
表示刚性蒙皮权重置信度模块，w
c
为刚性蒙皮权重置信度模块中网络的可学习参数，由蒙皮权重置信度矩阵A能够进一步计算刚性蒙皮权重W＝(W
ij
)：式中，W
ij
表示第i个顶点关于第j个关节的刚性蒙皮权重，C表示所有关节点集合，A
i
(x)表示第i个顶点关于关节点x的蒙皮权重置信度，argmax是指求解使得A
i
(x)中置信度最大的x，此时x就是j的取值；关节点回归模块：根据输入网格模型M与刚性蒙皮权重W回归得到关节点集合关节点回归模块首先使用三层GKEdgeConv将三维顶点坐标编码，并拼接前面所有层的输出得到高维特征V
′
，然后利用基于蒙皮权重的池化方法对顶点特征进行加权平均得到关节点高维特征：式中，C'
j
为第j个关节点的高维特征，V
i
'为第i个顶点的高维特征，随后将关节点高维特征通过去掉了几何感知特征的三层GKEdgeConv降维，最后将每一层的输出拼接后送入MLP层得到关节点三维坐标：C＝f
r

【专利技术属性】
技术研发人员：尹梦晓，李明，杨诗耕，谢敏，
申请(专利权)人：广西大学，
类型：发明
国别省市：