一种基于单人体扫描点云输入的分阶段三维人体参数化重建方法技术

本发明专利技术公开了一种基于单人体扫描点云输入的分阶段三维人体参数化重建方法，本发明专利技术仅基于单个扫描点云数据输入，通过调整参数化模板参数的形式完成重建。本发明专利技术包括分阶段的参数拟合和分区域的逐点位移拟合。其中，分阶段的参数拟合能够实现姿势外形的初步配准，实现平均误差小于1cm的重建效果；分区域的逐点位移拟合能够对细节进行微调，进一步提高可视化效果。效果。效果。

A phased 3D human parametric reconstruction method based on single human scanning point cloud input

【技术实现步骤摘要】
一种基于单人体扫描点云输入的分阶段三维人体参数化重建方法


[0001]本专利技术涉及计算机图形学
，涉及一种基于静态扫描点云输入的三维人体参数化重建方法和系统。

技术介绍

[0002]三维人体的参数化重建技术在游戏、动画、虚拟现实、增强现实等领域都有着重要的作用。相比静态重建，参数化重建能够基于骨骼绑定，控制重建结果的姿势，具有更加广泛的应用空间。
[0003]传统方法中，静态三维数据的参数化重建工作主要依赖手动制作，人力成本高、流程繁琐，需要经过训练的专业人士对点云进行微调，并手动设计姿势与网格的绑定，从而实现静态数据的驱动。
[0004]而在自动化重建方面，目前的方法主要以图像作为输入。
[0005]专利CN113570707A、CN109859296A、CN114049435A均以二维人体图像作为输入，采用神经网络回归的方法进行三维重建。
[0006]专利CN113284249A基于环形相机收集到的多视角图片输入，采用图神经网络的方法进行参数化人体的重建。
[0007]这两类方法都是基于回归的方法，图像数据虽然获得更容易，但由于包含的三维信息较少，所以相较点云数据，重建出的细节信息较差。
[0008]此外，国内外论文中，基于静态扫描点云输入的重建方法往往需要大量的数据进行训练，训练时间长硬件成本高，同时重建结果的视觉细节较差，在实际应用上具有很大的限制。

技术实现思路

[0009]本专利技术提供了一种基于单个人体扫描点云输入和参数化人体模板的三维人体参数化重建方法，能够基于少量数据进行视觉细节效果较好的人体重建。
[0010]一种基于单个人体扫描点云输入和参数化人体模板的三维人体参数化重建方法,包括分阶段的参数拟合和分区域的逐点位移拟合。
[0011]所述的分阶段的参数拟合，用于将参数化人体模板的外形与人体扫描点云的外形对齐，包括以下步骤：
[0012]步骤1：将参数化人体模板姿势参数对应的关节划分为主干关节、中间关节、细关节；
[0013]步骤2：优化主干关节和中间关节，同时优化形状参数与刚性位移参数；
[0014]步骤3：优化中间关节和细关节，同时优化形状参数参数。
[0015]所述的分区域的逐点位移拟合，用于对参数化人体模板进行细节上的微调，包括以下步骤：
[0016]步骤1：将参数化人体模板的表面划分为不同区域；
[0017]步骤2：针对不同区域设置不同的优化力度，进行逐顶点的优化。
[0018]本专利技术的方法,通过分阶段的参数拟合能够实现姿势外形的初步配准，实现平均误差小于1cm的重建效果；而分区域的逐点位移拟合能够对细节进行微调，进一步提高可视化效果。
[0019]说明书附图
[0020]图1本专利技术的流程示意图。
具体实施方式
[0021]以下结合技术方案和附图详细叙述本专利技术的具体实施例。
[0022]S1：针对输入的扫描点云，获得标记点，作为之后方法的辅助。
[0023]在这一步中，可以将点云投影后采用基于图像的关键点检测方法获得(不包含在本专利范围内)。主要获取手部的关键点(包括手掌和指关节)和脸部关键点。同时，提前确定对应SMPLX模板上的点的索引。因为SMPLX模板上对应点的索引固定，所以直接记录对应的索引值就可以针对不同数据进行复用。
[0024]这一步对关键点的精度和完整度要求不高，仅作为后期优化的辅助；
[0025]S2：选择SMPLX模型作为参数化模板，对输入数据进行初处理。
[0026]首先将数据的单位换算到与SMPLX模板一致，并通过z方向上的最大最小值之差作为标准，对数据进行放缩，从而达到和SMPLX模板相近的尺度。
[0027]接着进行方向的粗对齐。通过标注点左右手连线向量以及SMPLX左右手连线向量计算朝向差距，对模板进行水平方向上的旋转，对朝向进行粗略对齐；
[0028]S3：进行SMPLX参数的优化。SMPLX的参数包括姿势参数θ、形状参数β以及刚性位移t。在优化中采用的能量函数为
[0029]E1(θ，β，t)＝w1E
p2m
(θ，β，t)+w2E
mmp
(θ)+w3E
pp
(θ)+w4E
lm
(θ，β，t)+w5E
bp
(β)
[0030]其中{w
i
|i＝1，...，5}是手动设定的权重超参数。
[0031]E
p2m
(points to mesh)是模板网格M
smplx
＝{V
smplx
，F
smplx
}和扫描数据网格M
scan
＝{V
scan
，F
scan
}之间的倒角距离(chamfer distance)，是主要约束，用于缩小两个网格之间的差异进行对齐，其定义如下：
[0032][0033]其中，距离dist(p1，p2)定义为：
[0034]dist(p1，p2)＝|(p1‑
p2)*n1|
[0035]n1是p1处的法向，可以通过网格曲面计算得到，*表示内积运算，p1与p2通过最近点匹配，在每次迭代中会重新计算。
[0036]E
mmp
(max mixture prior)为针对姿势的高斯混合先验，目的在于防止出现于正常姿势相差过大的姿势，通过已有的姿势分布对优化过程中的结果进行约束：
[0037][0038]其中{c
j
|j＝1，...，8}为权重参数，{G
j
|j＝1，...，8}为高斯混合分布，来自一百人的一百万个姿势参数。
[0039]E
pp
(pose prior)为姿势先验，主要是通过给某些关节的角度加以惩罚，来约束关节的不正常弯曲。
[0040][0041]其中i为膝关节和肘关节相关的关节索引，正负号的取舍由具体关节确定，通过指数函数给反常的关节姿势加入惩罚。
[0042]E
lm
(landmark)是由标注点带来的约束。引入了手部和脸部的标注点来增加约束条件，降低优化问题的难度。
[0043][0044]其中{p
i
|p
i
∈P
landmark
}为扫描数据上的标注点，p
i
′
为SMPLX标注的对应点，c
i
为权重。
[0045]E
bp
(body prior)为针对shape参数的正则化约束，防止得到过大的shape参数。
[0046]E
bp
＝||β||2[0047]在优化时，同时对姿势参数和形状参数进行优化，其中姿势参数的优化采用分阶段的策略，拆解如下：
[0048]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单个人体扫描点云输入和参数化人体模板的三维人体参数化重建方法，其特征在于，包括分阶段的参数拟合和分区域的逐点位移拟合；所述的分阶段的参数拟合，用于将参数化人体模板的外形与人体扫描点云的外形对齐，包括以下步骤：步骤1：将参数化人体模板姿势参数对应的关节划分为主干关节、中间关节、细关节；步骤2：优化主干关节和中间关节，同时优化形状参数与刚性位移参数；步骤3：优化中间关节和细关节，同时优化形状参数参数；所述的分区域的逐点位移拟合，用于对参数化人体模板进行细节上的微调，包括以下步骤：步骤1：将参数化人体模板的表面划分为不同区域；步骤2：针对不同区域设置不同的优化力度，进行逐顶点的优化。2.根据权利要求1所述的三维人体参数化重建方法，其特征在于，具体步骤如下：S1：针对输入的扫描点云，获得标记点，作为之后方法的辅助；主要获取手部的关键点和脸部关键点；同时，提前确定对应SMPLX模板上的点的索引；S2：选择SMPLX模型作为参数化模板，对输入数据进行初处理；首先，将数据的单位换算到与SMPLX模板一致，并通过z方向上的最大最小值之差作为标准，对数据进行放缩，从而达到和SMPLX模板相近的尺度；接着进行方向的粗对齐；通过标注点左右手连线向量以及SMPLX左右手连线向量计算朝向差距，对模板进行水平方向上的旋转，对朝向进行粗略对齐；S3：进行SMPLX参数的优化；SMPLX的参数包括姿势参数θ、形状参数β以及刚性位移t；在优化中采用的能量函数为E1(θ，β，t)＝w1E
p2m
(θ，β，t)+w2E
mmp
(θ)+w3E
pp
(θ)+w4E
lm
(θ，β，t)+w5E
bp
(β)其中{w
i
|i＝1，...，5}是手动设定的权重超参数；E
p2m
(points to mesh)是模板网格M
smplx
＝{V
smplx
，F
smplx
}和扫描数据网格M
scan
＝{V
scan
F
scan
}之间的倒角距离(chamfer distance)，是主要约束，用于缩小两个网格之间的差异进行对齐，其定义如下：其中，距离dist(p1，p2)定义为：dist(p1，p2)＝|(p1‑
p2)*n1|n1是p1处的法向，通过网格曲面计算得到，*表示内积运算，p1与p2通过最近点匹配，在每次迭代中会重新计算；E
mmp
(max mixture prior)为针对姿势的高斯混合先验，目的在于防止出现于正常姿势相差过大的姿势，通过已有的姿势分布对优化过程中的结果进行约束：其中{c
j
|j＝1，..，8}为权重参数，{G
j
|j＝1，...，8}为高斯混合...

【专利技术属性】
技术研发人员：曹俊杰，朱睿鼎，苏志勋，舍应钦，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：