【技术实现步骤摘要】
本专利技术属于3d数字人体建模、虚拟现实等领域，涉及一种基于rgbd数据的可驱动3d数字人体建模方法、系统与设备。
技术介绍
1、3d数字人体建模是指利用计算机图形学与图像视觉技术，在虚拟世界中生成与现实世界人类形象接近的数字化形象，是一个人体数字化的过程。其在3d电影、3d游戏、vr、ar等虚拟现实应用中发挥着重要作用。
2、目前，3d数字人体建模技术的主流技术分为静态扫描建模与动态光场重建，两种方法都可以重建人物的几何细节和人体的高品质贴图信息。但是，这两种技术生成的是人体的静态模型，无法通过驱动人体关节进行动作变换，实用价值较小。smpl-d(skinnedmulti-person linear-deformation model)人体模型是德国马普所的研究人员提出的一种骨架驱动的参数化人体模型，其具有较好的运动性能，可以模拟真实人体较为复杂的姿态变化，且在运动过程中具有良好的皮肤变形特性，与真实对象具有较高的几何相似度，具有较小的数据量与运算量，可支持实时运动控制。该模型在计算机辅助人体工学领域的运动仿真与姿态模拟研究中具有较大的应用价值。
3、基于多张图像生成可驱动3d数字人模型的方法，由于不包含真实的人体扫描，往往需要通过多张图像生成稀疏的人体细节，导致拟合出来的可驱动人体模型比较粗糙；基于扫描重建3d数字人模型的方法，生成出来的人体模型无法直接驱动，是一个静态模型；基于固定机位rgbd相机提取点云生成可驱动3d数字人模型的方法，易受到点云近稠密远稀疏特点的影响，生成的人体模型细节分布不均匀。
技术实现思路
1、专利技术目的：针对上述现有技术存在的问题，本专利技术目的在于提供一种基于rgbd数据的可驱动3d数字人体建模方法、系统与设备，将smpl人体模型与3d数字人体静态建模相结合，既能够发挥静态建模人体细节特征重建效果好的优势，又能够保留smpl模型可以驱动的特点。
2、技术方案：为实现上述专利技术目的，本专利技术提供的一种基于rgbd数据的可驱动3d数字人体建模方法，包括如下步骤：
3、基于rgbd数据生成带有贴图的静态人体三维模型；
4、围绕所述静态人体三维模型的中心，生成多个内参相同、外参不同的相机，并计算所述静态人体三维模型在各个相机中的投影图像；
5、检测各张投影图像中的人体二维关键点，并根据对应相机的内外参，合成静态人体三维模型中的三维关键点；
6、计算静态人体三维模型中的三维关键点与smpl-d模型中对应的关节点的距离误差，优化smpl-d模型，使smpl-d模型与静态人体三维模型贴合；
7、分割出静态人体三维模型中的人体顶点和衣服顶点，以人体顶点与smpl-d模型的顶点之间的距离为误差，优化得到裸体的smpl-d模型；以衣服顶点与smpl-d模型的顶点之间的距离为误差，优化得到穿戴有衣服的smpl-d模型。
8、作为优选，所述rgbd数据通过rgbd摄像头围绕人体扫描获取，通过多次同一区域补充静态人体三维模型的细节。
9、作为优选，所述多个内参相同、外参不同的相机均匀分布在静态人体三维模型周围，与静态人体三维模型的中心距离相同，方位角不同。
10、作为优选，所述人体二维关键点采用深度学习网络从投影图像中检测出的25个关键点；以最小化smpl-d模型与静态人体三维模型中25个关键点的欧式距离为目标，优化smpl-d模型的平移、人体体型参数与人体关节点姿态参数。
11、作为优选，采用点云分割网络提取出静态人体三维模型中的人体顶点和衣服顶点。
12、作为优选，计算每一个人体顶点与smpl-d模型所有顶点最小的欧氏距离并求和，作为误差，优化smpl-d模型的平移、人体体型参数与人体关节点姿态参数，得到裸体的smpl-d模型。
13、作为优选，计算每一个衣服顶点与smpl-d模型所有顶点最小的欧氏距离并求和，作为误差，优化smpl-d模型的人体体型参数、受衣服影响的人体模型顶点的偏移量，得到穿戴有衣服的smpl-d模型。
14、基于相同的专利技术构思，本专利技术提供的一种基于rgbd数据的可驱动3d数字人体建模系统，包括：
15、静态模型生成模块，用于基于rgbd数据生成带有贴图的静态人体三维模型；
16、相机投影模块，用于围绕所述静态人体三维模型的中心，生成多个内参相同、外参不同的相机，并计算所述静态人体三维模型在各个相机中的投影图像；
17、关键点检测与合成模块，用于检测各张投影图像中的人体二维关键点，并根据对应相机的内外参，合成静态人体三维模型中的三维关键点；
18、smpl-d构建模块，用于计算静态人体三维模型中的三维关键点与smpl-d模型中对应的关节点的距离误差，优化smpl-d模型，使smpl-d模型与静态人体三维模型贴合；
19、点云分割模块，用于分割出静态人体三维模型中的人体顶点和衣服顶点；
20、smpl-d裸体优化模块，用于以人体顶点与smpl-d模型的顶点之间的距离为误差，优化得到裸体的smpl-d模型；
21、以及smpl-d衣服优化模块，用于以衣服顶点与smpl-d模型的顶点之间的距离为误差，优化得到穿戴有衣服的smpl-d模型。
22、基于相同的专利技术构思，本专利技术提供的一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于rgbd数据的可驱动3d数字人体建模方法。
23、基于相同的专利技术构思，本专利技术提供的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于rgbd数据的可驱动3d数字人体建模方法。
24、有益效果：与现有技术相比，本专利技术具有如下优点：
25、1.本专利技术将smpl人体模型与3d数字人体静态建模相结合，既能够发挥3d数字人体静态建模人体细节特征重建效果好的优势，又能够保留smpl模型可以驱动的特点。
26、2.本专利技术可以利用不固定机位的rgbd相机，动态扫描人体，得到人体扫描数据，并将可驱动的smpl-d模型拟合到扫描数据上，生成了带有均匀且精确细节的可驱动数字人体模型。克服了多张图像生成模型过于粗糙的缺点，解决了扫描生成模型无法驱动的问题，优化了固定机位rgbd相机提取点云生成模型细节分布不均匀的问题。
27、3.本专利技术采用三步优化策略：第一步，优化smpl-d人体模型的人体关键点与静态人体模型人体关键点的欧式距离，这样就提供了一个比较好的参数初始值，避免后续步骤优化到错误的局部最优；第二步，优化smpl-d人体模型与静态人体模型中人体皮肤部分之间的距离，得到较为精细的人体体型参数，使得之后驱动人体时，肌肉的变形更加真实；第三步，优化smpl-d人体模型与静态人体模型衣物部分之间的距离，得到较为精细的衣服参数，使得之后驱动人本文档来自技高网...
【技术保护点】
1.一种基于RGBD数据的可驱动3D数字人体建模方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于RGBD数据的可驱动3D数字人体建模方法，其特征在于，所述RGBD数据通过RGBD摄像头围绕人体扫描获取，通过多次同一区域补充静态人体三维模型的细节。
3.根据权利要求1所述的基于RGBD数据的可驱动3D数字人体建模方法，其特征在于，所述多个内参相同、外参不同的相机均匀分布在静态人体三维模型周围，与静态人体三维模型的中心距离相同，方位角不同。
4.根据权利要求1所述的基于RGBD数据的可驱动3D数字人体建模方法，其特征在于，所述人体二维关键点采用深度学习网络从投影图像中检测出的25个关键点；以最小化SMPL-D模型与静态人体三维模型中25个关键点的欧式距离为目标，优化SMPL-D模型的平移、人体体型参数与人体关节点姿态参数。
5.根据权利要求1所述的基于RGBD数据的可驱动3D数字人体建模方法，其特征在于，采用点云分割网络提取出静态人体三维模型中的人体顶点和衣服顶点。
6.根据权利要求1所述的基于RGBD数据的可
7.根据权利要求1所述的基于RGBD数据的可驱动3D数字人体建模方法，其特征在于，计算每一个衣服顶点与SMPL-D模型所有顶点最小的欧氏距离并求和，作为误差，优化SMPL-D模型的人体体型参数、受衣服影响的人体模型顶点的偏移量，得到穿戴有衣服的SMPL-D模型。
8.一种基于RGBD数据的可驱动3D数字人体建模系统，其特征在于，包括：
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-7任一项所述的基于RGBD数据的可驱动3D数字人体建模方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-7任一项所述的基于RGBD数据的可驱动3D数字人体建模方法。
...【技术特征摘要】
1.一种基于rgbd数据的可驱动3d数字人体建模方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于rgbd数据的可驱动3d数字人体建模方法，其特征在于，所述rgbd数据通过rgbd摄像头围绕人体扫描获取，通过多次同一区域补充静态人体三维模型的细节。
3.根据权利要求1所述的基于rgbd数据的可驱动3d数字人体建模方法，其特征在于，所述多个内参相同、外参不同的相机均匀分布在静态人体三维模型周围，与静态人体三维模型的中心距离相同，方位角不同。
4.根据权利要求1所述的基于rgbd数据的可驱动3d数字人体建模方法，其特征在于，所述人体二维关键点采用深度学习网络从投影图像中检测出的25个关键点；以最小化smpl-d模型与静态人体三维模型中25个关键点的欧式距离为目标，优化smpl-d模型的平移、人体体型参数与人体关节点姿态参数。
5.根据权利要求1所述的基于rgbd数据的可驱动3d数字人体建模方法，其特征在于，采用点云分割网络提取出静态人体三维模型中的人体顶点和衣服顶点。
6.根据权利要求1所述的基于rgbd数据的可...
【专利技术属性】
技术研发人员：张睿，高桓，吴冶，李昂，
申请(专利权)人：南京英麒智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。