一种面向二维数据的人体三维重建方法技术

本发明专利技术公开了一种面向二维数据的人体三维重建方法，该方法利用mediapipe获取视频中的人体关键点位，在Blender中确定人体的坐标系，通过transform设计4

【技术实现步骤摘要】
一种面向二维数据的人体三维重建方法


[0001]本专利技术涉及一种面向二维数据的人体三维重建方法，属于人体三维重建


技术介绍

[0002]人体三维重建技术是计算机图形学领域的重要研究方向，主要用于从二维图像或视频中恢复出人体的三维结构。人体三维重建技术广泛应用于虚拟现实、增强现实、游戏开发等领域，具有重要的应用价值和商业前景。目前，人体三维重建技术主要分为两类：基于多视角的方法和基于单视角的方法。基于多视角的方法需要多个相机同时拍摄同一场景，然后通过三角测量等方法将多个视角下的图像信息融合在一起。基于单视角的方法只需要一个摄像机或者一个视频流，通过对图像进行分析和处理，推测出人体的三维结构。其中，通过投影矩阵进行透视变换方法是基于单视角的方法之一，通过对图像进行透视变换，将人体的二维坐标转换为三维坐标，实现从二维到三维的转换。
[0003]从数据质量和准确性来看：转换的准确性取决于输入的二维坐标的质量和准确性。如果二维坐标存在噪声、误差或不完整性，可能会导致转换结果的不准确性。从姿态和视角的变化来看：人体的姿态和视角的变化对于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向二维数据的人体三维重建方法，其特征在于，包括如下步骤：步骤1，获取视频中的人体关键点二维坐标；步骤2，根据人体模型库中的人体模型或创建一个人体模型，确定人体模型的坐标系；步骤3，利用transform深度学习模型学习4
×
4投影矩阵进行透视变换，将人体关键点二维坐标映射到三维空间中；步骤4，设计transform深度学习模型的损失函数，使采用上述模型映射得到的三维坐标与实际坐标之间的误差最小，从而得到符合vrm格式的人体模型。2.根据权利要求1所述的面向二维数据的人体三维重建方法，其特征在于，所述步骤1中，采用mediapipe作为人体关键点检测工具，利用mediapipe中的姿态估计模型获取视频中的人体关键点二维坐标，人体关键点包括脸部、手部和躯干关键点。3.根据权利要求1所述的面向二维数据的人体三维重建方法，其特征在于，所述步骤2中，在Blender中确定人体模型的坐标系，具体为：首先使用Blender的导入功能，将人体模型加载到Blender的场景中；然后使用Blender的移动、旋转和缩放工具调整人体模型的位置和比例，使得调整后的人体模型适合步骤1的视频场景和坐标系的参考；最后在人体模型上创建骨骼系统，使用骨骼约束和关节控制器模拟人体的骨骼结构和关节运动。4.根据权利要求1所述的面向二维数据的人体三维重建方法，其特征在于，所述步骤3中，利用transform深度学习模型学习4
×
4投影矩阵，该4
×
4投影矩阵将人体关键点二维坐标映射到三维空间中，所述4
×
4投影矩阵包括平移变换矩阵、缩放变换矩阵和旋转变换矩阵；根据步骤2确定的坐标系，将两肩的中间位置作为坐标系的原点，左肩到右肩的方向定义为X轴，肩膀到臀部的方向定义为Y轴，根据该坐标系将二维坐标转换为符合three.js，vec...

【专利技术属性】
技术研发人员：杜明禹，刘胜美，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：