一种三维人体动作重建系统、方法和动作训练系统技术方案

本申请公开了一种三维人体动作重建系统、方法和动作训练系统，通过校正后的基于双目视觉的双目相机捕获目标人体的动作图像，对于动作图像进行二维图像上的二维人体关节点识别，基于双目立体视觉和二维人体关节点重构出目标人体的三维关节点，从而重建出目标人体的三维动作，无需经过复杂的图形变换生成深度图，可以避免深度变化过程带来的误差，不会出现把目标人体周围的物体误识别为目标人体的一部分，降低了应用场景的要求，解决了现有的深度摄像机人体三维动作识别方法，对应用场景要求较高，在复杂的应用场景下，识别准确率较低的技术问题。

A 3D human motion reconstruction system, method and motion training system

The application discloses a three-dimensional human motion reconstruction system, method and motion training system. Through the corrected binocular camera based on binocular vision, the action image of the target human body is captured, and the two-dimensional human joint points on the two-dimensional image are recognized, and the three-dimensional joint points of the target human body are reconstructed based on the binocular stereo vision and the two-dimensional human joint points, so as to reconstruct The 3D motion of the target human body can be generated without complicated graphic transformation, which can avoid the error caused by the process of depth change, and can not identify the objects around the target human body as a part of the target human body, reduce the requirements of the application scene, solve the existing 3D motion recognition method of the depth camera human body, and have high requirements for the application scene In the complex application scenario, the recognition accuracy is low.

【技术实现步骤摘要】
一种三维人体动作重建系统、方法和动作训练系统
本申请涉及动作识别
，特别涉及一种三维人体动作重建系统、方法和动作训练系统。
技术介绍
随着人工智能的发展，人体姿势识别技术在大数据时代可获得的更加庞大的数据集与强大计算能力的基础下取得了重要的突破。现有的三维人体动作识别方法是利用深度摄像机进行人体三维动作捕捉，再进行动作是否符合标准的评估，利用深度摄像机进行人体三维动作捕捉的方法，使用近红外光覆盖照射待测视图范围，并计算近红外光发射与发射的时间差或相位差，进行对待测目标各点距离的转换，以生成各点的深度信息，可以根据人的肤色和其他物体的位置以及北京和现有的人形数据库，将人的轮廓从深度图中抽取出，然后根据人的轮廓估计人的身体部位，然后根据每个部分进一步确定人体的关节点，从而构建动作者的三维动作姿态，再进行动作姿态比对。但是利用深度摄像机进行人体三维动作捕捉的方法，对应用场景的要求较高，在复杂的应用场景(如杂乱的房间、室外光线较强的场景)中，存在一定的机率会把人体周围的物体误识别为人体的部分，导致对人体三维动作的判断产生误差，降低识别准确本文档来自技高网...

【技术保护点】
1.一种三维人体动作重建系统，其特征在于，包括：/n相机标定模块，用于根据采集到的标定点数据进行双目相机标定；/n相机立体校正模块，用于对进行所述双目相机标定后的标定相机参数基于Bougue算法进行立体校正，使得所述双目相机在同一时刻可获得双目相机左右视角的平行共面图像；/n动作采集模块，用于通过所述双目相机采集目标人体的动作图像序列，将所述动作图像序列发送至二维人体动作识别模块；/n所述二维人体动作识别模块，用于识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维...

【技术特征摘要】
1.一种三维人体动作重建系统，其特征在于，包括：
相机标定模块，用于根据采集到的标定点数据进行双目相机标定；
相机立体校正模块，用于对进行所述双目相机标定后的标定相机参数基于Bougue算法进行立体校正，使得所述双目相机在同一时刻可获得双目相机左右视角的平行共面图像；
动作采集模块，用于通过所述双目相机采集目标人体的动作图像序列，将所述动作图像序列发送至二维人体动作识别模块；
所述二维人体动作识别模块，用于识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块；
所述三维动作重建模块，用于基于每一帧中的所述人体骨架信息，结合双目立体视觉还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。


2.根据权利要求1所述的三维人体动作重建系统，其特征在于，所述相机标定模块具体用于：
根据采集到的标定点数据进行双目相机标定预处理，基于所述预处理得到所述双目相机的内参数矩阵、外参数矩阵和立体校正参数，进行双目相机标定。


3.根据权利要求2所述的三维人体动作重建系统，其特征在于，所述相机立体校正模块具体用于：
根据所述双目相机拍摄的参考图像序列，对所述内参数矩阵和所述外参数矩阵基于Bougue算法进行立体校正，使得立体校正后的所述双目相机拍摄的参考图像序列的同一时刻参考图像平行共面。


4.根据权利要求1所述的三维人体动作重建系统，其特征在于，所述二维人体动作识别模块具体用于：
基于预置卷积神经网络对所述动作图像序列中的人体关键肢体关节部位进行识别，提取所述动作图像序列的每一帧中属于同一目标人体的25个关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块。


5.根据权利要求1所述的三维人体动作重建系统，其特征在于，所述三维动作重建模块具体用于：
基于预置反投影矩阵将每一帧中的所述人体骨架信息还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。


6.一种三维人体动作重建方法，其特征在于，包括：
基于采集到的标定点数据对双目相机进行相机标定，得到标定相机参数，所述标定相机参数包括...

【专利技术属性】
技术研发人员：梁鑫，李培杰，杜钦涛，张炜乐，樊奕良，李烁，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44