基于多目视觉的人体动作重建系统、方法和动作训练系统技术方案

本申请公开了一种基于多目视觉的人体动作重建系统、方法和动作训练系统，通过校正后的基于至少两个单目相机捕获目标人体的动作图像，对于动作图像进行二维图像上的人体二维关节点识别，然后基于人体二维关节点重建出目标人体的三维动作，无需用户穿戴特制的光学捕捉服或者装配相应的传感器，解决了现有的深度摄像机人体三维动作识别方法，对应用场景要求较高，在复杂的应用场景下，识别准确率较低的技术问题。

Human motion reconstruction system, method and motion training system based on multi vision

The application discloses a human motion reconstruction system, method and motion training system based on multi vision. Through the corrected action image of the target human body captured by at least two monocular cameras, the two-dimensional joint points of the human body on the two-dimensional image are recognized for the action image, and then the three-dimensional motion of the target human body is reconstructed based on the two-dimensional joint points of the human body without wearing by the user The special optical capture suit or the corresponding sensor can solve the existing 3D motion recognition method of depth camera, which requires high application scene and low recognition accuracy in complex application scene.

【技术实现步骤摘要】
基于多目视觉的人体动作重建系统、方法和动作训练系统
本申请涉及动作识别
，特别涉及一种基于多目视觉的人体动作重建系统、方法和动作训练系统。
技术介绍
随着人工智能的发展，人体姿势识别技术在大数据时代可获得的更加庞大的数据集与强大计算能力的基础下取得了重要的突破。现有的三维人体动作识别方法是利用光学捕捉技术捕捉目标人体三维动作进行动作识别，用户穿戴有光学标记的特制光学捕捉服或者相应的检测传感器来获取相应的标记位置生成空间相对位置，从而构建人体三维模型，进行动作识别。利用光学捕捉技术捕捉目标人体三维动作进行动作识别的方法，需要用户穿戴特制的光学捕捉服或者装配相应的传感器，穿戴麻烦，且用户负重较大，对动作训练造成不便，影响用户体验。
技术实现思路
本申请的目的是提供一种基于多目视觉的人体动作重建系统、方法和动作训练系统，用于解决现有的三维人体动作识别方法需要用户穿戴特制的光学捕捉服或者装配相应的传感器，穿戴麻烦，且用户负重较大，对动作训练造成不便，影响用户体验的技术问题。本申请第一方面提供了一种基于多目视觉的本文档来自技高网...

【技术保护点】
1.一种基于多目视觉的人体动作重建系统，其特征在于，包括：/n相机标定模块，用于根据采集到的标定点数据进行单目相机标定，所述单目相机的数量至少两个；/n动作采集模块，用于获取所有所述单目相机采集到的目标人体的动作图像序列，将所述动作图像序列发送至二维人体动作识别模块；/n所述二维人体动作识别模块，用于识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块；/n所述三维动作重建模块，用于基于每一帧中的所述人体骨架信息还原所述目标人体的所述二维关节点在三维空间...

【技术特征摘要】
1.一种基于多目视觉的人体动作重建系统，其特征在于，包括：
相机标定模块，用于根据采集到的标定点数据进行单目相机标定，所述单目相机的数量至少两个；
动作采集模块，用于获取所有所述单目相机采集到的目标人体的动作图像序列，将所述动作图像序列发送至二维人体动作识别模块；
所述二维人体动作识别模块，用于识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块；
所述三维动作重建模块，用于基于每一帧中的所述人体骨架信息还原所述目标人体的所述二维关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。


2.根据权利要求1所述的基于多目视觉的人体动作重建系统，其特征在于，还包括：成像点误差纠正模块；
所述成像点误差纠正模块，用于在所述单目相机发生偏移时，纠正所述二维人体动作识别模块中的所述二维关节点的像素坐标，以便于所述二维人体动作识别模块根据纠正像素坐标后的所述二维关节点重建所述目标人体的人体骨架，并将每一帧的所述人体骨架信息存储并发送至三维动作重建模块。


3.根据权利要求1所述的基于多目视觉的人体动作重建系统，其特征在于，所述三维动作重建模块具体包括：
第一求解子模块，用于基于所述单目相机标定后的单目相机参数，求解与所述单目相机的焦点垂直投影于所述单目相机的成像平面上的投影成像点在预置三维坐标系中的第一真实三维坐标；
第二求解子模块，用于基于所述第一真实三维坐标和所述单目相机的成像平面参数，求解所述第一真实三维坐标的旋转矩阵和平移向量；
第三求解子模块，用于基于所述旋转矩阵和平移向量求解所述成像平面上的所述二维关节点在所述预置三维坐标系中的第二真实三维坐标；
关节点重建子模块，用于将所述预置三维坐标系中，使得所有所述单目相机的光心坐标与对应的所述第二真实三维坐标直线取得最小距离的三维坐标点，作为所述二维关节点在所述预置三维坐标系中的真实三维关节点，重建出所述目标人体的三维动作。


4.根据权利要求3所述的基于多目视觉的人体动作重建系统，其特征在于，所述关节点子模块具体用于：
基于超定方程组最小二乘法求解所有所述单目相机的光心坐标与对应的所述第二真实三维坐标所成的直线取得最小距离的三维坐标点，作为所述二维关节点在所述预置三维坐标系中的真实三维关节点，重建出所述目标人体的三维动作。


5.根据权利要求1所述的基于多目视觉的人体动作重建系统，其特征在于，所述二维人体动作识别模块具体用于：
基于预置卷积神经网络对所述动作图像序列中的人体关键肢体关节部位进行识别，提取所述动作图像序列的每一帧中属于同一目标人体的25个关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储...

【专利技术属性】
技术研发人员：张炜乐，樊奕良，梁鑫，杜钦涛，李培杰，姚伟聪，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44