一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法技术

本发明专利技术的目的在于提供一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法，包括如下步骤：惯性动捕单元数据采集及姿态解算；UWB数据采集及分析定位；通过RGB相机采集数据并进行数据解算；多传感器融合优化姿态解算；数据格式转化；驱动虚拟人物，完成人机交互：导入设计好的人体模型，通过对输出数据进行解析并且更新到各个骨骼节点驱动三维人体模型。本发明专利技术为教练和滑雪者在未来进行滑雪动作改进训练，提高滑雪技能，加快滑雪者掌握滑雪能力速度，同时降低滑雪训练装备成本并适于普通滑雪爱好者，有助于滑雪机的推广和滑雪运动的普及。动的普及。动的普及。

【技术实现步骤摘要】
一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法


[0001]本专利技术涉及的是一种人体动作捕捉及定位方法，具体地说是滑雪者姿态识别的方法。

技术介绍

[0002]因冰雪运动主要是在室外滑雪场进行，滑雪运动受限于场地、环境、气候等因素影响，导致每年可进行冰雪运动的时间非常有限。研制大型室内模拟滑雪机，室内滑雪机不仅仅可以无视天气，季节的限制，起初是为了辅助专业运动员在非雪季进行基本动作改良、加深肌肉记忆。但目前室内滑雪机相对枯燥，智能化和体感程度不高，高端精细化滑雪培训装备每套高达几十上百万，无法实现滑雪运动真正大范围普及，所以急需开展低成本智能滑雪设备的研究。
[0003]由MEMS(微电子机械系统，简称微机电系统)惯性传感器构成的人体姿态检测系统是实现滑雪者动作捕捉的核心部分。但是，佩戴在人体进行动作捕捉的小体积MEMS惯性测量单元精度普遍较低，并且定向误差随着时间增加而累积发散，单纯采用磁力计进行矫正的话，磁力计又极容易受到干扰，为了获取更加准确可用的动作捕捉结果，考虑将不同传感器进行融合，弥补各自的局限是一个可行的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法，其特征是：(1)惯性动捕单元数据采集及姿态解算：读取MEMS捷联惯性测量单元中的陀螺仪和加速度计的数据以及磁力计数据；由MEMS惯性测量单元输出的数据，推导角速度和线性加速度值，融合磁力计数据进行姿态解算，结合静止状态下检测的初始条件，采用捷联惯性导航算法计算出每一个动捕单元在运动时的姿态角，然后通过无线方式传输给接收单元；(2)UWB数据采集及分析定位；(3)通过RGB相机采集数据并进行数据解算：通过两端法来进行人体关键点三维坐标的获取，深度卷积神经网络检测出二维关节点坐标，卷积操作提取特征，利用二维关节点信息和特征矩阵回归出3D姿态；(4)多传感器融合优化姿态解算：在步骤(1)、步骤(3)基础上RGB相机解算出的数据与惯导结算的姿态，在RGB相机无遮挡的情况下，通过深度学习推算出关节点三维坐标，进而解算出人肢体的俯仰和航向角，与惯性传感器结算的姿态进行加权融合，当单目视觉识别结果由于部分关节出现相互遮挡，忽略单目视觉的捕捉数据而直接由惯性动捕的识别结果代替；(5)数据格式转化；(6)驱动虚拟人物，完成人机交互：导入设计好的人体模型，通过对输出数据进行解析并且更新到各个骨骼节点驱动三维人体模型。2.根据权利要求1所述的一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法，其特征是：步骤(1)惯性动捕单元数据采集及姿态解算包括以下步骤：a.加速度计和磁力计的矫正，对加速度计和磁力计进行误差建模，各自采集一部分数据进行拟合矫正；b.由搭载在惯性动捕测量单元上的三轴陀螺仪、三轴加速度计和三轴磁力计分别测量装置在运动时的旋转角速率、线性加速度和地磁场强度大小；c.对磁力计加速度计数据进行归一化处理，利用陀螺仪、磁力计和加速度计频域上的互补特性，互补滤波融合惯性传感器三种数据，通过加速度计校正俯仰和横滚角，磁力计矫正航向；d.解算姿态得到欧拉角，对数据进行编号打包，通过无线传输发送到...

【专利技术属性】
技术研发人员：张子斌，管练武，余夕林，林开宏，张小齐，杨在柱，王健旭，雷鸣，常帅，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：