一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法技术

本发明专利技术的目的在于提供一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法，包括如下步骤：惯性动捕单元数据采集及姿态解算；UWB数据采集及分析定位；通过RGB相机采集数据并进行数据解算；多传感器融合优化姿态解算；数据格式转化；驱动虚拟人物，完成人机交互：导入设计好的人体模型，通过对输出数据进行解析并且更新到各个骨骼节点驱动三维人体模型。本发明专利技术为教练和滑雪者在未来进行滑雪动作改进训练，提高滑雪技能，加快滑雪者掌握滑雪能力速度，同时降低滑雪训练装备成本并适于普通滑雪爱好者，有助于滑雪机的推广和滑雪运动的普及。动的普及。动的普及。

【技术实现步骤摘要】
一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法


[0001]本专利技术涉及的是一种人体动作捕捉及定位方法，具体地说是滑雪者姿态识别的方法。

技术介绍

[0002]因冰雪运动主要是在室外滑雪场进行，滑雪运动受限于场地、环境、气候等因素影响，导致每年可进行冰雪运动的时间非常有限。研制大型室内模拟滑雪机，室内滑雪机不仅仅可以无视天气，季节的限制，起初是为了辅助专业运动员在非雪季进行基本动作改良、加深肌肉记忆。但目前室内滑雪机相对枯燥，智能化和体感程度不高，高端精细化滑雪培训装备每套高达几十上百万，无法实现滑雪运动真正大范围普及，所以急需开展低成本智能滑雪设备的研究。
[0003]由MEMS(微电子机械系统，简称微机电系统)惯性传感器构成的人体姿态检测系统是实现滑雪者动作捕捉的核心部分。但是，佩戴在人体进行动作捕捉的小体积MEMS惯性测量单元精度普遍较低，并且定向误差随着时间增加而累积发散，单纯采用磁力计进行矫正的话，磁力计又极容易受到干扰，为了获取更加准确可用的动作捕捉结果，考虑将不同传感器进行融合，弥补各自的局限是一个可行的选择。

技术实现思路

[0004]本专利技术的目的在于提供能降低滑雪训练装备成本并适于普通滑雪爱好者的一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法。
[0005]本专利技术的目的是这样实现的：
[0006]本专利技术一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法，其特征是：
[0007](1)惯性动捕单元数据采集及姿态解算：读取MEMS捷联惯性测量单元中的陀螺仪和加速度计的数据以及磁力计数据；由MEMS惯性测量单元输出的数据，推导角速度和线性加速度值，融合磁力计数据进行姿态解算，结合静止状态下检测的初始条件，采用捷联惯性导航算法计算出每一个动捕单元在运动时的姿态角，然后通过无线方式传输给接收单元；
[0008](2)UWB数据采集及分析定位；
[0009](3)通过RGB相机采集数据并进行数据解算：通过两端法来进行人体关键点三维坐标的获取，深度卷积神经网络检测出二维关节点坐标，卷积操作提取特征，利用二维关节点信息和特征矩阵回归出3D姿态；
[0010](4)多传感器融合优化姿态解算：在步骤(1)、步骤(3)基础上RGB相机解算出的数据与惯导结算的姿态，在RGB相机无遮挡的情况下，通过深度学习推算出关节点三维坐标，进而解算出人肢体的俯仰和航向角，与惯性传感器结算的姿态进行加权融合，当单目视觉识别结果由于部分关节出现相互遮挡，忽略单目视觉的捕捉数据而直接由惯性动捕的识别
结果代替；
[0011](5)数据格式转化；
[0012](6)驱动虚拟人物，完成人机交互：导入设计好的人体模型，通过对输出数据进行解析并且更新到各个骨骼节点驱动三维人体模型。
[0013]本专利技术还可以包括：
[0014]1、步骤(1)惯性动捕单元数据采集及姿态解算包括以下步骤：
[0015]a.加速度计和磁力计的矫正，对加速度计和磁力计进行误差建模，各自采集一部分数据进行拟合矫正；
[0016]b.由搭载在惯性动捕测量单元上的三轴陀螺仪、三轴加速度计和三轴磁力计分别测量装置在运动时的旋转角速率、线性加速度和地磁场强度大小；
[0017]c.对磁力计加速度计数据进行归一化处理，利用陀螺仪、磁力计和加速度计频域上的互补特性，互补滤波融合惯性传感器三种数据，通过加速度计校正俯仰和横滚角，磁力计矫正航向；
[0018]d.解算姿态得到欧拉角，对数据进行编号打包，通过无线传输发送到数据接收单元。
[0019]2、步骤(2)中，采用4个基站和1标签来进行定位，通过RTT双边方式测距测得UWB标签和每个UWB基站间的距离，解算出UWB标签的位置信息，然后将位置信息发送给接收单元。
[0020]3、步骤(3)中通过RGB相机采集数据并进行数据解算包括以下步骤：
[0021]①
采用RGB相机获取视频，将视频导入电脑，利用opencv从视频中读取一帧一帧的图像数据；
[0022]②
对于每一帧的图像，采用深度卷积神经网络作为姿态检测网络，采用自下而上的方式来进行姿态的估计，最后得到人体骨骼关键点的二维坐标；
[0023]③
基于连续帧卷积的网络，该网络在时间维度上对时序2D人体关节点坐标序列进行卷积操作提取特征，对输入视频中的3D人体姿态做出预测。
[0024]4、步骤(4)中多传感器融合优化姿态解算包括以下步骤：
[0025]ⅰ
通过RGB相机获取的视频，基于深度学习的三维人体姿态估计得到人体关节的横滚和航向角；
[0026]ⅱ
通过惯性传感器以及姿态解算，获得每个关节的俯仰航向、横滚角；
[0027]ⅲ
将俯仰和航向角进行加权融合，直接输出横滚角；
[0028]ⅳ
选择完全忽略单目视觉的捕捉数据而直接由惯性动捕的识别结果代替。
[0029]5、步骤(5)是在步骤(4)基础上，加权融合后的姿态数据和位置信息进行格式转换，数据格式包括骨架信息和数据块，数据块存放着各个节点的姿态信息，髋关节处包含姿态信息和位置信息。
[0030]本专利技术的优势在于：
[0031]1、本专利技术中单目视觉人体的姿态估计会出现人体部分缺失会使得算法检测不到被遮挡的人体关节点，从而无法对被遮挡的关节点给出正确的预测。其次，由于人体的关节点之间是相互关联的，部分关节点的丢失同样会对未遮挡关节点的预测产生影响。相对于视觉捕捉和关节角度测量技术，惯性测量技术没有使用空间的限制，但是惯性测量对高动态响应较差，数据采集精度随时间推移下降，易受外界环境磁场影响，最致命的缺陷是误差
累计，无法长时间使用，视觉+惯性融合来实现动作捕捉技术则可以弥补各自传感器的不足，实现对于动作捕捉效果的优化。
[0032]2、本专利技术中多传感器融合优化姿态解算，其中需要的传感器对于现有惯性动作捕只是额外增加了一个普通的RGB相机拍摄的人物动作视频就可以达到提高动作捕捉精度效果，无需昂贵的专业设备，降低成本。
[0033]3、神经网络模型一次训练完成就用很高的复用性、鲁棒性。
附图说明
[0034]图1为本专利技术的方案示意图；
[0035]图2为惯性动捕单元设计图；
[0036]图3为UWB标签/基站设计图；
[0037]图4为UWB定位示意图；
[0038]图5为数据采集单元设计图；
[0039]图6为惯性器件姿态解算原理图；
[0040]图7为基于深度学习人体动作捕捉的框图；
[0041]图8为融合过程示意图。
具体实施方式
[0042]下面结合附图举例对本专利技术做更详细地描述：
[0043]结合图1
‑
8，本专利技术一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法包括惯性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法，其特征是：(1)惯性动捕单元数据采集及姿态解算：读取MEMS捷联惯性测量单元中的陀螺仪和加速度计的数据以及磁力计数据；由MEMS惯性测量单元输出的数据，推导角速度和线性加速度值，融合磁力计数据进行姿态解算，结合静止状态下检测的初始条件，采用捷联惯性导航算法计算出每一个动捕单元在运动时的姿态角，然后通过无线方式传输给接收单元；(2)UWB数据采集及分析定位；(3)通过RGB相机采集数据并进行数据解算：通过两端法来进行人体关键点三维坐标的获取，深度卷积神经网络检测出二维关节点坐标，卷积操作提取特征，利用二维关节点信息和特征矩阵回归出3D姿态；(4)多传感器融合优化姿态解算：在步骤(1)、步骤(3)基础上RGB相机解算出的数据与惯导结算的姿态，在RGB相机无遮挡的情况下，通过深度学习推算出关节点三维坐标，进而解算出人肢体的俯仰和航向角，与惯性传感器结算的姿态进行加权融合，当单目视觉识别结果由于部分关节出现相互遮挡，忽略单目视觉的捕捉数据而直接由惯性动捕的识别结果代替；(5)数据格式转化；(6)驱动虚拟人物，完成人机交互：导入设计好的人体模型，通过对输出数据进行解析并且更新到各个骨骼节点驱动三维人体模型。2.根据权利要求1所述的一种基于单目RGB相机及MEMS多传感器融合人体姿态识别的方法，其特征是：步骤(1)惯性动捕单元数据采集及姿态解算包括以下步骤：a.加速度计和磁力计的矫正，对加速度计和磁力计进行误差建模，各自采集一部分数据进行拟合矫正；b.由搭载在惯性动捕测量单元上的三轴陀螺仪、三轴加速度计和三轴磁力计分别测量装置在运动时的旋转角速率、线性加速度和地磁场强度大小；c.对磁力计加速度计数据进行归一化处理，利用陀螺仪、磁力计和加速度计频域上的互补特性，互补滤波融合惯性传感器三种数据，通过加速度计校正俯仰和横滚角，磁力计矫正航向；d.解算姿态得到欧拉角，对数据进行编号打包，通过无线传输发送到...

【专利技术属性】
技术研发人员：张子斌，管练武，余夕林，林开宏，张小齐，杨在柱，王健旭，雷鸣，常帅，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：