一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法技术

本发明专利技术提供了一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法，针对视觉姿态估计中遮挡问题、无法获得三自由度旋转信息的缺点，将九轴姿态传感器信息与视觉信息互补，采用数据融合算法，非线性优化视觉信息、惯性信息以及人体姿态信息，利用正向运动学和反向运动学实时推测人体骨骼节点的旋转角度和位置信息。然后将学生舞蹈视频与老师视频进行动作相似对比，根据容错度筛选出错误动作区间，实现错误动作纠正可视化。实现错误动作纠正可视化。

【技术实现步骤摘要】
一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法


[0001]本专利技术属于人体姿态估计领域，具体涉及人体舞蹈动作多模态融合的姿态估计方法。

技术介绍

[0002]人体动作捕获与识别具有广阔的市场空间和应用前景，广泛应用于动画制作、人机交互、虚拟现实、体育训练、医疗康复等领域。穿戴式传感器搭建的人体动作捕捉系统具有成本低、操作简单、没有时空限制和遮挡问题的优点。
[0003]随着经济技术的发展和人们生活水平的提高，人们对于健康的关注程度也越来越高。因此，对于人体步态的分析和人体模型的建模，就显得尤为重要。对于人体步态分析和建模的方法，目前主要是基于计算机视觉的步态分析技术和基于MEMS惯性传感器的步态分析技术两种。
[0004]基于计算机视觉2D摄像头的动作捕捉系统，主要采用卷积神经网络捕获特定关节点的特征，从而凸显相关关节的坐标，进行人体的二维建模。该方法需要采集大量的数据样本作为训练数据集，同时不能有摄像头的遮挡。因此实施起来并不方便。
[0005]而基于MEMS惯性传感器的步态分析系统，主要由多个MEMS惯性传感器组成，人体关节每个测量部位都穿戴惯性传感器，惯性传感器会反馈在运动过程中的角速度，加速度，磁力值以及运动姿态角度等测量信息，同时设置基于加速度传感器，陀螺仪，磁力计的数据融合算法，利用正向运动学和反向运动学实时推测出整个人身体的运动参数。该方法的缺点是，惯性传感器在每次测量前都需要校准，且校准后不能移动相关传感器的位置，同时传感器容易受到周围磁场的干扰，对于普通患者而言操作较复杂。
[0006]运动捕捉技术是由运动捕捉系统利用外部设备来对人体动作姿态和人体位移进行捕获转换为数字数据。运动捕捉系统有多种技术实现，现在使用比较多的包括：惯性动作捕捉技术，需要人体穿戴配备惯性传感器的衣服；光学式动作捕捉技术，通过图像采集器采集数据进行处理，其往往需要人体穿戴带有反光标识点衣服，而且容易受环境光照影响。

技术实现思路

[0007]针对现有问题的不足，本专利技术提供的一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法解决了现有技术中的缺点和问题。
[0008]本专利技术所采用的技术方案包括以下步骤：
[0009]一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法，包括以下步骤：
[0010]S1、根据16个九轴姿态传感器提供的3轴加速度、3轴角速度以及3轴磁偏角数确定人体姿态估计模型。
[0011]S1.1将人体骨骼框架视为一个刚体模型，骨骼节点初始坐标系B与全局坐标系g对
齐，定义人体骨骼数量n
b
＝16，(b＝1，2，
……
，16，表示骨骼节点的编号)，骨骼节点分别为头顶节点、头中节点、腹部节点、左肩节点、右肩节点、左肘节点、右肘节点、左腕节点、右腕节点、腹部节点、左髋节点、右髋节点、左膝节点、右膝节点、左脚节点、右脚节点。其中，将腹部节点视为根骨骼节点n1，子骨骼节点n
b
(b＞＝2)都与其父节点有相对位移矩阵t
b
和相对旋转矩阵R
b
。每个骨骼节点有3个旋转自由度。根节点具有全局位移量(x1，y1，z1)，因此，采用48(e＝3*n
b
＝48)个自由度来表述整个人体的运动。定义48个变量为一个48维的向量v，并作为优化变量。
[0012]S1.2每个骨骼点在全局坐标系下的齐次变换矩阵其中P(b)为全部骨骼的集合。相机坐标系c和全局坐标系g的齐次变换矩阵
[0013]S1.3将惯性传感器IMU放置于全局坐标系g处，使得惯性传感器坐标系n与全局坐标系g对齐，得到此时惯性传感器输出值，即为惯性传感器坐标系n与全局坐标系g之间的旋转矩阵重复上述操作，得到第i(i＝1，2，
……
，16)个惯性传感器坐标系ni与全局坐标系g之间的旋转矩阵
[0014]S2、根据机器视觉Kinect相机确定人体姿态估计模型，确定相机位置测量值齐次变换矩阵(相机坐标系c，全局坐标系g)，旋转矩阵(惯性坐标系n、全局坐标系g)，位移矩阵旋转矩阵(惯性传感器i。骨骼坐标系b
i
)；
[0015]S3、设置九轴陀螺仪传感器人体姿态估计模型更新频率与视觉人体姿态估计模型更新频率一致。确定旋转测量值R
i
，加速度测量值a
i
。定义优化变量v、九轴陀螺仪的旋转约束E
R
(v)、速度约束E
V
(v)、加速度约束E
A
(v)、位置约束E
P
(v)、磁场干扰误差ER(v)和人体姿态先验约束E
prior
(v)。设置各变量的权重，优化姿态估计模型。
[0016]S3.1所述的九轴陀螺仪的旋转约束E
R
(v)通过每个陀螺仪旋转矩阵的测量值和估计值的差异来确定，骨骼节点的旋转矩阵测量值表示为：
[0017][0018]其中，R
i
为IMUi的旋转测量值。(全局坐标系g，骨骼坐标系b
i
)是在九轴陀螺仪中读取的旋转信息。惯性传感器坐标系n与全局坐标系g之间的旋转矩阵为旋转矩阵为
[0019]与IMUi的旋转测量值对应的骨骼节点的旋转矩阵估计值为：
[0020][0021]其中，P(b
i
)为骨骼b
i
全部父骨骼的集合。
[0022]综上，旋转项的能量函数定义为：
[0023][0024]惯性坐标系n、全局坐标系g，惯性传感器i，骨骼坐标系bi
[0025]P(b
i
)为全部骨骼的集合，表示旋转矩阵的估计值；
[0026]速度约束E
V
(v)通过最小化每个陀螺仪速度的测量值与估计值间的差异来确定、
[0027]加速度约束E
A
(v)最小化每个陀螺仪加速度的测量值与估计值间的差异来确定、
[0028]S3.2最小化IMUi加速度测量值a
i
和估计值之间误差作为IMU的加速度约束项，加速度估计值表示为：
[0029][0030]其中，等式(6)左边(t
‑
1)表示当前时刻使用上一时刻的加速度约束，
[0031]表示加速度估计值，全局坐标系下的加速度测量值通过前一帧的旋转信息和加速度测量值计算得出，a
g
表示重力加速度，加速度测量值表示为：
[0032][0033]综上，加速度项的能量函数定义为：
[0034][0035]其中，λ
A
表示加速度项能量函数的权重，ρ
A
(
·
)表示损失函数，ρ(x)＝log(1+x)。位置约束E
P
(v)最小化每个骨骼节点全局位置的测量值与估计值间的差异来确定、
[0036]S3.3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法，其特征在于，包括以下步骤：S1、根据16个九轴姿态传感器提供的3轴加速度、3轴角速度以及3轴磁偏角数确定人体姿态估计模型；S2、根据机器视觉Kinect相机确定人体姿态估计模型，确定相机位置测量值相机坐标系c，p为世界坐标系的一点，齐次变换矩阵相机坐标系c，全局坐标系g，旋转矩阵惯性坐标系n，全局坐标系g，位移矩阵旋转矩阵惯性传感器i，骨骼坐标系b
i
；S3、设置九轴陀螺仪传感器人体姿态估计模型更新频率与视觉人体姿态估计模型更新频率一致；确定旋转测量值R
i
，惯性传感器i，加速度测量值a
i
，惯性传感器i；定义优化变量v、九轴陀螺仪的旋转约束E
R
(v)，R表示旋转，速度约束E
V
(v)，V表示速度，加速度约束E
A
(v)，A表示加速度，位置约束E
P
(v)，P表示位置，磁场干扰误差E
I
(v)，I表示磁场干扰，和人体姿态先验约束E
prior
(v)，prior表示先验约束；设置各变量的权重，权重的设置具有通用性，优化姿态估计模型；S4、计算各优化项在统一坐标系后的测量参数：旋转矩阵全局坐标系g，骨骼坐标系b
i
，加速度测量值全局坐标系g，惯性传感器i，位移测量值相机坐标系c，p为世界坐标系的一点，与旋转矩阵估计值全局坐标系g，骨骼坐标系b
i
、加速度估计值全局坐标系g，惯性传感器i、位移估计值相机坐标系c，p为世界坐标系的一点；求解非线性最小二乘优化问题，得到最优解v，v表示速度；确定融合后的人体姿态估计模型，并进行视频可视化展示；S5、将学生视频与老师视频进行动作对齐；提取视频的关键帧；将学生和老师人体骨架归一化；进行学生和老师骨架匹配；S6、定义区间动作相似距离，并设定其阈值为D，根据对比结果找出动作差异区间，可视化显示；达到矫正的目的；所述S2中，相机坐标系c表示Kinect相机的坐标系，惯性坐标系n表示所有九轴陀螺仪经过标定后的统一坐标系，全局坐标系g与骨骼节点的初始坐标系对齐。2.根据权利要求1所述的一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法，其特征在于，所述S3中，所述的九轴陀螺仪的旋转约束E
R
(v)，R表示旋转，v表示速度，通过每个陀螺仪旋转矩阵的测量值和估计值的差异来确定，速度约束E
V
(v)，V表示旋转，v表示速度具体值，通过最小化每个陀螺仪速度的测量值与估计值间的差异来确定、加速度约束E
A
(v)，A表示加速度，v表示速度，最小化每个陀螺仪加速度的测量值与估计值间的差异来确定、位置约束E
P
(v)，P表示位置，v表示速度，最小化每个骨骼节点全局位置的测量值与估计值间的差异来确定、磁场干扰误差E
I
(v)，I表示磁场干扰，v表示速度，通过人体
所在位置的磁场误差确定；人体姿态先验约束E
prior
(v)，prior表示先验约束，v表示速度，通过已有人体姿态估计数据集来建立。3.根据权利要求1所述的一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法，其特征在于，所述S4中，全局坐标系g，骨骼坐标系b
i
，是在九轴陀螺仪中读取的旋转信息、全局坐标系g，惯性传感器i，是在九轴陀螺仪中读取的加速度信息，相机坐标系c，p为世界坐标系的一点，是在Kinect相机中中读取的人体各骨骼节点的位置信息。4.根据权利要求1所述的一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法，其特征在于，所述S1的过程为：S1.1将人体骨骼框架视为一个刚体模型，骨骼节点初始坐标系B与全局坐标系g对齐，定义人体骨骼数量为n
b
,骨骼节点分别为头顶节点、头中节点、腹部节点、左肩节点、右肩节点、左肘节点、右肘节点、左腕节点、右腕节点、腹部节点、左髋节点、右髋节点、左膝节点、右膝节点、左脚节点、右脚节点；其中，将腹部节点视为根骨骼节点n1,子骨骼节点n
b
,b>＝2,都与其父节点有相对位移矩阵t
b
和相对旋转矩阵R
b
；每个骨骼节点有3个旋转自由度；根节点具有全局位移量(x1,y1,z1),因此，采用48个自由度来表述整个人体的运动；定义48个变量为一个48维的向量v，并作为优化变量；S1.2每个骨骼点在全局坐标系下的齐次变换矩阵S1.2每个骨骼点在全局坐标系下的齐次变换矩阵R
b
′
表示某一个子骨骼节点的相对旋转矩阵，t
b
′
表示某一个骨骼节点的相对位移矩阵P(b)为全部骨骼的集合；相机坐标系c和全局坐标系g的齐次变换矩阵相机坐标系c和全局坐标系g的齐次变换矩阵相机坐标系c和全局坐标系g的齐次变换矩阵表示相机坐标系相对与全局坐标系的相对旋转矩阵表示相机坐标系相对与全局坐标系的相对位移矩阵；S1.3将惯性传感器IMU放置于全局坐标系g处，使得惯性传感器坐标系n与全局坐标系g对齐，得到此时惯性传感器输出值，即为惯性传感器坐标系n与全局坐标系g之间的旋转矩阵重复上述操作，得到第i，i＝1,2
……
16个惯性传感器坐标系n
i
与全局坐标系g之间的旋转矩阵5.如权利要求1所述的一种基于九轴姿态传感器和机器视觉的人体舞蹈动作检测与纠正方法，其特征在于，所述S3的过程为：S3.1所述的九轴陀螺仪的旋转约束E
R
(v)通过每个陀螺仪旋转矩阵的测量值和估计值的差异来确定，骨骼节点的旋转矩阵测量值表示为：
其中，R
i
为IMUi的旋转测量值；全局坐标系g，骨骼坐标系b
i
，是在九轴陀螺仪中读取的旋转信息；惯性传感器坐标系n与全局坐标系g之间的旋转矩阵为旋转矩阵为与IMUi的旋转测量值对应的骨骼节点的旋转矩阵估计值为：其中，P(b
i
)为骨骼b
i
全部父骨骼的集合，R
b
′
表示某一个子骨骼节点的相对旋转矩阵；综上，旋转项的能量函数定义为：其中，λ
R
表示旋转项能量函数的权重，设置为0.2，ρ
R
表示损失函数，ρ(x)＝log(1+x)；ψ(
·
)表示将旋转矩阵转化...

【专利技术属性】
技术研发人员：曹艺琳，戴思然，张鸿，左国玉，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：