一种基于多模态信息融合的康复动作识别方法和系统技术方案

本发明专利技术涉及康复训练技术领域，尤其涉及一种基于多模态信息融合的康复动作识别方法和系统，方法包括：在用户进行康复训练时，利用

【技术实现步骤摘要】
一种基于多模态信息融合的康复动作识别方法和系统


[0001]本专利技术涉及康复训练
，尤其涉及一种基于多模态信息融合的康复动作识别方法和系统
。

技术介绍

[0002]人体动作分析工作主要包含动作识别和动作评估两个环节
。
人体动作识别旨在识别该动作是什么，包括动作检测和动作分类
。
动作质量评估旨在自动量化动作执行的好坏或对其表现进行评分，往往需要在动作识别的基础上进行，通过专家知识对专业领域动作的规范性
、
流畅性进行判断，为改善运动表现提供可解释的量化依据
。
[0003]人体动作分析技术这一研究领域目前受到研究者们广泛关注，如身体康复
、
自我学习平台上的技能训练和体育活动评分等
。
大量研究证明，不同模态数据之间具有异构互补信息，多模态机器学习
(Multi
‑
Modal Machine Learning
，
MMML)
旨在构建可以处理来自多种模态信息的模型
。
为满足人体动作识别在实际应用场景中的要求提高人体动作识别效率，可以通过对两种或两种以上的不同传感器模式进行融合，以达到提升算法性能的目的
。
[0004]在康复训练领域中，通过使用
Kinect
对人体关节部位的数据进行采集
、
分析与评价，并把采集到的相关数据有效地反馈到康复训练中，能够地对病人的康复训练进行有效的指导/>。
但是在数据采集和分析过程中有两个关键性问题有待解决：
[0005]1)
部分训练运动会有关节遮挡现象发生，相机无法采集到被遮挡关节部位的深度数据
。
[0006]2)
在康复训练的运动评价过程中，不同患者运动过程的数据长度基本上都不相同，为制定评价标准带来困难
。

技术实现思路

[0007]本专利技术所要解决的技术问题是针对现有技术的不足，提供了一种基于多模态信息融合的康复动作识别方法和系统
。
[0008]本专利技术的一种基于多模态信息融合的康复动作识别方法的技术方案如下：
[0009]在用户进行康复训练时，利用
IMU
采集设备，按照第一采集频率连续采集用户身体的
17
个人体关键关节点的位置数据，并利用
RGB
‑
D
相机，按照第二采集频率，连续采集用户的多个动作图像数据；
[0010]利用多模态数据对齐算法，将通过所述
IMU
采集设备采集的数据与通过所述
RGB
‑
D
相机采集的数据进行时空对齐，得到时空对齐后的多模态数据；
[0011]基于所述时空对齐后的多模态数据，利用轻量级模态筛选决策网络的动作识别算法，对所述用户的康复动作进行识别
。
[0012]本专利技术的一种基于多模态信息融合的康复动作识别系统的技术方案如下：
[0013]包括数据采集模块
、
时空对齐模块和识别模块；
[0014]所述数据采集模块用于：在用户进行康复训练时，利用
IMU
采集设备，按照第一采
集频率连续采集用户身体的
17
个人体关键关节点的位置数据，并利用
RGB
‑
D
相机，按照第二采集频率，连续采集用户的多个动作图像数据；
[0015]所述时空对齐模块用于：利用多模态数据对齐算法，将通过
IMU
采集设备采集的数据与通过
RGB
‑
D
相机采集的数据进行时空对齐，得到时空对齐后的多模态数据；
[0016]所述识别模块用于：基于所述时空对齐后的多模态数据，利用轻量级模态筛选决策网络的动作识别算法，对所述用户的康复动作进行识别
。
[0017]本专利技术的一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述任一项所述的一种基于多模态信息融合的康复动作识别方法
。
[0018]本专利技术的一种电子设备，包括处理器和上述的存储介质，所述处理器执行所述存储介质中的指令
。
[0019]本专利技术的有益效果如下：
[0020]将通过
IMU
采集设备采集的数据与通过
RGB
‑
D
相机采集的数据进行时空对齐，能够获得更完整
、
准确的康复动作信息即时空对齐后的多模态数据，提高了数据的质量和可用性，为后续的康复动作识别与康复动作的质量评估提供了可靠的标准和基础数据
。
附图说明
[0021]通过阅读参照以下附图所作的对非限制性实施例的详细描述，本专利技术的其它特征
、
目的和优点将会变得更明显：
[0022]图1为本专利技术实施例的一种基于多模态信息融合的康复动作识别方法的流程示意图之一；
[0023]图2为动作识别算法的流程示意图；
[0024]图3为多模态动作质量评估算法的流程示意图；
[0025]图4为本专利技术实施例的一种基于多模态信息融合的康复动作识别方法的流程示意图之二；
[0026]图5为多模态数据切分归一化的流程示意图；
[0027]图6为动作识别的流程示意图；
[0028]图7为动作质量评估的流程示意图；
[0029]图8为动作评估案例
DTW
距离计算可视化对比的示意图之一；
[0030]图9为动作评估案例
DTW
距离计算可视化对比的示意图之二；
[0031]图
10
为动作评估案例
DTW
距离计算可视化对比的示意图之三；
[0032]图
11
为本专利技术实施例的一种基于多模态信息融合的康复动作识别系统的结构示意图
。
具体实施方式
[0033]如图1所示，本专利技术实施例的一种基于多模态信息融合的康复动作识别方法，包括如下步骤：
[0034]S1、
在用户进行康复训练时，利用
IMU
采集设备，按照第一采集频率连续采集用户身体的
17
个人体关键关节点的位置数据，并利用
RGB
‑
D
相机，按照第二采集频率，连续采集用户的多个动作图像数据；
[0035]在执行
S1
之前，还包括：
[0036]对使用的
RGB
‑
D
相机进行标定，以获取
RGB
‑
D
相机的内外参数，并对
IMU
采集设备进行硬件校准，确保采集到的数据的准确性和可靠性
。
[0037]S2、
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态信息融合的康复动作识别方法，其特征在于，包括：在用户进行康复训练时，利用
IMU
采集设备，按照第一采集频率连续采集用户身体的
17
个人体关键关节点的位置数据，并利用
RGB
‑
D
相机，按照第二采集频率，连续采集用户的多个动作图像数据；利用多模态数据对齐算法，将通过所述
IMU
采集设备采集的数据与通过所述
RGB
‑
D
相机采集的数据进行时空对齐，得到时空对齐后的多模态数据；基于所述时空对齐后的多模态数据，利用轻量级模态筛选决策网络的动作识别算法，对所述用户的康复动作进行识别
。2.
根据权利要求1所述的一种基于多模态信息融合的康复动作识别方法，其特征在于，还包括：基于所述时空对齐后的多模态数据，利用多模态动作质量评估算法，对所述所做的每个康复动作的质量进行评价，得到质量评价结果
。3.
根据权利要求1或2所述的一种基于多模态信息融合的康复动作识别方法，其特征在于，所述时空对齐后的多模态数据包括相同的坐标原点
、
采集时刻和片段时间长度的康复动作图像数据序列数据和三维人体骨架数据
。4.
一种基于多模态信息融合的康复动作识别系统，其特征在于，包括数据采集模块
、
时空对齐模块和识别模块；所述数据采集模块用于：在用户进行康复训练时，利用
IMU
采集设备，按照第一采集...

【专利技术属性】
技术研发人员：李建伟，薛珺，胡海晴，李金阳，莫思宇，张开宇，沈燕飞，许寿生，
申请(专利权)人：北京体育大学，
类型：发明
国别省市：