一种基于射频-传感器信息融合的手部康复动作评估系统技术方案

本发明专利技术公开了一种基于射频

【技术实现步骤摘要】
一种基于射频
‑
传感器信息融合的手部康复动作评估系统


[0001]本专利技术属于动作识别领域，具体涉及一种基于射频
‑
传感器信息融合的手部康复动作评估系统。

技术介绍

[0002]上肢手部康复训练设备可以辅助患有手部功能障碍的患者进行康复训练，逐渐恢复手部的运动功能。手势识别作为手部康复训练设备的关键技术之一，成为了研究重点和热点。目前的康复训练设备主要分为基于专用传感器和基于视频图像两种。基于专用传感器的手势识别技术通过穿戴传感设备利用肌电信号、压力、加速度等信息识别用户的手部动作
[1,2]，缺点是用户需要长期佩戴专用设备，使用不便。基于视频图像的手势识别技术使用摄像头采集用户的手部数据
[3,4]，缺点是数据量大，对计算资源要求较高，光线强弱、遮挡等环境问题也会影响识别准确率。由于雷达信号具有受光照等环境影响小、具有隐私安全性等优点，基于毫米波雷达的识别技术克服了传统手势识别方法的诸多问题
[5]，但是雷达信号角度分辨率不高等缺点限制了该方法对细微手势动作的识别能力。
[0003][1]上海格润科技有限公司.手部康复训练用手套及手部康复训练用线圈电感:CN202111425062.3[P].2022
‑
02
‑
18.
[0004][2]燕山大学.一种基于肌电
‑
惯性信息的手部康复训练装置及方法:CN202111231927.2[P].2022
‑
01
‑r/>18.
[0005][3]深圳市景泰源智汇科技有限公司.一种手势识别装置及识别方法:CN202110992816.7[P].2022
‑
01
‑
14.
[0006][4]华为技术有限公司.手势识别方法及装置:CN202010749828.2[P].2022
‑
02
‑
18.
[0007][5]清华大学.基于毫米波雷达成像的静态手势识别方法及装置:CN202111546944.5[P].2022
‑
05
‑
17.

技术实现思路

[0008]本专利技术的目的在于解决现有技术中难以通过雷达信号准确识别细微手势动作的问题，并提供一种基于射频
‑
传感器信息融合的手部康复训练方法及系统。
[0009]本专利技术所采用的具体技术方案如下：
[0010]一种基于射频
‑
传感器信息融合的手部康复动作评估系统，其包括：
[0011]信号检测模块，用于在用户做手部康复动作的过程中，通过毫米波雷达获取射频张量形式的雷达回波信号，同时通过佩戴于手掌各关节处的压力传感器同步获取反映关节弯曲角度的压电信号；
[0012]数据预处理模块，用于对压电信号和雷达回波信号进行信号处理以去除噪声并消除干扰；然后利用信号处理后的压电信号，结合差分阈值法进行动作片段检测，并根据检测到的手部动作活动段的起始时刻，提取活动段对应的压电信号和雷达回波信号，并将活动
段中每个时刻对应的压电信号转换为手掌各关节处的弯曲角度；
[0013]手势识别模块，用于将活动段对应的雷达回波信号逐帧输入经过训练的手势识别模型中，得到用户做手部康复动作过程中每个时刻的手部各关节点三维坐标，并将手部各关节点三维坐标转换为手掌各关节处的弯曲角度；
[0014]数据分析模块，用于将基于压电信号和雷达回波信号各自获得的手掌各关节处每个时刻的弯曲角度进行融合，获得用户做手部康复动作过程中的手掌各关节处弯曲角度时序序列，再获取标准康复动作对应的手掌各关节处弯曲角度时序序列，通过动态时间规整算法将两条时序序列进行长度对齐和相似度计算，以计算得到的相似度来评估手部康复动作的完成度。
[0015]作为优选，所述手势识别模型为基于3D CNN的卷积神经网络。
[0016]作为优选，所述手势识别模型预先通过监督数据进行训练，且用于训练的监督数据构建方式如下：
[0017]通过毫米波雷达获取的用户做手部康复动作过程中由手部发射的毫米波雷达回波信号，同时通过可见光相机同步获取手部的动作视频，将动作视频中的RGB图像帧通过OpenPose模型提取包含手掌处各关节点位置和类别的三维骨架信息并将其作为毫米波雷达回波信号的监督标签。
[0018]作为优选，所述压力传感器至少有15个，分别对应于14个指关节以及1个掌心关节的位置。
[0019]作为优选，所述结合差分阈值法进行动作片段检测的具体做法如下：
[0020]首先，将信号处理后的压电信号中每个时刻下所有关节处的压电信号进行求和，形成该时刻对应的总压电信号；
[0021]然后，对总压电信号的时序序列进行后向差分形成差分序列，并在差分序列上通过滑窗进行滑动，提取每个滑窗内的差分序列段均值用于反映滑窗所对应时刻的手部运动程度，再通过阈值法剔除手部运动程度低于最低程度阈值的时间片段，保留的时间片段为疑似运动段，再利用阈值法剔除片段长度小于最低长度阈值的疑似运动段，从而最终保留用户做手部康复动作时的真实运动段。
[0022]作为优选，还包括标准康复动作数据库模块，该模块中存储有不同标准康复动作对应的手掌各关节处弯曲角度时序序列，用户做指定的手部康复动作时所述数据分析模块从数据库中读取标准动作对应的时序序列用于进行对比分析。
[0023]作为优选，所述手势识别模型中，除了关节点之外，还输出指尖和下掌心所在位置的三维坐标。
[0024]作为优选，还包括评估结果输出模块，用于将手部康复动作的完成度以纸质报告或电子报告形式进行输出。
[0025]作为优选，还包括康复动作建议模块，用于对比用户做手部康复动作过程中以及标准康复动作各自对应的手掌各关节处弯曲角度时序序列，并确定两个序列中弯曲角度偏差超过允许阈值的关节类型以及偏差方向，所述偏差方向分为过度弯曲和弯曲角度不足两类，进而基于对比结果输出康复动作的建议。
[0026]作为优选，所述压力传感器安装于手套中，在手套中对应于14个指关节以及1个掌心关节的位置分别设置一个压力传感器，用于感应所在位置因关节弯曲导致的压电信号。
[0027]本专利技术相对于现有技术而言，具有以下有益效果：
[0028]1)本专利技术利用毫米波雷达实现手势识别，受遮挡、光照等影响小，提高了系统的鲁棒性。
[0029]2)本专利技术提出一种毫米波雷达和传感器结合的多感知融合方法，提高了手势识别的准确度。
[0030]3)本专利技术可通过创建手部的标准康复动作数据库，在识别康复训练用户的手部动作后，可以评估用户动作的完成度，提升了用户的康复训练体验。
附图说明
[0031]图1为基于射频
‑
传感器信息融合的手部康复动作评估系统的模块组成图；
[0032]图2为本专利技术中手部康复动作评估系统的构建和使用流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于射频
‑
传感器信息融合的手部康复动作评估系统，其特征在于，包括：信号检测模块，用于在用户做手部康复动作的过程中，通过毫米波雷达获取射频张量形式的雷达回波信号，同时通过佩戴于手掌各关节处的压力传感器同步获取反映关节弯曲角度的压电信号；数据预处理模块，用于对压电信号和雷达回波信号进行信号处理以去除噪声并消除干扰；然后利用信号处理后的压电信号，结合差分阈值法进行动作片段检测，并根据检测到的手部动作活动段的起始时刻，提取活动段对应的压电信号和雷达回波信号，并将活动段中每个时刻对应的压电信号转换为手掌各关节处的弯曲角度；手势识别模块，用于将活动段对应的雷达回波信号逐帧输入经过训练的手势识别模型中，得到用户做手部康复动作过程中每个时刻的手部各关节点三维坐标，并将手部各关节点三维坐标转换为手掌各关节处的弯曲角度；数据分析模块，用于将基于压电信号和雷达回波信号各自获得的手掌各关节处每个时刻的弯曲角度进行融合，获得用户做手部康复动作过程中的手掌各关节处弯曲角度时序序列，再获取标准康复动作对应的手掌各关节处弯曲角度时序序列，通过动态时间规整算法将两条时序序列进行长度对齐和相似度计算，以计算得到的相似度来评估手部康复动作的完成度。2.如权利要求1所述的基于射频
‑
传感器信息融合的手部康复动作评估系统，其特征在于，所述手势识别模型为基于3D CNN的卷积神经网络。3.如权利要求1所述的基于射频
‑
传感器信息融合的手部康复动作评估系统，其特征在于，所述手势识别模型预先通过监督数据进行训练，且用于训练的监督数据构建方式如下：通过毫米波雷达获取的用户做手部康复动作过程中由手部发射的毫米波雷达回波信号，同时通过可见光相机同步获取手部的动作视频，将动作视频中的RGB图像帧通过OpenPose模型提取包含手掌处各关节点位置和类别的三维骨架信息并将其作为毫米波雷达回波信号的监督标签。4.如权利要求1所述的基于射频
‑
传感器信息融合的手部康复动作评估系统，其特征在于，所述压力传感器至少有15个，分别对应于14个指关节以及1个掌心关节的位置。5.如权利要求1所述的基于射频

【专利技术属性】
技术研发人员：郝雪，周渝林，胡其军，王浩宇，王朝，回晓楠，章献民，
申请(专利权)人：浙江大学，
类型：发明
国别省市：