一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法技术

本发明专利技术公开了一种基于RGB‑D相机与IMU传感器的机器人辅助康复训练方法，方法通过包括RGB‑D相机和IMU传感器的康复机器人实现，包括：利用RGB‑D相机采集肢体的三维空间方位轨迹数据，利用IMU传感器采集肢体的姿态角信息数据；分别基于三维空间方位轨迹数据和姿态角信息数据采用算法分别得到两组肩关节外展内收角、肩关节屈伸角、肩关节内外旋角和肘关节屈伸角数据；通过融合滤波器将上述求得的两组角度数据融合得到目标患者稳定可靠的运动轨迹数据；搭建辅助康复训练虚拟环境，并将运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据，基于实时控制数据控制控制康复机器人辅助目标患者进行康复训练运动；本发明专利技术可提高康复训练的工作效率，优化训练效果。

A Robot-aided Rehabilitation Training Method Based on RGB-D Camera and IMU Sensor

The invention discloses a robot-aided rehabilitation training method based on RGB_D camera and IMU sensor. The method is realized by a rehabilitation robot including RGB_D camera and IMU sensor. The method includes: collecting three-dimensional spatial orientation trajectory data of limbs by RGB_D camera, collecting attitude angle information data of limbs by IMU sensor, and based on three-dimensional spatial orientation trajectory data and IMU sensor respectively. Attitude angle information data were obtained by algorithm from two groups of shoulder joint abduction and adduction angle, shoulder joint flexion and extension angle, shoulder joint internal and external rotation angle and elbow joint flexion and extension angle data respectively; stable and reliable motion trajectory data of target patients were obtained by fusion filter; virtual environment of assisted rehabilitation training was built, and coordinate transformation of motion trajectory data was carried out. The real-time control data corresponding to the rehabilitation robot is obtained, and the rehabilitation robot assists the target patient to carry out rehabilitation training movement based on the real-time control data; the present invention can improve the work efficiency of rehabilitation training and optimize the training effect.

【技术实现步骤摘要】
一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法
本专利技术属于康复机器人传感与治疗控制
，具体涉及一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法。
技术介绍
世界各国社会老龄化现象愈发加深，老龄化社会中相当一部分老年人群体会产生脑卒中疾病，此类疾病通常是由于脑血管内血块堵塞或者脑血管内动脉破裂导致脑补供血中断而损坏部分大脑功能所引起的。由现代神经康复医学临床实验结果证实，人体大脑的中枢神经系统具有高度的可塑性，因此，对于由脑卒中引起的肢体运动功能障碍的病患来说，康复治疗中配合适当科学的康复训练疗法，让病患主动参与运动康复治疗能够一定程度上恢复受损的肢体功能。康复机器人技术是近年来发展起来的一种新型的运动神经康复技术，它克服了传统基于康复医师的手把手训练方法效率低下、强度偏弱、评价主观的缺陷。采用机器人装置辅助中风患者进行康复治疗日益明显。首先，机器人能根据患者对训练强度的不同需求确定治疗方案、分析运动数据、优化训练内容并改进康复机器人的功能；其次，康复机器人可以客观记录患者在康复训练中的位置信息、方向、速度等数据供康复医师分析，以评估康复治疗的效果。最后，康复机器人技术与多媒体技术相结合给患者提供丰富多彩的训练内容，提高患者康复训练的积极性，并能及时得到训练治疗的反馈信息。康复机器人作为一种新型的康复治疗设备，以康复理论为重要依据，通过辅助患者患肢进行合理地、科学地、有效地康复训练，最终实现患者重获运动障碍的功能。而在机器人辅助康复训练过程中虚拟康复训练环境是康复机器人系统不可分割的一部分，因此，开展机器人辅助康复训练技术的研究和应用有着广阔的发展前景。
技术实现思路
针对上述传统康复方法效率低、强度偏弱的问题，本专利技术于提出一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，该方法能提高康复训练方法的训练效果及安全性，具体技术方案如下：一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，所述方法通过包括RGB-D相机和IMU传感器的康复机器人实现，方法具体包括步骤：S1、利用所述RGB-D相机采集目标患者在训练过程中的三维空间方位轨迹数据，以及利用IMU传感器采集目标患者在训练过程中的姿态角信息数据；S2、基于所述三维空间方位轨迹数据采用肢体空间方位-关节角转换算法得到目标患者肢体的第一肩关节外展内收角α1、第一肩关节屈伸角α2、第一肩关节内外旋角α3和第一肘关节屈伸角α4，并基于所述姿态角信息数据采用指定算法获得目标患者肢体的第二肩关节外展内收角β1、第二肩关节屈伸角β2、第二肩关节内外旋角β3和第二肘关节屈伸角β4；S3、通过动态加权的融合滤波器的融合算法将所述第一肩关节外展内收角α1、第一肩关节屈伸角α2、第一肩关节内外旋角α3和第一肘关节屈伸角α4与所述第二肩关节外展内收角β1、第二肩关节屈伸角β2、第二肩关节内外旋角β3和第二肘关节屈伸角β4融合得到目标患者稳定可靠且与康复医师演示对应的运动轨迹数据；S4、基于所述运动轨迹数据利用指定的3D引擎软件搭建辅助康复训练虚拟环境，并将所述运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据，基于所述实时控制数据控制控制所述康复机器人辅助目标患者进行康复训练运动。进一步的，所述步骤S1中，所述三维空间方位轨迹数据由所述RGB-D相机采集目标患者肢体的二维彩色轮廓和三维图像转化形成。进一步的，包括两个分别同向佩戴于目标患者的大臂和小臂指定位置处的所述IMU传感器，采集所述IMU传感器基于对应目标患者肢体运动的旋转数据。进一步的，所述步骤S3中还包括，判断所述三维空间方位轨迹数据的有效性：设定一所述RGB-D相机输出的置信度数据的信任度阈值，若所述三维空间方位轨迹数据对应的所述置信度数据大于所述信任度阈值，表示所述三维空间方位轨迹数据有效，并将所述三维空间方位轨迹数据与所述姿态角信息数据作为一组输入所述融合滤波器的观测值；否则，舍弃所述三维空间方位轨迹数据，仅输入所述姿态角信息数据至所述融合滤波器作为观测值。进一步的，步骤S4中，所述基于所述运动轨迹数据利用指定的3D引擎软件搭建辅助康复训练虚拟环境，包括：设计所述3D引擎软件与所述融合算法互通的通讯接口，通过所述通讯接口接收所述运动轨迹数据，并设计康复训练肢体的3D模型；编写所述康复训练肢体对应的控制程序，基于所述控制程序控制所述康复训练肢体的位置和姿态；所述控制程序读取所述运动轨迹数据，基于所述运动轨迹数据控制所述3D模型的旋转和位置。进一步的，所述运动轨迹数据存储在PC机上。进一步的，步骤S4中，所述将所述运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据，包括：通过网络连接所述PC机与所述康复机器人；并在所述PC机上采用指定软件开发编写所述控制程序和控制所述康复机器人增量消抖算法，实现对所述康复机器人各关节的的角度位置控制。本专利技术的基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，通过将RGB-D相机和IMU传感器装设在康复机器人上，通过RGB-D相机捕获目标患者康复肢体动作的三维空间方位轨迹数据，并对三维空间方位轨迹数据的置信度与设定信任度阈值比较，若置信度小于信任度阈值，则舍弃对应的三维空间方位轨迹数据，否则保存并与通过将传感器装设在目标患者的大臂和小臂上获取的姿态角信息数据输入融合滤波器得到与目标患者肢体动作相符的运动轨迹数据；再通过3D引擎软件搭建康复训练虚拟环境，采用空间坐标变化方法将运动轨迹数据转换为康复机器人的控制程序，基于控制程序控制康复机器人辅助患者进行康复训练动作；与现有技术相比，本专利技术可提高康复医师工作效率，标准化训练动作，优化训练效果并提高训练的安全性。附图说明图1是采用本专利技术实施例中所述基于RGB-D相机与IMU传感器的机器人辅助康复训练方法的实现流程框图示意；图2是本专利技术实施例中所述康复机器人的结构示意图；图3是实现本专利技术所述基于RGB-D相机与IMU传感器的机器人辅助康复训练方法的实施示意图；图4是本专利技术实施例中所述RGB-D相机和IMU传感器的建系图示意。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。在本专利技术实施例中，提供了一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，方法通过康复机器人辅助患者进行康复动作训练，参阅图2，图示为康复机器人的结构图，康复机器人中集成有RGB-D相机和IMU传感器；参阅图1并结合图3，本专利技术方法具体包括步骤：首先，利用RGB-D相机采集目标患者在训练过程中的三维空间方位轨迹数据，以及利用IMU传感器采集目标患者在训练过程中的姿态角信息数据；在本专利技术实施例中，基于RGB-D相机构建基座标系Oxyz的三维空间方位轨迹数据，构成患者上肢的“点线时”骨架模型，模型可以与实际患者的肢体相契合，如与手臂契合的模型，或者与腿契合的模型，具体可根据实际需求进行设定；如果模型是基于手臂的，则模型包括上肢关节点上肢肘关节点以及上肢腕关节点三维空间方位轨迹数据由RGB-D相机采集目标患者肢体的二维彩色轮廓和三维图像转化形成，其中，二维彩色轮廓和三维图像通过现有的RGB-D相机内本文档来自技高网...

【技术保护点】
1.一种基于RGB‑D相机与IMU传感器的机器人辅助康复训练方法，其特征在于，所述方法通过包括RGB‑D相机和IMU传感器的康复机器人实现，方法具体包括步骤：S1、利用所述RGB‑D相机采集目标患者在训练过程中的三维空间方位轨迹数据，以及利用IMU传感器采集目标患者在训练过程中的姿态角信息数据；S2、基于所述三维空间方位轨迹数据采用肢体空间方位‑关节角转换算法得到目标患者肢体的第一肩关节外展内收角α1、第一肩关节屈伸角α2、第一肩关节内外旋角α3和第一肘关节屈伸角α4，并基于所述姿态角信息数据采用指定算法获得目标患者肢体的第二肩关节外展内收角β1、第二肩关节屈伸角β2、第二肩关节内外旋角β3和第二肘关节屈伸角β4；S3、通过动态加权的融合滤波器的融合算法将所述第一肩关节外展内收角α1、第一肩关节屈伸角α2、第一肩关节内外旋角α3和第一肘关节屈伸角α4与所述第二肩关节外展内收角β1、第二肩关节屈伸角β2、第二肩关节内外旋角β3和第二肘关节屈伸角β4融合得到目标患者稳定可靠且与康复医师演示对应的运动轨迹数据；S4、基于所述运动轨迹数据利用指定的3D引擎软件搭建辅助康复训练虚拟环境，并将所述运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据，基于所述实时控制数据控制控制所述康复机器人辅助目标患者进行康复训练运动。...

【技术特征摘要】
1.一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，其特征在于，所述方法通过包括RGB-D相机和IMU传感器的康复机器人实现，方法具体包括步骤：S1、利用所述RGB-D相机采集目标患者在训练过程中的三维空间方位轨迹数据，以及利用IMU传感器采集目标患者在训练过程中的姿态角信息数据；S2、基于所述三维空间方位轨迹数据采用肢体空间方位-关节角转换算法得到目标患者肢体的第一肩关节外展内收角α1、第一肩关节屈伸角α2、第一肩关节内外旋角α3和第一肘关节屈伸角α4，并基于所述姿态角信息数据采用指定算法获得目标患者肢体的第二肩关节外展内收角β1、第二肩关节屈伸角β2、第二肩关节内外旋角β3和第二肘关节屈伸角β4；S3、通过动态加权的融合滤波器的融合算法将所述第一肩关节外展内收角α1、第一肩关节屈伸角α2、第一肩关节内外旋角α3和第一肘关节屈伸角α4与所述第二肩关节外展内收角β1、第二肩关节屈伸角β2、第二肩关节内外旋角β3和第二肘关节屈伸角β4融合得到目标患者稳定可靠且与康复医师演示对应的运动轨迹数据；S4、基于所述运动轨迹数据利用指定的3D引擎软件搭建辅助康复训练虚拟环境，并将所述运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据，基于所述实时控制数据控制控制所述康复机器人辅助目标患者进行康复训练运动。2.如权利要求1所述的基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，其特征在于，所述步骤S1中，所述三维空间方位轨迹数据由所述RGB-D相机采集目标患者肢体的二维彩色轮廓和三维图像转化形成。3.如权利要求1所述的基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，其特征在于，包括两个分别同向佩戴于目标患者的大臂和小臂指定位置处的所述I...

【专利技术属性】
技术研发人员：徐国政，李威，陈盛，谭彩铭，高翔，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32