一种基于体势手势示教的康复轨迹获取方法技术

本发明专利技术提出了一种基于体势手势示教的康复轨迹获取方法，针对传统康复训练费时费力、康复训练轨迹复杂等问题，主要使用视觉传感器采集人体体势和手势数据，对人体手掌和手臂运动进行较为精确的测量，通过将人体坐标系姿态映射到机器人坐标系，达到用手势和手臂运动控制机器人运动，获得相应的机器人运动轨迹的目的。本发明专利技术主要包括以下几个步骤：(1)人体三维骨骼关键点提取；(2)人体手臂与机器人动作映射；(3)运动轨迹数据处理，得到康复机械臂的期望运动轨迹。本发明专利技术的优点在于提高了多自由度机器人与人的关节匹配精确度以及轨迹的平滑性和稳定性，简化康复轨迹获取过程以及优化所提取到的康复轨迹，减少了医师的工作量。减少了医师的工作量。减少了医师的工作量。

【技术实现步骤摘要】
一种基于体势手势示教的康复轨迹获取方法


[0001]本专利技术属于人机交互领域，特别涉及一种基于体势手势示教的康复轨迹获取方法。

技术介绍

[0002]上肢康复机器人是辅助上肢运动功能障碍患者进行康复训练的一种医疗设备，近年来由于神经系统疾病等问题促使上肢康复需求量增多而备受关注。使用上肢康复机器人为患者提供高效、智能的康复训练对于弥补传统康复的不足以及提升康复效率具有重要的意义。
[0003]对于上肢运动能力受损较严重的患者而言，主要有三个特点：一是患者的主动运动功能较弱，难以凭靠自己的努力在康复运动过程中占据主导地位；二是患者在该阶段不需要过于精细而复杂的康复训练运动，而是需要一些简单而实用的动作训练；三是动作轨迹需根据特定的应用场景以及专业医师的康复建议来预先设定，需要根据不同的康复动作设定不同的康复训练轨迹。传统机械臂示教方式上手难度高，效率低，一个简单的动作往往都需要复杂的示教，而基于人体体势的机器人示教是目前人机交互研究领域的重点研究之一，技术在不断发展，其本身也具有丰富的语义和自然高效等特点，非常适合作为机器人对康复动作的学习方式。
[0004]但目前体势技术在上肢康复机器人方面的应用还比较欠缺，且由于体势示教存在精度尚缺、应用范围有限、不够自然等问题，应用在上肢康复机器人之前需要解决好以上问题。
[0005]现有技术(例如《基于医师示教动作的末端式康复机器人训练方法》)中，采用关节空间的人机运动映射方法，对相关设备要求较高，康复机器人关节结构需要设计成与人体手臂相似，且轨迹精度方面有待提高，将人体手臂姿态在机器人上的表达也不够自然。

技术实现思路

[0006]本专利技术提出了一种基于体势手势示教的康复轨迹获取方法，针对传统康复训练费时费力、康复训练轨迹复杂等问题。采集医师人体体势和手势数据，对医师手掌和手臂运动进行较为精确的测量，通过将人体坐标系姿态映射到机器人坐标系，达到用手势和手臂运动控制机器人运动，获得相应的机器人运动轨迹的目的。
[0007]为了实现本专利技术目的，本专利技术提供的一种基于体势手势示教的康复轨迹获取方法，包括：
[0008]采集医师人体图像，基于人体图像提取医师三维骨骼关键点，得到相机坐标系下的人体骨骼关键点的三维空间坐标；
[0009]进行人体坐标系重建以使人体在人体坐标系的姿态和相机坐标系姿态一致，对人体手臂运动和手掌姿态进行归一化处理，基于归一化处理结果得到机器人末端位姿矩阵T
e
，将机器人末端位姿矩阵T
e
传递给ROS平台的机械臂仿真模型，获得仿真运动轨迹；
[0010]记录关节角度数据，基于关节角度数据对仿真运动轨迹进行平滑，平滑后的运动轨迹即为康复机械臂的期望运动轨迹。
[0011]进一步地，得到得到相机坐标系下的人体骨骼关键点的三维空间坐标的步骤包括：
[0012]采用人体骨骼关键点识别算法提取医师人体骨骼关键点像素坐标；
[0013]利用双目视差的原理恢复每个人体骨骼关键点的深度y:
[0014][0015]根据人体骨骼关键点的坐标结合深度图得到相机坐标系下的人体骨骼关键点的三维空间坐标。
[0016]进一步地，在人体骨骼关键点识别过程中，若肩部被手掌遮挡，则利用另一肩部关键点坐标对被遮肩部位置坐标进行恢复，经过恢复的肩部位置坐标则可以对人体错误姿态进行矫正。
[0017]进一步地，所述进行人体坐标系重建的步骤包括：
[0018]首先确定人体坐标系的X轴，其是人体左右两肩关键点所在的空间直线，计算左、右肩关键点的方向向量v：
[0019][0020]以相机坐标系下的任意坐标点到左肩关键点的方向向量表示任意向量v
n
：
[0021]v
n
＝p
n
‑
p2ꢀꢀꢀ
(3)
[0022]计算人体坐标系在相机坐标系中的偏航角θ
z
：
[0023][0024]根据偏航角计算由相机坐标系下的任意向量v
n
变换到XOZ平面的任意向量v
n
′
：
[0025]v
n
′
＝R(θ
z
)
×
v
n
ꢀꢀꢀ
(5)
[0026]计算人体坐标系在相机坐标系中的俯仰角θ
y
：
[0027][0028]根据俯仰角计算由XOZ平面的任意向量v
n
′
变换到人体坐标系下的任意向量v
n
″
：
[0029]v
n
″
＝R(θ
y
)
×
v
n
′ꢀꢀꢀ
(7)
[0030]令p
n
′
表示第n个人体骨骼关键点在人体坐标系中的坐标向量：
[0031]p
n
′
＝v
n
”ꢀꢀꢀ
(8)
[0032]通过坐标变换，人体在人体坐标系的姿态和相机坐标系姿态一致。
[0033]进一步地，对人体手臂运动进行归一化处理的步骤包括：
[0034]分别通过三维坐标信息求出大臂长度l1、小臂长度l2、腕肩距离l3及大臂、小臂之间的夹角α：
[0035][0036][0037][0038][0039]计算归一化后的手腕关键点在人体坐标系中的坐标向量p6"：
[0040][0041]进一步地，得到归一化后的手腕坐标值的步骤包括：将手臂上腕部相对于肩部的坐标进行滤波以减少局部抖动，再归一化，得到归一化后的坐标。滤波方法采用滑动窗口大小为w的滑动均值滤波，获取滤波后的手腕坐标有效值
[0042][0043]对P6′
进行归一化，得到归一化后的手腕坐标值
[0044][0045]进一步地，对手掌姿态进行归一化处理，包括：
[0046]在手掌上建立局部空间坐标系：
[0047][0048][0049][0050]利用坐标轴两两相互垂直XOZ平面的法向量h：
[0051][0052]将向量h，e，g归一化，得到手部坐标系相对于人体坐标系的姿态变换矩阵R
p
：
[0053][0054]进一步地，得到所述机器人末端位姿矩阵T
e
的步骤包括：
[0055]联合归一化的手腕坐标位置信息p6"、大臂与小臂之间的夹角β、六自由度机器人第二连杆长度a2和第三连杆长度a3计算最终的机器人末端位置P
e
:
[0056][0057]P
e
＝L
e
·
p6"
ꢀꢀꢀ
(22)
[0058]其中L
e
是计算得到的机器人坐标系原点到机器人末端的距离。
[0059]联合机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于体势手势示教的康复轨迹获取方法，其特征在于，包括以下步骤：采集医师人体图像，基于人体图像提取医师三维骨骼关键点，得到相机坐标系下的人体骨骼关键点的三维空间坐标；进行人体坐标系重建以使人体在人体坐标系的姿态和相机坐标系姿态一致，对人体手臂运动和手掌姿态进行归一化处理，基于归一化处理结果得到机器人末端位姿矩阵T
e
，将机器人末端位姿矩阵T
e
传递给ROS平台的机械臂仿真模型，获得仿真运动轨迹；记录关节角度数据，基于关节角度数据对仿真运动轨迹进行平滑，平滑后的运动轨迹即为康复机械臂的期望运动轨迹。2.根据权利要求1所述的一种基于体势手势示教的康复轨迹获取方法，其特征在于，得到得到相机坐标系下的人体骨骼关键点的三维空间坐标的步骤包括：采用人体骨骼关键点识别算法提取医师人体骨骼关键点像素坐标；利用双目视差的原理恢复每个人体骨骼关键点的深度y，得到深度图：式中，f是相机焦距，x
l
是人体骨骼关键点在左相机感光区域的横坐标，x
r
是人体骨骼关键点在右相机感光区域的横坐标，b是左右相机光心之间的距离，d是人体骨骼关键点在左右相机中的距离；根据人体骨骼关键点的像素坐标结合深度图得到相机坐标系下的人体骨骼关键点的三维空间坐标。3.根据权利要求2所述的一种基于体势手势示教的康复轨迹获取方法，其特征在于，在人体骨骼关键点识别过程中，若肩部被手掌遮挡，则利用另一肩部关键点坐标对被遮肩部位置坐标进行恢复，经过恢复的肩部位置坐标则可以对人体错误姿态进行矫正。4.根据权利要求1所述的一种基于体势手势示教的康复轨迹获取方法，其特征在于，所述进行人体坐标系重建的步骤包括：以人体左右两肩关键点所在的空间直线作为人体坐标系的X轴，计算左、右肩关键点的方向向量v：式中，p2是相机坐标系下左肩关键点的三维空间坐标，p3是相机坐标系下右肩关键点的三维空间坐标，x
v
、y
v
、z
v
是左、右肩关键点的方向向量v的x、y、z坐标；以相机坐标系下的任意坐标点到左肩关键点的方向向量表示任意向量v
n
：v
n
＝p
n
‑
p2(3)式中，p
n
是相机坐标系下编号为n的人体骨骼关键点的三维空间坐标；计算人体坐标系在相机坐标系中的偏航角θ
z
：根据偏航角计算由相机坐标系下的任意向量v
n
变换到XOZ平面的任意向量v
n
′
：v
n
′
＝R(θ
z
)
×
v
n
(5)
式中，Rθ
z
)是偏航角的旋转变换矩阵；计算人体坐标系在相机坐标系中的俯仰角θ
y
：式中，x
v
′
、y
v
′
是XOZ平面的左、右肩关键点的方向向量v
n
′
的x、y坐标；根据俯仰角θ
y
计算由XOZ平面的任意向量v
n
′
变换到人体坐标系下的任意向量v
n
″
：v
n
″
＝R(θ
y
)
×
v
n
′
(7)令p
n
′
表示第n个人体骨骼关键点在人体坐标系中的坐标向量：p
n
′
＝v
n”(8)通过坐标变换，人体在人体坐标系的姿态...

【专利技术属性】
技术研发人员：林楚斌，张平，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：