【技术实现步骤摘要】
面向多自由度机器人的手势交互方法、系统、装置及介质
本专利技术涉及人机交互
，尤其涉及一种面向多自由度机器人的手势交互方法及系统。
技术介绍
人机交互接口是人类将控制意图传递给机器人的中介，随着多自由度机器人的广泛应用，对交互方式的自然性和通用性、位置和姿态控制的精确性和快速性的综合平衡日益成为人机交互系统的基本要求。多自由度机器人需要面对搬运、装配、涂胶、焊接、打磨等各种各样的生产任务，对机器人末端的位置和姿态的控制精度要求也不同。搬运、装配一类任务一般只对轨迹起始和终止位置的机器人末端位置和姿态精度有较高要求；而涂胶、焊接、打磨一类任务则对机器人运行轨迹全程的末端位置和姿态都有较高的精度要求。在有些作业场景中(比如汽车框架焊接)，机器人末端需要在一个受限的狭窄空间中完成相关操作，这对机器人末端位置和姿态的控制精度提出了更高要求。此外，在一些高温、高湿、高压、有毒的极限环境中，人类不能直接进入，这就需要交互方式能够支持遥控操作。对多自由度机器人的交互控制主要涉及末端的位置和姿态两个方面。目前广泛使用的...
【技术保护点】
1.一种面向多自由度机器人的手势交互方法，其特征在于，包括以下步骤：/n获取手势视频；/n从所述手势视频的视频帧中获取手势图像；/n根据手势图像识别出手势语义信息或手部姿态信息；/n基于当前的控制模式，根据手势语义信息或手部姿态信息获取控制机器人的控制指令；/n所述手势语义信息用于基本移动方向或基本姿态角的控制；/n所述手部姿态信息用于任意移动方向的控制或任意姿态的映射。/n
【技术特征摘要】
1.一种面向多自由度机器人的手势交互方法，其特征在于，包括以下步骤：
获取手势视频；
从所述手势视频的视频帧中获取手势图像；
根据手势图像识别出手势语义信息或手部姿态信息；
基于当前的控制模式，根据手势语义信息或手部姿态信息获取控制机器人的控制指令；
所述手势语义信息用于基本移动方向或基本姿态角的控制；
所述手部姿态信息用于任意移动方向的控制或任意姿态的映射。
2.根据权利要求1所述的一种面向多自由度机器人的手势交互方法，其特征在于，所述控制模式包括基本移动方向控制模式、任意移动方向控制模式、基本姿态角控制模式和任意姿态映射模式；
所述基本移动方向控制模式用于根据手势语义信息控制机器人按照预设的方向进行移动；
所述任意移动方向控制模式用于根据手部姿态信息控制机器人按照任意的方向进行移动；
所述基本姿态角控制模式用于根据手势语义信息控制机器人末端的横滚角、偏转角、俯仰角三个姿态角；
所述任意姿态映射模式用于根据手部姿态信息提取手部姿态中三个姿态角，将提取的姿态角映射到机器人末端；
所述手势语义信息中包括模式切换信息；当从手势图像识别到模式切换信息，根据模式切换信息切换控制模式。
3.根据权利要求2所述的一种面向多自由度机器人的手势交互方法，其特征在于，所述手势语义信息还包括向前信息、向后信息、向左信息、向右信息、向上信息、向下信息、逆时针旋转信息和顺时针旋转信息；
在基本移动方向控制模式中，根据向前信息控制机器人按照预设步长向第一方向移动，根据向后信息控制机器人按照预设步长向第二方向移动，根据向左信息控制机器人按照预设步长向第三方向移动，根据向右信息控制机器人按照预设步长向第四方向移动，根据向上信息控制机器人按照预设步长向第五方向移动，根据向下信息控制机器人按照预设步长向第六方向移动；
在基本姿态角控制模式中，根据逆时针旋转信息或顺时针旋转信息按照预设步长调节机器人末端的横滚角，根据向左信息或向右信息按照预设步长调节机器人末端的偏转角，根据向上信息或向下信息按照预设步长调节机器人末端的俯仰角。
4.根据权利要求2所述的一种面向多自由度机器人的手势交互方法，其特征在于，在任意移动方向控制模式中，从手势图像中提取食指的空间指向作为任意方向的指示；
设相机坐标系为XCYCZC，根据手部模型提取食指的关节，其中，提取到指尖B在相机坐标系中的三维坐标PB＝(xB，yB，zB)，提取到指根A在相机坐标系中的三维坐标PA＝(xA，yA，zA)；
根据指尖和指根两个关节的三维坐标确定一个方向向量S＝(cosα，cosβ，cosγ)，方向向量的方向为从指根指向指尖；
将相机坐标系中的方向向量转换至机器人基坐标系下，指示机器人末端沿方向向量S移动一个预设步长的距离Dist。
5.根据权利要求2所述的一种面向多自由度机器人的手势交互方法，其特征在于，在任意姿态映射模式中，从手势图像中提取手...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。