【技术实现步骤摘要】
机器人手臂遥操作方法、装置、系统及介质
[0001]本专利技术涉及机器人遥操作领域，特别涉及一种机器人手臂遥操作方法、装置、系统及介质。
技术介绍
[0002]机器人的遥操作是将人的决策能力与机器人的精确性有机结合的技术。由于目前机器人的智能化程度有限，通过机器人遥操作技术，可以使操作人员远程控制机器人完成一些危险、困难的任务，该技术在航天、医疗、防爆等特殊领域都有很大的应用价值。传统机器人遥操作方式如鼠标、键盘、遥操作杆只对传统机械臂进行位置和姿态运动的控制，存在只能实现简单的遥操作的问题且操作难度较大，而基于数据手套和几点手环等穿戴式交互设备的遥操作方法，会限制人手运动的灵活性，且只能解析出基本的静态手势。
[0003]综上可见，如何对机器人的机械臂和机械手实现设置方便、自由灵活、操作简易的遥操作是本领域有待解决的问题。
技术实现思路
[0004]有鉴于此，本专利技术的目的在于提供一种机器人手臂遥操作方法、装置、系统及介质，能够实现对机器人的机械臂和机械手进行遥操作。其具体方案如下：
[0...
【技术保护点】
【技术特征摘要】
1.一种机器人手臂遥操作方法，其特征在于，包括：采集当前时刻下操作员的人手图像，并对所述人手图像进行图像识别，以得到当前时刻下操作员手部位置和操作员手势信息；基于当前时刻下所述操作员手部位置和预设位置映射关系，确定下一时刻机器人手部的期望位置参数，并基于当前时刻下所述操作员手势信息和预设手势映射关系，确定下一时刻所述机器人手部的期望手势；利用所述期望位置参数对所述机器人手部进行位置控制以及利用所述期望手势对机器人手指进行手势控制。2.根据权利要求1所述的机器人手臂遥操作方法，其特征在于，所述采集当前时刻下操作员的人手图像，并对所述人手图像进行图像识别，以得到当前时刻下操作员手部位置和操作员手势信息，包括：对当前时刻下操作员的人手进行图像采集，以得到当前时刻下所述操作员的人手彩色图像和人手深度图像；检测所述人手彩色图像中所述操作员的手部二维位置，并基于所述手部二维位置和所述人手深度图像确定当前时刻下所述操作员的手部三维位置；对所述人手彩色图像中与所述手部二维位置对应的图像区域进行裁剪，得到相应的裁剪后手部图像，并对所述裁剪后手部图像中的手势信息进行识别，以得到当前时刻下操作员手势信息。3.根据权利要求2所述的机器人手臂遥操作方法，其特征在于，所述检测所述人手彩色图像中所述操作员的手部二维位置，并基于所述手部二维位置和所述人手深度图像确定当前时刻下所述操作员的手部三维位置，包括：利用预设目标检测网络对所述人手彩色图像中的手部区域进行目标检测，以得到所述操作员的手部二维位置；基于所述人手彩色图像与所述人手深度图像之间的像素点对应关系，将所述人手深度图像中与所述手部二维位置对应的图像区域上的深度信息映射至所述手部二维位置，以得到当前时刻下所述操作员的手部三维位置。4.根据权利要求2所述的机器人手臂遥操作方法，其特征在于，所述对所述裁剪后手部图像中的手势信息进行识别，以得到当前时刻下操作员手势信息，包括：将所述裁剪后手部图像输入至训练后的手势识别模型，以得到所述手势识别模型输出的当前时刻下操作员手势信息；所述训练后的手势识别模型为利用预设训练集对基于卷积神经网络算法构建的待训练模型进行训练后得到的，所述预设训练集包括历史手部图像以及对应的手势标签。5.根据权利要求1所述的机器人手臂遥操作方法，其特征在于，所述基于当前时刻所述操作员手部位置和预设位置映射关系，确定下一时刻机器人手部的期望位置参数，包括：确定当前时刻下所述操作员手部位置与上一时刻所述操作员手部位置之间的第一位置距离；利用所述第一位置距离以及基于预设距离缩放比例构建的位置距离映射关系，确定下一时刻机器人手部需要移动的第二位置距离。6.根据权利要求1所述的机器人手臂遥操作方法，其特征在于，所述基于当前时刻下所
述操作员手部位置和预设位置映射关系，确定下一时刻机器人手部的期望位置参数，包括：根据基于预设坐标值缩放比...
【专利技术属性】
技术研发人员：高庆，陈勇全，池楚亮，王启文，沈文心，
申请(专利权)人：香港中文大学深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。