基于混合现实的柔性机械臂遥操作人机交互装置及方法制造方法及图纸

本发明专利技术公开一种基于混合现实的柔性机械臂遥操作人机交互装置及方法，所述遥操作人机交互装置包括：混合现实设备和控制模块，所述混合现实设备连接所述控制模块，所述控制模块与柔性机械臂通信连接，所述控制模块进行SLAM实时定位与建图，并通过所述混合现实设备将建图结果及柔性机械臂在操作场景下的位姿呈现给操作者，所述混合现实设备采集操作者动态，识别操作者所选择的控制模式和发出的人为控制指令，所述控制模块接收和解析指令，并对柔性机械臂进行运动控制与寻路避障运算，将所述人为控制指令转化成柔性机械臂控制指令，从而对所述柔性机械臂进行运动控制。本发明专利技术可提高柔性机械臂遥操作人机交互控制的实时性、准确性、安全性和用户友好性。安全性和用户友好性。安全性和用户友好性。

【技术实现步骤摘要】
基于混合现实的柔性机械臂遥操作人机交互装置及方法


[0001]本专利技术涉及遥操作机器人
，特别是涉及一种基于混合现实的柔性机械臂遥操作人机交互装置及方法。

技术介绍

[0002]如今，机器人技术不仅仅只需要满足制造业的需求，更是走出工厂，拓展到包括医学、航空航天、水下导航等更为广泛的领域，辅助甚至替代人类完成一些重复、繁重或危险的任务。其中，在一些狭小复杂空间的作业场景中，也对机器人技术产生了日益增长的应用需求，例如地震废墟救援、机舱钻孔作业、核电站管道检修、卫星太阳能帆板检修、内窥镜等医疗辅助设备、危险狭管焊接等等。此类狭小复杂空间往往具有以下特点：相比普通的室内环境，空间大小受限；障碍物分布更为复杂，视角受限，内部信息完全未知；相对隔离与封闭或是具有危险性；进出口受限，人类难以直接进入等。因此，对于进入狭小空间作业的机械臂，需要更高的灵活性、智能性、精确性与安全性。同时，由于内部环境具有未知和复杂的特点，机器人智能性与适应性有限，难以完全自主决策，有时需要人类操作者辅助机械臂进行交互导航控制。由于环境空间信息完全未知，机械臂进入后首先需要实现自我定位，并通过装载在机械臂上的传感器获取环境信息；出于用户友好性的需求，收集到的原始数据经过统一的数据处理，以相对直观的方式提供给操作者，辅助其进行决策控制，进一步引导机械臂进行下一步运动和操作，而无需对操作者进行复杂的专业培训。
[0003]超冗余柔性机械臂，是指自由度不少于16的机械臂，相较于自由度受限的传统工业机械臂，具有更优良的弯曲特性和灵活性。因此，超冗余柔性机械臂在核、水下作业、医学手术、航空航天等领域具有广泛应用。其中，绳驱超冗余柔性机械臂在基座统一配备电机，通过调节绳索长度驱动关节转动，因此机械臂本体更为轻便，可应用于复杂狭小空间，实现灵活避障等功能。但与此同时，超高的自由度和复杂的构型使得机械臂的空间感知能力较弱，机械臂对环境的自主感知与判断和机械臂各个关节的准确定位与轨迹规划实现较为困难。因此，在许多超冗余柔性机械臂的控制系统中，需要利用遥操作人机交互手段进行人为介入。
[0004]传统的机械臂遥操作通常采用双边遥操作，建立主从控制结构。主端需要接受来自从端的反馈信息，除了位置、速度等基本信息外，还包含视觉反馈、力反馈等。传统视觉反馈通常基于不同种类的相机和2D显示器等，为操作者提供平面视觉信息。这项技术已有过半个世纪的发展历史，在危险物质处理、远程外科手术、水下机器人、空间机器人、移动机器人等领域均有应用。但是调查研究表明，这类传统遥操作交互手段具有许多弊端，比如视角受限、误差大、图频退化、多相机注意力切换不便等；另外，传统遥操作通常使用计算机或者摇杆等设备发出指令，交互手段不直接。
[0005]因此，学术界提出了沉浸式交互的概念，即让操作者身处于根据远程实况搭建的模拟环境中进行交互与决策。研究实验表明，3D交互接口相对于2D接口能够为操作者提供更强的沉浸感，有效地帮助操作者理解环境并做出决策。其中，普遍认为基于虚拟现实
(Virtual Reality,VR)、增强现实(Augment Reality，AR)、混合现实(Mixed Reality，MR)结合头戴式设备(Head
‑
Mounted Display，HMD)的视觉伺服具有良好前景。沉浸式交互手段可以有效缓解超冗余柔性机械臂的高复杂度所导致的空间感知性能退化的问题，同时为操作者提供直观的3D操作环境。
[0006]来自西班牙自动化机器人中心(CAR，UPM
‑
CSIC)的Andr
é
s Mart
í
n
‑
Barrio团队于2020年提出了一种基于混合现实的应用于检查作业的超冗余机械臂的人机交互系统设计。由超冗余机械臂进入人类操作者无法到达的或危险的空间代替人类进行作业，通过混合现实设备为操作者提供3D环境虚拟模型和实时的机械臂位置与姿态，操作者可以通过手势等交互手段改变机械臂末端的位姿，实现主从双边位置
‑
位置控制。操作者需要在虚拟空间调整好目标位姿后，按下按钮来确认将该控制指令发送给远程机械臂。但该方案存在以下缺点：(1)该方案中虚拟环境模型采用Kinect深度相机及Rtabmap建图方法进行提前构建，再应用于机械臂检查作业中。但在现实应用场景下，超冗余柔性臂作业环境基本无法提前进行观测建图，而更加要求实时性与适应性。(2)为防止不当操作导致碰撞，该方案采用按下按钮来确认控制指令发送的形式来控制机械臂的运动，实时性差，难以应对突发状况，且操作冗余。(3)该方案只能够对机械臂末端位姿进行操作，局限性大，对操作者操作精准度有较高要求。
[0007]Da Sun等人提出了一种新型的基于混合现实的遥操作系统。设计交互代理并应用模糊逻辑算法来减少由于操作者操作不当导致事故的可能性。该系统在实验环境中的固定位置搭建RGB
‑
D相机实时传送并重建点云数据，操作者可以通过混合现实接口进行观测和操作。然而，该系统的工作空间简单，将RGB
‑
D相机搭载在工作空间的固定位置，视角固定，重建的点云模型为实时反馈，遮挡部分信息受限；缺乏机械臂的第一视角，无法应对突发情况。因此，该方案只适用于较简单机械的环境。

技术实现思路

[0008]为了弥补上述
技术介绍
的不足，本专利技术提出一种基于混合现实的柔性机械臂遥操作人机交互装置及方法，以解决遥操作人机交互控制的实时性、准确性、安全性和用户友好性低的问题。
[0009]本专利技术的技术问题通过以下的技术方案予以解决：
[0010]本专利技术公开了一种基于混合现实的柔性机械臂遥操作人机交互装置，所述遥操作人机交互装置包括：混合现实设备和控制模块，所述混合现实设备连接所述控制模块，所述控制模块与柔性机械臂通信连接，所述控制模块进行SLAM实时定位与建图，并通过所述混合现实设备将建图结果及柔性机械臂在操作场景下的位姿呈现给操作者，所述混合现实设备采集操作者动态，识别操作者所选择的控制模式和发出的人为控制指令，所述控制模块接收和解析指令，并对柔性机械臂进行运动控制与寻路避障运算，将所述人为控制指令转化成柔性机械臂控制指令，从而对所述柔性机械臂进行运动控制。
[0011]在一些实施例中，还包括以下技术方案：
[0012]所述混合现实设备为头戴式设备，头戴式设备用于同步显示交互式虚拟环境及柔性臂模型，对操作者进行头部跟踪、手势识别和语音识别，识别操作者所选择的控制模式和发出的人为控制指令。
[0013]所述控制模块包括交互与模型控制平台和数据处理与硬件控制平台，所述交互与模型控制平台和数据处理与硬件控制平台通信连接；所述交互与模型控制平台包括交互式虚拟模型、运动控制与寻路避障规划算法模块和交互式接口，用于搭建交互式虚拟环境及柔性臂运动模型、对柔性机械臂进行实时避障与整臂位姿规划、将建图结果及柔性机械臂在场景下的位姿数据传递给所述混合现实设备；所述数据处理与硬件控制平台包括数据采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合现实的柔性机械臂遥操作人机交互装置，其特征在于，所述遥操作人机交互装置包括：混合现实设备和控制模块，所述混合现实设备连接所述控制模块，所述控制模块与柔性机械臂通信连接，所述控制模块进行SLAM实时定位与建图，并通过所述混合现实设备将建图结果及柔性机械臂在操作场景下的位姿呈现给操作者，所述混合现实设备采集操作者动态，识别操作者所选择的控制模式和发出的人为控制指令，所述控制模块接收和解析指令，并对柔性机械臂进行运动控制与寻路避障运算，将所述人为控制指令转化成柔性机械臂控制指令，从而对所述柔性机械臂进行运动控制。2.如权利要求1所述的基于混合现实的柔性机械臂遥操作人机交互装置，其特征在于，所述混合现实设备为头戴式设备，所述头戴式设备用于同步显示交互式虚拟环境及柔性臂模型，对操作者进行头部跟踪、手势识别和语音识别，识别操作者所选择的控制模式和发出的人为控制指令。3.如权利要求1所述的基于混合现实的柔性机械臂遥操作人机交互装置，其特征在于，所述控制模块包括交互与模型控制平台和数据处理与硬件控制平台，所述交互与模型控制平台和数据处理与硬件控制平台通信连接；所述交互与模型控制平台包括交互式虚拟模型、运动控制与寻路避障规划算法模块和交互式接口，用于搭建交互式虚拟环境及柔性臂运动模型、对柔性机械臂进行实时避障与整臂位姿规划、将建图结果及柔性机械臂在场景下的位姿数据传递给所述混合现实设备；所述数据处理与硬件控制平台包括数据采集模块、SLAM算法模块和硬件控制系统，用于采集环境数据、SLAM实时定位与建图以及柔性机械臂的数据通信。4.如权利要求3所述的基于混合现实的柔性机械臂遥操作人机交互装置，其特征在于，所述数据采集模块包括RGB
‑
D深度相机，所述RGB
‑
D深度相机设置于所述柔性机械臂末端；所述控制模块基于RGB
‑
D深度相机采集的数据进行SLAM实时定位与建图。5.如权利要求4所述的基于混合现实的柔性机械臂遥操作人机交互装置，其特征在于，所述数据采集模块还包括码盘，所述码盘设置于所述柔性机械臂的各关节处，用于读取所述柔性机械臂的关节...

【专利技术属性】
技术研发人员：梁斌，陈蓉卉，王学谦，朱晓俊，陈章，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：