【技术实现步骤摘要】
本专利技术涉及遥控机器人，具体涉及一种基于力混合现实的主从遥操作机器人系统。
技术介绍
1、主从遥操作机器人系统主要是操作者(主端)通过控制系统对远端的机器人(从端)进行操作。这种遥操作系统通常用于需要远程执行任务的情境，例如危险环境、不便进入的地方或需要精密操控的应用场景。主从遥操作系统可以涵盖多个领域，包括但不限于工业应用：在危险的工业环境中，主从遥操作系统可以用于操作机器人或执行需要高精度的任务；医疗应用：在手术中，主从遥操作系统可以用于进行远程手术，减少外科医生的暴露于风险环境的需求，减轻医生的工作负担，提高手术精度；探险和勘探：在深海、太空等环境中，主从遥操作系统可以用于控制探测器或机器人，执行各种任务；军事应用：主从遥操作系统在军事领域中也得到广泛应用，用于执行危险任务，诸如拆弹、侦察等。
2、这种遥操作系统的设计目标是实现远程操控的同时，提供足够的反馈和感知，以确保操作的准确性和安全性。而为遥操作提供的反馈集中体现在视觉与力觉上。现有的主从遥操作系统中在视觉上，若仅仅依赖于一个二维屏幕进行可视化，操作者将面临难以观测到从端环境深度信息的挑战。虽然可以通过应用混合现实技术来增强三维可视化效果，但混合现实所面临的较为棘手的问题在于其缺乏对力觉的反馈和引导能力，以及可能存在的不正确虚实遮挡关系。在力觉上，通过合理的遥操作算法和从端的力传感器结合，可以有效地反馈从端机器人与环境的交互力。然而，在从端机器人与环境未发生接触的情况下，系统缺乏对操作者的引导与限制，这难以确保操作的安全性。
3、为此，本专
技术实现思路
1、本专利技术的目的是为了解决上述问题，提供一种基于力混合现实的主从遥操作机器人系统，通过虚实结合的方式解决真实的动态机器人与投射在混合现实设备中的虚拟场景的不正确遮挡关系，通过带有力觉引导与反馈的混合现实，避免操作过程中会存在潜在的有害碰撞风险。
2、为了达到上述目的，本专利技术的技术方案如下：
3、本专利技术提供了一种基于力混合现实的主从遥操作机器人系统，包括主机器人和从机器人，
4、所述主机器人连接有混合现实设备，所述混合现实设备用于接收信息，并在混合现实设备中生成虚拟环境；
5、所述从机器人的从臂的末端设有深度相机，所述深度相机用于采集真实环境的点云信息，并实时发送给主机器人端的混合现实设备，所述点云信息用于生成虚拟夹具，所述虚拟夹具用于产生施加到从机器人上的虚拟力，所述虚拟力包括引导力与禁止力，所述虚拟力与从机器人端实际的环境交互力共同作用，为主机器人端的操作者提供力反馈与指导。
6、在本方案中，操作者在实际操作过程中，通过从机器人端的深度相机采集真实环境的点云信息，并实时发送给主机器人端的混合现实设备生成虚拟环境。同时，点云信息还被用来生成虚拟夹具，产生施加到从机器人端工具上的引导力与禁止力，此虚拟力与从机器人端实际的环境交互力共同作用，为主机器人端的操作者提供力反馈与指导。深度相机采集到的真实环境的点云信息的三维信息后，将点云信息转换到从机器人基坐标系后，实时发送到主机器人端，主机器人与从机器人为同构性主从配置，点云信息可以直接在混合现实设备中投射到主机器人基坐标中的同一位置。在这种配置下，主机器人端的虚拟环境与从机器人端的真实环境一一对应，虚拟夹具的力引导与混合现实的视觉反馈也完全对应，这种一致性极大地增强了操作者在主从遥操作中的沉浸感。
7、所述虚拟夹具包含禁止型虚拟夹具(frvf)和指导型虚拟夹具(gvf)，通过人工势、力场，采集到的真实环境的禁止区域点云信息用来生成禁止型虚拟夹具(frvf)；所述指导型虚拟夹具(gvf)为操作者想要实现的人机交互运动路径。
8、在本方案中，虚拟夹具是指在计算机模拟环境中创建的虚拟工具，用于模拟实际场景中的夹持和定位功能。这种技术通过计算机生成的图形界面模拟夹具在虚拟世界中的操作，为用户在虚拟现实设备中提供直观的界面，以便更精准地执行任务，减少误差。
9、所述点云信息为深度相机采集到的真实环境的三维信息,点云信息转换到机器人基坐标系后，实时发送至主机器人端，主机器人与从机器人为同构性主从配置，故点云信息可以直接在混合现实设备中投射到主机器人基坐标中的同一位置。
10、在本方案中，相机采集到的真实环境点云信息的三维信息后，可转换到机器人基坐标系，并实时发送到主机器人端，由于主机器人和从机器人的同构性，点云信息可以直接在混合现实设备中投射到主机器人基坐标中的同一位置。在这种配置下，主机器人端的虚拟环境与从机器人端的真实环境一一对应，虚拟夹具的力引导与混合现实的视觉反馈也完全对应。这种一致性极大地增强了操作者在主从遥操作中的沉浸感。
11、所述主从遥操作机器人系统的坐标系包含主机器人基坐标系、从机器人基坐标系、安装在从臂上的深度相机的坐标系和ost-hmd的坐标系；由于深度相机安装在从臂的末端，可通过正运动学与从臂基坐标系转换；通过混合现实设备扫描qr码，可实现混合现实设备(ost-hmd)与主机器人基坐标系之间的转换。
12、在本方案中，本专利技术使用的ost-hmd是hololens2(微软公司)，并使用了universalwindows platform(uwp)和unity3d的混合现实工具包(mrtk)，实现qr码识别、语音和手势识别以及构建虚拟场景等功能。而unity3d中的坐标系是左手坐标系，其他坐标系是右手。通过虚实结合的方式，将从机器人的数字孪生体投射到与主机器人相同的位置，并同步二者的运动，使虚实物体二者的关节角同步，通过这一方法，主机器人端运动的同时，与其重合的数字孪生体也一起运动，数字孪生体和虚拟场景之间由于都是虚拟物体，不存在错误的遮挡关系，解决了遮挡问题。为便于数据交换，两台pc和hololens在同一局域网内相互连接。一台pc用于控制远程操作设置中的从机器人系统，并处理深度摄像头信息的收集和处理，另一台pc用于unity3d建立和管理投射到hololens上的虚拟场景。通过udp协议可实现快速同步虚实机器人，为避免udp数据包丢失，采用文件传输协议(ftp)来实现高效且快速的数据传输。
13、与现有技术相比，本方案的有益效果：
14、本专利技术通过将视觉反馈和力觉反馈与引导完全对应，虚拟场景与真实场景也完全对应，大大增强遥操作系统中主机器人端的沉浸感，减轻了学习成本和工作负担，且巧妙解决了混合现实技术中棘手的遮挡问题。
本文档来自技高网...【技术保护点】
1.一种基于力混合现实的主从遥操作机器人系统，其特征是：包括主机器人和从机器人，
2.如权利要求1所述的一种基于力混合现实的主从遥操作机器人系统，其特征是：所述虚拟夹具包含禁止型虚拟夹具和指导型虚拟夹具，通过人工势、力场，采集到的真实环境的禁止区域点云信息用来生成禁止型虚拟夹具；所述指导型虚拟夹具为操作者想要实现的人机交互运动路径。
3.如权利要求1所述的一种基于力混合现实的主从遥操作机器人系统，其特征是：所述点云信息为深度相机采集到的真实环境的三维信息,点云信息转换到机器人基坐标系后，实时发送至主机器人端，主机器人与从机器人为同构性主从配置，故点云信息可以直接在混合现实设备中投射到主机器人基坐标中的同一位置。
4.如权利要求3所述的一种基于力混合现实的主从遥操作机器人系统，其特征是：所述主从遥操作机器人系统的坐标系包含主机器人基坐标系、从机器人基坐标系、安装在从臂上的深度相机的坐标系和OST-HMD的坐标系。
【技术特征摘要】
1.一种基于力混合现实的主从遥操作机器人系统，其特征是：包括主机器人和从机器人，
2.如权利要求1所述的一种基于力混合现实的主从遥操作机器人系统，其特征是：所述虚拟夹具包含禁止型虚拟夹具和指导型虚拟夹具，通过人工势、力场，采集到的真实环境的禁止区域点云信息用来生成禁止型虚拟夹具；所述指导型虚拟夹具为操作者想要实现的人机交互运动路径。
3.如权利要求1所述的一种基于力混合现实的主从遥操作机器人系统，其特征...
【专利技术属性】
技术研发人员：杨量景，石运泽，陈贤淏，王腾悦，买浩楠，喻家伟，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。