【技术实现步骤摘要】
本专利技术涉及一种机器人遥操作系统及方法，特别涉及一种基于视觉定位和虚拟现实技术的机器人遥操作系统及方法。
技术介绍
1、机器人遥操作，是指操作者远程控制机器人的运动,从而操作机器人完成任务。工作在未知环境下的全自主式智能机器人是目前乃至今后若干年内都难以达到的目标，因此“人机交互遥操作机器人”是当前机器人的重要发展方向之一。“人机交互遥操作机器人”就是指机器人工作在远端，人在本地，通过各种传感设备，测量人肢体的运动信息，并作为控制指令，去控制机器人的运动与操作；同时，再将机器人的视觉、力觉、触觉等各种感觉反馈给人，实现人与机器人的深度耦合。
2、目前，遥操作技术已被广泛应用于各种工作要求复杂且对人类有潜在危险的领域，例如排雷排爆、搜索救援、高空作业、水下作业和太空探索等。在实际应用中实现直观、高效遥操作的关键因素之一在于能否为操作者提供良好的临场感。临场感，即让操作员充分感知远程机器人环境，为其提供身临其境的沉浸式感官辅助.临场感又可分为视觉临场感与力触觉临场感，其中视觉临场感在遥操作中的重要性已得到广泛的认识并得到较为深入的研究，因为视觉反馈是遥操作中最重要的感官反馈。
3、传统遥操作中的视觉反馈主要依赖于来自远程环境的多角度2d视频，其优点是信息来源简单直接，容易获取，但局限性在于操作者在切换不同角度的视频时，需要很强的坐标变换能力和空间转换能力，负荷较大，效率较低。此外，由于深度信息的缺失，往往会引起人对深度距离的错误感知；同时,基于2d视频的视觉反馈形式容易造成信息传输及图形计算过程的时延；基于
技术实现思路
1、本专利技术为解决公知技术中存在的技术问题而提供一种基于视觉定位和虚拟现实技术的机器人遥操作系统及方法。
2、本专利技术为解决公知技术中存在的技术问题所采取的技术方案是：
3、一种基于视觉定位和虚拟现实技术的机器人遥操作系统，包括位于远程机器人工作空间的机器人，机器人包括机器人控制系统及机器人执行系统；还包括位于远程机器人工作空间的深度相机及场景重建系统；位于本地操作空间的虚拟现实设备及虚拟引擎；以及实现远程机器人工作空间的设备与本地操作空间的设备之间通信的通信模块；
4、深度相机采集远程机器人工作空间的rgb图像和深度图像；其将采集的图像数据发送至场景重建系统，
5、场景重建系统将来自深度相机的rgb图像和深度图像融合，并生成远程机器人工作场景的三维点云数据，其将生成的三维点云数据通过通信模块发送至虚拟引擎；场景重建系统包括6d位姿估计模型；6d位姿估计模型用于根据rgb图像识别远程机器人工作场景中的机器人作业对象的初始位姿；其将机器人作业对象的初始位姿数据通过通信模块发送至虚拟引擎；
6、虚拟现实设备包括虚拟现实头显及手持控制器；虚拟现实头显用于向操作员提供虚拟机器人工作空间的视觉信息；手持控制器用于操作员控制虚拟机器人位姿；
7、虚拟引擎，其分别与虚拟现实头显和手持控制器连接，其根据实际机器人尺寸进行等比例建模生成虚拟机器人，并基于远程机器人工作场景的三维点云信息及机器人作业对象的初始位姿数据，生成初始的虚拟机器人工作空间；其根据手持控制器的控制信号，对应改变虚拟机器人位姿及虚拟机器人工作空间；其将虚拟机器人位姿数据实时发送至机器人控制系统，并将虚拟机器人工作空间数据发送至虚拟现实头显；
8、机器人控制系统根据虚拟机器人位姿数据，发出信号控制机器人执行系统的工作，使远程机器人工作空间的机器人位姿跟随虚拟机器人位姿。
9、进一步地，虚拟现实设备选用htc vive pro虚拟现实设备。
10、进一步地，虚拟引擎采用unity虚拟引擎。
11、进一步地，深度相机选用realsense d435i深度相机。
12、本专利技术还提供了一种利用上述的基于视觉定位和虚拟现实技术的机器人遥操作系统的基于视觉定位和虚拟现实技术的机器人遥操作方法，该方法包括以下步骤：
13、步骤一，对6d位姿估计模型进行训练。
14、步骤二，使用眼在手外的外参标定方法得到机器人坐标系和深度相机坐标系之间的坐标转换矩阵n；场景重建系统基于深度相机内参将获取的rgb图像和深度图像配准，将深度相机坐标系转换到机器人坐标系下，生成远程机器人工作场景的三维点云数据并发送至虚拟引擎。
15、步骤三，由训练完成的6d位姿估计模型根据rgb图像，识别得到机器人作业对象的初始位姿并与坐标转换矩阵n相乘，将坐标转换后的机器人作业对象的初始位姿数据发送至虚拟引擎。
16、步骤四，虚拟引擎，其基于来自场景重建系统的三维点云数据，生成操作员在虚拟现实头显中可视的虚拟机器人工作空间，并使虚拟机器人工作空间与远程机器人工作场景的三维点云信息匹配和重叠；其基于来自6d位姿估计模型的机器人作业对象的初始位姿数据，将虚拟机器人工作空间中机器人作业对象的点云数据替换为虚拟作业对象，同时保留静止对象的点云，完成远程机器人工作场景的三维重建。
17、步骤五，虚拟引擎完成三维重建后，操作员通过手持控制器控制虚拟机器人与虚拟作业对象进行实时交互；虚拟引擎，其根据手持控制器的控制信号生成虚拟机器人的运动轨迹，并对应改变虚拟机器人位姿及虚拟机器人工作空间，其将虚拟机器人位姿数据实时发送至机器人控制系统，并将虚拟机器人工作空间数据发送至虚拟现实头显。
18、步骤六，机器人控制系统根据虚拟机器人位姿数据，发出信号控制机器人执行系统的工作，使远程机器人工作空间的机器人位姿跟随虚拟机器人位姿。
19、进一步地，6d位姿估计模型采用gen6d位姿估计算法构建，步骤一包括如下分步骤：
20、步骤1-1，采用深度相机绕着机器人作业对象拍摄一段视频作为参考序列。
21、步骤1-2，将参考序列拆分为图像。
22、步骤1-3，通过colmap sfm恢复出每一张参考图像的位姿，同时重建未知物体的稀疏点云以定义物体的大小。
23、步骤1-4，定义重建后点云的坐标系。
24、步骤1-5，运行gen6d位姿估计算法程序，基于预训练的权重实现对机器人作业对象6d位姿的估计。
25、进一步地，步骤二中，设置相机坐标系trealsense、标定板坐标系tboard及机器人基坐标系trobot；将标定板与机器人末端固接，则从标定板到机器人基坐标系的矩阵已知，再通过识别程序标定相机坐标系到标定板的变换矩阵则深度相机坐标系转换到机器人坐标系的转化矩阵n为：
26、进一步地，步骤五中，使手持控制器模拟机器人末端，手持控制器末端位姿映射虚拟机器人的末端位姿，虚拟引擎根据手持控制器的控制信号生成虚拟机器人的运动轨迹的方法包括如下方法步骤：
27、设vt+1与vt对应为t+1帧和t帧时虚拟机器人的末本文档来自技高网...
【技术保护点】
1.一种基于视觉定位和虚拟现实技术的机器人遥操作系统，包括位于远程机器人工作空间的机器人，机器人包括机器人控制系统及机器人执行系统；其特征在于，还包括位于远程机器人工作空间的深度相机及场景重建系统；位于本地操作空间的虚拟现实设备及虚拟引擎；以及实现远程机器人工作空间的设备与本地操作空间的设备之间通信的通信模块；
2.根据权利要求1所述的基于视觉定位和虚拟现实技术的机器人遥操作系统，其特征在于，虚拟现实设备选用HTC VIVE Pro虚拟现实设备。
3.根据权利要求1所述的基于视觉定位和虚拟现实技术的机器人遥操作系统，其特征在于，虚拟引擎采用Unity虚拟引擎。
4.根据权利要求1所述的基于视觉定位和虚拟现实技术的机器人遥操作系统，其特征在于，深度相机选用Realsense D435i深度相机。
5.一种利用权利要求1至4任一所述的基于视觉定位和虚拟现实技术的机器人遥操作系统的基于视觉定位和虚拟现实技术的机器人遥操作方法，其特征在于，该方法包括以下步骤：
6.根据权利要求5所述的基于视觉定位和虚拟现实技术的机器人遥操作方法
7.根据权利要求5所述的基于视觉定位和虚拟现实技术的机器人遥操作方法，其特征在于，步骤二中，设置相机坐标系TRealsense、标定板坐标系TBoard及机器人基坐标系TRobot；将标定板与机器人末端固接，则从标定板到机器人基坐标系的矩阵已知，再通过识别程序标定相机坐标系到标定板的变换矩阵则深度相机坐标系转换到机器人坐标系的转化矩阵N为：
8.根据权利要求5所述的基于视觉定位和虚拟现实技术的机器人遥操作方法，其特征在于，步骤五中，使手持控制器模拟机器人末端，手持控制器末端位姿映射虚拟机器人的末端位姿，虚拟引擎根据手持控制器的控制信号生成虚拟机器人的运动轨迹的方法包括如下方法步骤：
9.根据权利要求8所述的基于视觉定位和虚拟现实技术的机器人遥操作方法，其特征在于，以虚拟作业对象为中心，设置半径分别为r0、r1的两个球体将虚拟机器人工作空间划分为三个工作空间，三个工作空间由外至内分别命名为S1、S2、S3，对应S1、S2、S3三个工作空间，采用自适应位置增量映射算法调整k，使映射比例系数k分别对应为k1、k2、k3，自适应位置增量映射算法的计算公式如下：
10.根据权利要求9所述的基于视觉定位和虚拟现实技术的机器人遥操作方法，其特征在于，r0、r1由目标的大小而定，r0为虚拟作业对象最小球体包围盒的半径，r1为虚拟作业对象最小球体包围盒的半径的1.5～2倍；操作员通过手持控制器控制虚拟机器人与虚拟作业对象进行实时交互的方法包括如下方法步骤：
...【技术特征摘要】
1.一种基于视觉定位和虚拟现实技术的机器人遥操作系统，包括位于远程机器人工作空间的机器人，机器人包括机器人控制系统及机器人执行系统；其特征在于，还包括位于远程机器人工作空间的深度相机及场景重建系统；位于本地操作空间的虚拟现实设备及虚拟引擎；以及实现远程机器人工作空间的设备与本地操作空间的设备之间通信的通信模块；
2.根据权利要求1所述的基于视觉定位和虚拟现实技术的机器人遥操作系统，其特征在于，虚拟现实设备选用htc vive pro虚拟现实设备。
3.根据权利要求1所述的基于视觉定位和虚拟现实技术的机器人遥操作系统，其特征在于，虚拟引擎采用unity虚拟引擎。
4.根据权利要求1所述的基于视觉定位和虚拟现实技术的机器人遥操作系统，其特征在于，深度相机选用realsense d435i深度相机。
5.一种利用权利要求1至4任一所述的基于视觉定位和虚拟现实技术的机器人遥操作系统的基于视觉定位和虚拟现实技术的机器人遥操作方法，其特征在于，该方法包括以下步骤：
6.根据权利要求5所述的基于视觉定位和虚拟现实技术的机器人遥操作方法，其特征在于，6d位姿估计模型采用gen6d位姿估计算法构建，步骤一包括如下分步骤：
7.根据权利要求5所述的基于视觉定位和虚拟现实技术的机器人遥操作方法，其特征在于，步骤二中，设置相机坐...
【专利技术属性】
技术研发人员：林子骜，肖聚亮，赵炜，牛一凡，龙晖午，朱林，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。