当前位置: 首页 > 专利查询>天津大学专利>正文

基于视觉定位和虚拟现实技术的机器人遥操作系统及方法技术方案

技术编号:40501896 阅读:32 留言:0更新日期:2024-02-26 19:29
本发明专利技术公开了一种基于视觉定位和虚拟现实技术的机器人遥操作系统,包括位于远程空间的机器人、深度相机及场景重建系统,机器人包括机器人控制系统及机器人执行系统;位于本地操作空间的虚拟现实设备及虚拟引擎;场景重建系统生成远程机器人工作场景;虚拟引擎与虚拟现实头显和手持控制器连接,其根据实际机器人尺寸生成虚拟机器人,并基于远程机器人工作场景的三维点云信息及机器人作业对象的初始位姿数据,生成初始的虚拟机器人工作空间;其根据手持控制器的控制信号,对应改变虚拟机器人位姿及虚拟机器人工作空间。本发明专利技术基于点云与6D位姿估计算法实现对远程环境的三维重建,并通过虚拟现实设备反馈给操作员,避免了点云连续传输的延时。

【技术实现步骤摘要】

本专利技术涉及一种机器人遥操作系统及方法,特别涉及一种基于视觉定位和虚拟现实技术的机器人遥操作系统及方法


技术介绍

1、机器人遥操作,是指操作者远程控制机器人的运动,从而操作机器人完成任务。工作在未知环境下的全自主式智能机器人是目前乃至今后若干年内都难以达到的目标,因此“人机交互遥操作机器人”是当前机器人的重要发展方向之一。“人机交互遥操作机器人”就是指机器人工作在远端,人在本地,通过各种传感设备,测量人肢体的运动信息,并作为控制指令,去控制机器人的运动与操作;同时,再将机器人的视觉、力觉、触觉等各种感觉反馈给人,实现人与机器人的深度耦合。

2、目前,遥操作技术已被广泛应用于各种工作要求复杂且对人类有潜在危险的领域,例如排雷排爆、搜索救援、高空作业、水下作业和太空探索等。在实际应用中实现直观、高效遥操作的关键因素之一在于能否为操作者提供良好的临场感。临场感,即让操作员充分感知远程机器人环境,为其提供身临其境的沉浸式感官辅助.临场感又可分为视觉临场感与力触觉临场感,其中视觉临场感在遥操作中的重要性已得到广泛的认识并得到较为深入的研究,因为视觉反本文档来自技高网...

【技术保护点】

1.一种基于视觉定位和虚拟现实技术的机器人遥操作系统,包括位于远程机器人工作空间的机器人,机器人包括机器人控制系统及机器人执行系统;其特征在于,还包括位于远程机器人工作空间的深度相机及场景重建系统;位于本地操作空间的虚拟现实设备及虚拟引擎;以及实现远程机器人工作空间的设备与本地操作空间的设备之间通信的通信模块;

2.根据权利要求1所述的基于视觉定位和虚拟现实技术的机器人遥操作系统,其特征在于,虚拟现实设备选用HTC VIVE Pro虚拟现实设备。

3.根据权利要求1所述的基于视觉定位和虚拟现实技术的机器人遥操作系统,其特征在于,虚拟引擎采用Unity虚拟引擎。...

【技术特征摘要】

1.一种基于视觉定位和虚拟现实技术的机器人遥操作系统,包括位于远程机器人工作空间的机器人,机器人包括机器人控制系统及机器人执行系统;其特征在于,还包括位于远程机器人工作空间的深度相机及场景重建系统;位于本地操作空间的虚拟现实设备及虚拟引擎;以及实现远程机器人工作空间的设备与本地操作空间的设备之间通信的通信模块;

2.根据权利要求1所述的基于视觉定位和虚拟现实技术的机器人遥操作系统,其特征在于,虚拟现实设备选用htc vive pro虚拟现实设备。

3.根据权利要求1所述的基于视觉定位和虚拟现实技术的机器人遥操作系统,其特征在于,虚拟引擎采用unity虚拟引擎。

4.根据权利要求1所述的基于视觉定位和虚拟现实技术的机器人遥操作系统,其特征在于,深度相机选用realsense d435i深度相机。

5.一种利用权利要求1至4任一所述的基于视觉定位和虚拟现实技术的机器人遥操作系统的基于视觉定位和虚拟现实技术的机器人遥操作方法,其特征在于,该方法包括以下步骤:

6.根据权利要求5所述的基于视觉定位和虚拟现实技术的机器人遥操作方法,其特征在于,6d位姿估计模型采用gen6d位姿估计算法构建,步骤一包括如下分步骤:

7.根据权利要求5所述的基于视觉定位和虚拟现实技术的机器人遥操作方法,其特征在于,步骤二中,设置相机坐...

【专利技术属性】
技术研发人员:林子骜肖聚亮赵炜牛一凡龙晖午朱林
申请(专利权)人:天津大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1