基于虚拟现实的机器人远程示教系统技术方案

本发明专利技术涉及机器人控制技术领域，具体提供一种基于虚拟现实的机器人远程示教系统，包括云端服务器、近端设备和远端设备；近端设备包括第一图像采集模块、示教控制手柄和头戴式显示器；远端设备包括第二图像采集模块和机器人；云端服务器依据远端设备图像信息构建机器人及其作业现场的三维空间场景图像，依据近端图像信息得到示教控制控制手柄和头戴式显示器的位姿数据，并以此为基础构建了机器人的虚拟现实操作环境。依据机器人工作任务的难易程度，将机器人远程示教操作分为普通示教操作和学习示教操作。本发明专利技术提供的技术方案可以高效地对机器人进行逼真度较高的远程示教控制。

Remote teaching system of robot based on virtual reality

The present invention relates to the field of robot control technology, in particular to a remote robot based on virtual reality teaching system, including cloud servers, the proximal and distal equipment equipment; proximal device includes a first image acquisition module, teaching control handle and a head mounted display; the remote device includes second image acquisition module and cloud server robot; according to the image information of the remote equipment construction robot and operation scene 3D scene image based on proximal image information teaching control handle and a head mounted display position data, and on the basis of the construction of the virtual reality robot operating environment. According to the degree of difficulty of robot task, the robot remote teaching operation can be divided into ordinary teaching operation and learning demonstration teaching operation. The technical scheme provided by the invention can efficiently carry out remote teaching control for the robot with higher fidelity.

【技术实现步骤摘要】
基于虚拟现实的机器人远程示教系统
本专利技术涉及机器人控制
，具体涉及一种基于虚拟现实的机器人远程示教系统。
技术介绍
随着机器人技术的不断发展，机器人已经在人类社会的工业生产领域当中扮演着举足轻重的角色。但现如今，机器人还未具有像人一样的智能自主工作于诸如海底探测、矿物开采、有毒物质处理等环境复杂的场所。因此针对于环境复杂的应用领域，对机器人进行远程示教控制显得尤为重要。相比于操作人员身临机器人作业现场完成对机器人的示教操作，远程对机器人示教控制，由于不能及时获得机器人在作业现场的状态信息，及作业现场的环境信息，急剧增加了示教操作任务的难度。因此，如何便捷地实现机器人的远程示教操作，使机器人以高适应性工作于环境复杂的应用场所已成为急需解决的问题。
技术实现思路
为了解决现有技术中的上述问题，即为了解决如何高效的实现对机器人进行远程示教的目标，以及提高机器人工作中对复杂环境的适应能力，本专利技术提供了一种基于虚拟现实的机器人远程示教系统。本专利技术提供的一种基于虚拟现实的机器人远程示教系统的技术方案是：所述基于虚拟现实的机器人远程示教系统包括云端服务器、近端设备和远端设备；所述近端本文档来自技高网...

【技术保护点】
一种基于虚拟现实的机器人远程示教系统，其特征在于，包括云端服务器、近端设备和远端设备；所述近端设备包括第一图像采集模块、示教控制手柄和头戴式显示器；所述第一图像采集模块，用于采集所述示教控制手柄和头戴式显示器的图像信息，并将所采集的图像信息发送至云端服务器；所述示教控制手柄，用于产生机器人执行预设任务的示教动作；所述头戴式显示器，用于显示云端服务器依据远端设备发送的图像信息构建的机器人及其作业现场的三维空间场景图像；所述远端设备包括第二图像采集模块和机器人；所述第二图像采集模块，用于采集所述机器人及其作业现场的图像信息，并将所采集的图像信息发送至云端服务器；所述机器人，用于依据云端服务器下发的...

【技术特征摘要】
1.一种基于虚拟现实的机器人远程示教系统，其特征在于，包括云端服务器、近端设备和远端设备；所述近端设备包括第一图像采集模块、示教控制手柄和头戴式显示器；所述第一图像采集模块，用于采集所述示教控制手柄和头戴式显示器的图像信息，并将所采集的图像信息发送至云端服务器；所述示教控制手柄，用于产生机器人执行预设任务的示教动作；所述头戴式显示器，用于显示云端服务器依据远端设备发送的图像信息构建的机器人及其作业现场的三维空间场景图像；所述远端设备包括第二图像采集模块和机器人；所述第二图像采集模块，用于采集所述机器人及其作业现场的图像信息，并将所采集的图像信息发送至云端服务器；所述机器人，用于依据云端服务器下发的所述近端设备中示教控制手柄的位姿数据执行预设任务。2.根据权利要求1所述的系统，其特征在于，所述云端服务器包括：位姿解算模块，配置为依据近端设备中第一图像采集模块所采集的图像信息，获取示教控制手柄的位姿数据和头戴式显示器的姿态角数据；数据处理模块，配置为对位姿解算模块所获取的位姿数据和姿态角数据进行滤波处理，并将滤波后的位姿数据发送至机器人；三维重建模块，配置为依据远端设备中第二图像采集模块所采集的图像信息，构建机器人及其作业现场的三维空间场景图像。3.根据权利要求1或2所述的系统，其特征在于，所述云端服务器还包括示教操作方式切换模块；所述示教操作方式切换模块，配置为依据预设任务的难易程度切换对机器人进行示教控制的示教操作方式；当预设任务为简单任务时采用普通示教操作方式对机器人进行示教控制，当预设任务为复杂任务时采用学习示教操作方式对机器人进行示教控制；其中：所述普通示教操作方式为控制所述示教控制手柄进行一次空间运动，并将所形成的示教轨迹作为机器人执行预设任务的运动轨迹；所述学习示教操作方式为控制所述示教控制手柄进行多次空间运动，依据所形成的多个示教轨迹并采用深度强化学习算法，确定执行预设任务的最优动作。4.根据权利要求3所述的系统，其特征在于，所述云端服务器还包括模拟仿真模块；所述模拟仿真模块，配置为执行学习示教操作，所述学习示教操作包含下述过程：设定深度强化学习算法的动作、状态和奖赏参数；构建深度卷积神经网络；采用模拟仿真模块对深度卷积神经网络进行学习训练，并在学习训练一定时间间隔后，通过所述模拟仿真模块对所述学习训练后的神经网络进行验证，获取执行示教任务的成功率，当所述成功率大于或等于阈值时结束学习训练过程；依据所采集的机器人作业现场的图像信息和所述学习训练后的深度卷积神经网络，确定执行预设任务的最优动作；其中：所述动作为控制机器人从当前空间位置移动到以该当前空间位置为中心的单位长度立方体空间的顶点或侧面中心...

【专利技术属性】
技术研发人员：王硕，刘乃军，鲁涛，蔡莹皓，席宝，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11