一种基于虚拟现实的人机交互方法技术

本发明专利技术公开一种基于虚拟现实的人机交互方法，步骤包括：1）在被控机器人端，实时采集被控机器人的运动信息、实景环境数据，分别对被控机器人的位姿进行估计以及构建对应的三维环境地图，实时获取位姿估计结果以及三维环境地图实时更新所得到的增量数据进行发送；2）在控制端，通过虚拟现实系统实时接收位姿估计结果、增量数据，分别对虚拟现实系统中机器人模型的位姿状态、三维环境地图进行更新，并根据更新后的位姿状态以及三维环境地图生成控制指令后发送给被控机器人，以控制被控机器人执行所需动作。本发明专利技术能够基于虚拟现实系统实现人机交互，且具有实现方法简单、所需通信带宽小、人机交互效率高以及效果好且应用灵活等优点。

A human-computer interaction method based on virtual reality

The invention discloses a method of human-computer interaction based on virtual reality, including the following steps: 1) in controlled robot end, real-time acquisition of controlled robot motion information and real data, we estimate and construct the corresponding 3D environment map to pose the robots, incremental data real-time pose estimation results and 3D environment the map obtained by sending real-time updates; 2) in the control side, the virtual reality system receives real-time pose estimation results, incremental data, respectively, of the robot in the virtual reality system model pose, 3D environment map is updated according to the pose of the updated map generation and 3D environment control instruction send robots, to control the controlled robot to perform the required action. The invention can realize human-computer interaction based on the virtual reality system, and has the advantages of simple realization method, small communication bandwidth, high efficiency of human-computer interaction, good effect, flexible application, etc..

【技术实现步骤摘要】
一种基于虚拟现实的人机交互方法
本专利技术涉及人机交互
，尤其涉及一种基于虚拟现实（VirtualReality，VR）的人机交互方法。
技术介绍
人机交互技术即为通过人与机器人之间的信息交互，实现人控制机器人执行各种动作。在如救援、高危作业等各领域中需要应用机器人执行相应任务，通过人机交互技术，由操作人员在远端遥控机器人，获取机器人的实时动作、周围环境信息后，再控制机器人调整相应执行动作，无需操作人员现场进行操作，执行效率以及安全性能高。为实现人机交互，目前通常是直接通过网络数据传输机器人的运动信息、实景环境视频数据等，再直接利用液晶显示屏等显示设备将视频数据进行显示，以使得操作人员能够获取到机器人运动、环境信息。但是直接利用显示设备显示机器人环境信息，操作人员在第三视角下的临场感不强，且通常机器人所处环境网络带宽有限，直接通过网络获取环境信息给显示设备显示时，所需的带宽大，使得传回的视频流经常会存在延时和丢包现象，不仅增加操作人员的操作难度，还容易使操作人员疲劳。虽然通过肌电、脑电、语音等新兴的交互设备也可以实现有效的人机交互，完成在特定任务下的机器人动作级、行为级、任务级本文档来自技高网...

【技术保护点】
一种基于虚拟现实的人机交互方法，其特征在于，步骤包括：1）在被控机器人端，实时采集被控机器人的运动信息、所处环境的实景环境数据，根据采集的所述运动信息对被控机器人的位姿进行估计以及根据采集的所述实景环境数据构建对应的三维环境地图，实时获取所述位姿估计结果以及所述三维环境地图实时更新得到的增量数据进行发送；2）在控制端，通过虚拟现实系统显示所述三维环境地图以及由建立的机器人模型显示被控机器人的位姿状态，并实时接收所述位姿估计结果、所述增量数据，根据接收到的所述位姿估计结果、所述增量数据分别对机器人模型的位姿状态、所述三维环境地图进行更新；根据更新后的位姿状态以及三维环境地图生成控制指令发送给被控...

【技术特征摘要】
1.一种基于虚拟现实的人机交互方法，其特征在于，步骤包括：1）在被控机器人端，实时采集被控机器人的运动信息、所处环境的实景环境数据，根据采集的所述运动信息对被控机器人的位姿进行估计以及根据采集的所述实景环境数据构建对应的三维环境地图，实时获取所述位姿估计结果以及所述三维环境地图实时更新得到的增量数据进行发送；2）在控制端，通过虚拟现实系统显示所述三维环境地图以及由建立的机器人模型显示被控机器人的位姿状态，并实时接收所述位姿估计结果、所述增量数据，根据接收到的所述位姿估计结果、所述增量数据分别对机器人模型的位姿状态、所述三维环境地图进行更新；根据更新后的位姿状态以及三维环境地图生成控制指令发送给被控机器人，以控制被控机器人执行所需动作。2.根据权利要求1所述的基于虚拟现实的人机交互方法，其特征在于，所述步骤1）中，具体通过每隔指定周期数时，将当前周期三维环境地图与指定周期数前三维环境地图进行比较，去除当前周期三维环境地图中，与指定周期数前三维环境地图相似度在指定范围内的数据，得到所述增量数据。3.根据权利要求1或2所述的基于虚拟现实的人机交互方法，其特征在于，所述步骤1）中具体采用一个线程对被控机器人的位姿进行估计，并实时获取所述位姿估计结果进行发送，由另一个线程构建三维环境地图，并实时获取所述三维环境地图实时更新得到的增量数据进行发送。4.根据权利要求3所述的基于虚拟现实的人机交互方法，其特征在于：所述实现对被控机器人的位姿进行估计，并实时获取所述位姿估计结果进行发送，以及所述构建三维...

【专利技术属性】
技术研发人员：王盼，卢惠民，张辉，肖军浩，陈谢沅澧，邱启航，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南,43