一种虚拟现实远程同步控制机器人的方法技术

本发明专利技术提供了一种虚拟现实远程同步控制机器人的方法，将机器人所处真实环境的视频数据、深度数据在Unity3D平台中重建出深度场景，对深度场景和虚拟物体进行混合现实后，还原机器人所处真实场景的三维信息，并呈现在VR眼镜中，操作者通过控制虚拟机器人运动，远程同步控制机器人；本发明专利技术还可通过VR眼镜的姿态，控制舵机转动对应的角度，使得机器人的视角跟随操作者头部转动，使得机器人在另一个可视范围内的远程同步控制；且通过对重建的虚拟物体表面和虚拟机器人各表面进行实时碰撞检测，在机器人发生真正碰撞之前进行预警，减少对机器人的损伤。本发明专利技术可以真正还原出场景的三维信息，从而实现机器人虚拟现实远程同步控制。

【技术实现步骤摘要】
一种虚拟现实远程同步控制机器人的方法
本专利技术涉及机器人领域，具体涉及一种虚拟现实远程同步控制机器人的方法。
技术介绍
为了使得机器人能够在复杂的环境下执行多样的复杂的任务，现有技术利用人形机器人模仿或者跟随远端操作者的动作。为了方便操作者知道机器人所处的任务环境，需要远程操作者高临场感地、实时地同步人形机器人的视角。虚拟现实技术是实现高临场感的最佳方案之一。现有技术中，利用虚拟现实使得操作者可以远程获得机器人处的视觉，并具有较强的临场感。但是这些所谓的“虚拟现实”只是简单地将机器处两个摄像头获得的视频信息分别传给VR眼镜的左右眼，本质上就跟戴3D眼镜看3D电影一样，并没有获取三维信息(第三维是“深度”)，很难进行再利用。真正的虚拟现实，是已知物体/场景的三维信息，然后让软件渲染出人的左右眼视角分别看到这个物体/场景。然而这些使用在机器人上的“虚拟现实”，仅仅获得了左右眼视角分别看到的物体/场景，却没能还原出物体/场景的三维信息，进行进一步利用。
技术实现思路
针对现有技术中存在不足，本专利技术提供了一种虚拟现实远程同步控制机器人的方法，用于还原机器人所处真实场景的三维信息，实现虚拟现实远程同步控制机器人。本专利技术是通过以下技术手段实现上述技术目的的。一种虚拟现实远程同步控制机器人的方法，装有Unity3D平台的电脑导入机器人所处真实环境的视频数据和深度数据，将所述视频数据、深度数据在Unity3D平台中重建出深度场景，对深度场景和虚拟物体进行混合现实后，呈现在VR眼镜中；操作者根据混合现实里呈现的机器人所处真实环境，控制虚拟机器人运动，使得真实机器人进行相应的运动；所述混合现实的过程为：对于具有同样深度值的视频图像区域，如果没有比它深度更小的虚拟物体，则直接将这片区域投射到VR眼镜的对应区域，否则将虚拟物体渲染后，再投射到VR眼镜的对应区域。进一步，在Unity3D平台中将虚拟机器人各表面进行放大，对重建的虚拟物体表面和虚拟机器人各表面进行实时碰撞检测，在真实机器人与所处真实环境发生真正碰撞之前进行预警。更进一步，所述重建的虚拟物体是：利用所述深度数据对真实物体表面在立体相机里投影产生的二维图像进行三维重建得到的。进一步，所述Unity3D平台采集VR眼镜的姿态，控制舵机转动对应的角度，使得机器人的视角跟随操作者头部转动，实现机器人在另一个可视范围内的虚拟现实远程同步控制。更进一步，所述VR眼镜的姿态可用XYZ欧拉角表示为Unity3D平台将VR眼镜的姿态传输给工控机，工控机控制舵机的转动轴转动对应的角度。进一步，所述渲染具体为：把各个虚拟物体根据虚拟摄像头的不同位置和角度，投影成二维图像显示在VR眼镜里。进一步，所述深度场景是结合所述视频数据还原得到的，所述视频数据每一帧均为一幅二维图像，二维图像每一个区域存在对应的深度值。更进一步，所述深度值为：二维图像每一个区域在立体相机主光轴上的投影与立体相机中心之间的距离。本专利技术的有益效果为：本专利技术将立体相机采集的机器人所处真实环境的视频数据、深度数据在Unity3D平台中重建出深度场景，对深度场景和虚拟物体进行混合现实后，还原机器人所处真实场景的三维信息，并呈现在VR眼镜中，操作者根据混合现实里呈现出机器人所处真实环境，控制虚拟机器人运动，使得真实机器人进行相应的运动，实现虚拟现实远程同步控制机器人；Unity3D平台采集VR眼镜的姿态，控制舵机转动对应的角度，使得机器人的视角跟随操作者头部转动，使得机器人在另一个可视范围内的虚拟现实远程同步控制；另外，在Unity3D平台中将虚拟机器人各表面进行放大，对重建的虚拟物体表面和虚拟机器人各表面进行实时碰撞检测，还可以在机器人发生真正碰撞之前进行预警，减少对机器人的损伤。附图说明图1为本专利技术所述虚拟现实远程同步控制机器人的方法流程图；图2为本专利技术立体相机安装示意图；图3为本专利技术二维图像每一个区域对应的深度值示意图；图4为本专利技术实施例中的场景示意图；图5为本专利技术重建后的深度场景示意图；图6为本专利技术所述虚拟场景示意图；图7为本专利技术混合现实示意图，图7(a)为混合现实前示意图，图7(b)为混合现实前示意图；图8为本专利技术远程同步控制机器人效果示意图。具体实施方式下面结合附图以及具体实施例对本专利技术作进一步的说明，但本专利技术的保护范围并不限于此。如图1所示，本专利技术一种虚拟现实远程同步控制机器人的方法，具体包括以下步骤：步骤一，立体相机安装在两个舵机构成的机器人颈部云台上(如图2)，并通过数据线连接至开发板上，将采集的机器人所处真实环境的视频数据、深度数据和位置信息(立体相机内置IMU)通过以太网线或者无线网传输到操作者端的电脑。步骤二，操作者端的电脑装有Unity3D平台，且电脑与VR眼镜连接，电脑导入立体相机传输来的各种信息，进行如下操作：(1)首先将机器人所处真实环境的视频数据、深度数据在Unity3D平台中重建出深度场景，然后将深度场景和虚拟物体进行混合现实，再通过Unity3D平台渲染，最后呈现在VR眼镜里。机器人所处真实环境的视频数据，每一帧均为一幅二维图像，二维图像每一个区域都有对应的深度值，该深度值为：二维图像每一个区域在立体相机主光轴上的投影与立体相机中心之间的距离(图3)，结合深度值可以还原立体场景；参见图4、5：在图4的场景下，有一箭头状物体，不管是普通相机还是立体相机，视频图像里呈现的都是一条线段，但是立体相机还能额外获得图像每一个区域对应的深度值，假设深度信息的分辨率比较小，只能将相机呈现的线段图像均分为七个区域，那么Unity3D平台可以结合视频图像和深度信息重建出如图5所示的深度场景。假设虚拟摄像头在虚拟场景中的位置、朝向和安装在机器人颈部云台上的立体相机在真实环境里的位置、朝向是一样的，Unity3D平台将重建的深度场景和虚拟物体进行混合现实：对于立体相机的视频图像中，具有同样深度值的区域，如果没有比它深度更小的虚拟物体(也即距离立体相机中心更近的虚拟物体)，则直接将这片视频数据区域投射到VR眼镜里的对应区域，否则将虚拟物体渲染后投射到VR眼镜里的对应区域。一般的虚拟场景中包含若干虚拟物体和一个虚拟摄像头(对应着现实中使用者佩戴的VR眼镜)。所述渲染具体为：把各个虚拟物体根据虚拟摄像头的不同位置和角度，投影成二维图像显示在VR眼镜里，这是Unity3D平台自带的功能。如图6所示，假设虚拟场景中有且仅有一个虚拟圆柱物体，并设有三个位于不同位置虚拟摄像头(相机1、相机2和相机3)，其中相机1与相机2、相机3的朝向均不同，相机2和相机3的朝向相同；则相机1对应的VR眼镜将显示出一个较大的圆形给使用者，相机2对应的VR眼镜将显示出一个较小的长方形，相机3对应的VR眼镜则什么也不会显示。如图7(a)所示，立体相机拍摄到的实际物体为一个三角尖，虚拟摄像头拍摄到的虚拟物体则是本文档来自技高网...

【技术保护点】
1.一种虚拟现实远程同步控制机器人的方法，其特征在于，装有Unity3D平台的电脑导入机器人所处真实环境的视频数据和深度数据，将所述视频数据、深度数据在Unity3D平台中重建出深度场景，对深度场景和虚拟物体进行混合现实后，呈现在VR眼镜中；操作者根据混合现实里呈现的机器人所处真实环境，控制虚拟机器人运动，使得真实机器人进行相应的运动；所述混合现实的过程为：对于具有同样深度值的视频图像区域，如果没有比它深度更小的虚拟物体，则直接将这片区域投射到VR眼镜的对应区域，否则将虚拟物体渲染后，再投射到VR眼镜的对应区域。/n

【技术特征摘要】
1.一种虚拟现实远程同步控制机器人的方法，其特征在于，装有Unity3D平台的电脑导入机器人所处真实环境的视频数据和深度数据，将所述视频数据、深度数据在Unity3D平台中重建出深度场景，对深度场景和虚拟物体进行混合现实后，呈现在VR眼镜中；操作者根据混合现实里呈现的机器人所处真实环境，控制虚拟机器人运动，使得真实机器人进行相应的运动；所述混合现实的过程为：对于具有同样深度值的视频图像区域，如果没有比它深度更小的虚拟物体，则直接将这片区域投射到VR眼镜的对应区域，否则将虚拟物体渲染后，再投射到VR眼镜的对应区域。


2.根据权利要求1所述的虚拟现实远程同步控制机器人的方法，其特征在于，在Unity3D平台中将虚拟机器人各表面进行放大，对重建的虚拟物体表面和虚拟机器人各表面进行实时碰撞检测，在真实机器人与所处真实环境发生真正碰撞之前进行预警。


3.根据权利要求2所述的虚拟现实远程同步控制机器人的方法，其特征在于，所述重建的虚拟物体是：利用所述深度数据对真实物体表面在立体相机里投影产生的二维图像进行三维重建得到的。


4.根据权利要求1所...

【专利技术属性】
技术研发人员：陈学超，王晨征，黄强，余张国，董岳，黄高，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11