一种基于混合现实的远程操作引导系统及方法技术方案

本发明专利技术公开了一种基于混合现实的远程操作引导系统及方法，它包括有AR客户端，VR客户端和中心服务器端，所述AR客户端通过网络将采集到的现场视频传输到VR客户端，用于将视频流渲染到一张三维空间内可交互的虚拟平面上，所述VR客户端通过网络将专家在虚拟平面上注释的内容传输到中心服务器端，用于虚拟注释与现场三维重建模型的融合，所述中心服务器端通过网络将融合数据传输到AR客户端，用于实现与物理空间的融合显示。本发明专利技术能够消除远程操作引导中的信息盲点，克服远程操作引导中因交互方式单一和交互维度低造成的无法精确直观地表达复杂操作引导意图的问题。

【技术实现步骤摘要】
一种基于混合现实的远程操作引导系统及方法
本专利技术涉及一种机械装配或维修远程操作引导方法，具体为一种基于混合现实的远程操作引导系统及方法。
技术介绍
随着先进制造业的发展，机械结构变得越来越精密复杂，使得机械装配维修过程频繁需要得到工艺设计人员和结构设计人员等不同部门专家的技术支持，但是由于装配维修现场与专家办公室的物理空间隔离，现场技术工人每次遇到问题需要获得专家支持时，只能通过电话沟通，甚至需要专家亲自到达现场示范指导。但是电话沟通只能通过语音传达信息，不利于解决涉及复杂操作的装配维修问题，而本地专家频繁亲临现场的时间成本高，异地或跨国专家亲临现场的经济成本极高。因此，如何能让现场技术工人在远程专家的操作引导帮助下高效完成复杂装配维修操作成了先进制造业现阶段的一个亟待解决的问题。近年来迅速发展的基于混合现实（MixedReality，以下简称MR）的远程协同技术为该问题的有效解决带来新思路。基于MR的远程协同技术包含将虚拟三维信息无缝融合于现实空间中的增强现实（AugmentedReality，以下简称AR）技术和利用计算机技术产生逼真三维虚拟空间的虚拟现实（VirtualReality，以下简称VR）技术，此外，基于MR的远程协同技术允许协同作业的各方通过语音、视频、手势和三维模型等方式与协同系统进行交互。中国专利公开号CN104991772A中公开了一种远程操作引导方法，所述远程操作引导方法被引导终端根据引导终端进行演示操作的操作记录进行操作引导。当操作引导端接收到用户发送的引导请求指令时，发送提前录制好的操作记录给用户，通过高亮显示当前操作步骤，逐步引导用户完成操作记录中的全部操作步骤，从而使得引导者和被引导者无须同时在线。上述现有方法只适用于操作过程简单固定的场景，而无法解决操作过程专业性强以及操作步骤繁多的复杂产品装配维修问题。中国专利公开号CN105759960A中公开了一种结合3D摄像头的增强现实远程指导方法。所述结合3D摄像头的增强现实远程指导方法通过3D摄像头采集指导人员肢体动作信息，生成肢体三维模型和三维动作信息。上述现有方法为现场操作人员提供肢体操作引导以及还支持肢体三维模型与注册到视频流中的目标三维模型进行互动从而进行操作引导，但是利用肢体动作无法直观表达精确信息，比如：移动距离，更无法表达型腔类和箱体类等零部件复杂内部结构关系。此外，在远程操作引导中，远程专家不断通过肢体动作进行操作引导会极易产生疲劳感。
技术实现思路
本专利技术的目的就是针对上述现有技术的不足，提供一种基于混合现实的远程操作引导系统及方法，该专利技术消除远程操作引导中的信息盲点，克服远程操作引导中因交互方式单一和交互维度低造成的无法精确直观地表达复杂操作引导意图的问题。本专利技术采用的技术方案如下：一种基于混合现实的远程操作引导系统，它包括有AR客户端，VR客户端和中心服务器端，所述AR客户端通过网络将采集到的现场视频传输到VR客户端，用于将视频流渲染到一张三维空间内可交互的虚拟平面上，所述VR客户端通过网络将专家在虚拟平面上注释的内容传输到中心服务器端，用于虚拟注释与现场三维重建模型的融合，所述中心服务器端通过网络将融合数据传输到AR客户端，用于实现与物理空间的融合显示。所述AR客户端包括显示系统、交互系统和深度传感系统，所述显示系统通过网络与交互系统相连，所述显示系统用于将远程专家提供的引导信息与操作环境进行无缝融合并直观呈现给本地操作者，所述交互系统用于为本地操作者提供语音、眼动和手势交互方式，所述深度传感系统通过网络与中心服务器端相连，用于采集现场点云数据。所述VR客户端包括交互系统，所述交互系统用于支持手势和眼动交互。所述中心服务器端包括存储模型和动画数据库，所述存储模型和动画数据库通过网络与中心服务器端相连，用于对操作现场的三维实时重建，并将VR客户端专家注释的信息与三维重建的信息进行位置对准。本专利技术还提供一种基于混合现实的远程操作引导方法，步骤如下：步骤1：任务开始前，AR客户端本地操作者和VR客户端远程专家需要进入混合现实的远程协同系统，接着，本地操作者开启AR客户端，AR客户端自动开启HMD摄像头实时捕捉工作场景画面，同时系统自动开启HoloLens获取本地操作者注视点并实时渲染在本地操作者视野中，然后利用HoloLens自带摄像头进行现场视频采集以及利用深度传感器进行现场点云数据和手势信息采集；步骤2：远程专家开启VR客户端，同时系统自动开启aGlass-DK2眼动追踪仪和LeapMotion，以及HTCVIVE头盔进行远程专家眼动信息和手势信息的采集，所述aGlass-DK2眼动追踪仪和LeapMotion安装在HTCVIVE头盔上；步骤3：开启中心服务器端，并进行网络连接，测试AR客户端、VR客户端和中心服务器端可以通过网络互相连接；步骤4：利用数字化标注进行操作引导；步骤5：利用眼动信息进行注意力引导；步骤6：利用手势进行操作引导；步骤7：利用3D模型和动画进行操作引导。步骤4的具体步骤为：（1）AR客户端通过Hololens自带摄像头采集现场视频，并通过网络经服务器发送视频到VR客户端；（2）AR客户端通过深度传感器进行现场点云数据采集，并通过网络发送到中心服务器端；（3）在VR客户端的虚拟场景中，生成引导信息（如标注、运动轨迹等），然后通过网络发送到中心服务器端，然后再从中服务器端通过网络发送到AR客户端；（4）AR客户端渲染并显示标注信息。步骤5的具体步骤为：（1）利用aGlass-DK2眼动追踪仪获取远程专家的眼球运动坐标，并通过网络发送到中心服务器端；（2）中心服务器端以虚拟相机为起点，分别过本地操作者和远程专家的注视点做射线与现场三维模型相交，取近虚拟相机点坐标，并通过网络发送到AR客户端；（3）根据接收到注视点坐标，在对应位置处渲染注视点；（4）AR客户端操作者调整注视点到与VR客户端远程专家注视点基本重合，完成注意力引导。步骤6的具体步骤为：（1）VR客户端利用LeapMotion采集远程专家手势；（2）通过网络发送手势信息到AR客户端，本地操作者根据约定的手势含义进行操作。步骤7的具体步骤为：（1）远程专家发出调用某3D模型和动画指令到中心服务器端；（2）中心服务器端从数据库中加载对应模型动画，并通过网络将其分别发送到AR客户端和VR客户端；（3）远程专家发出模型或动画控制指令；（4）AR客户端和VR客户端响应模型或动画指令。本专利技术的有益效果有：（1）本专利技术支持用户利用数字化标注、眼动以及手势等多种自然直观的交互方式进行操作引导信息交流，不仅可以远程引导复杂操作，还可以同时提升远程专家和现场操作者的用户体验，从而有效降低远程操作引导中的信息交流障碍；（2）本专利技术结合3D模型和动画，远程专家可以精准表达复杂操作流程，避免过度的肢体运动，从而提高工作效率，缓解疲劳；（3）与已有的结合3D摄像头的增强现实远程指导方法相本文档来自技高网...

【技术保护点】
1.一种基于混合现实的远程操作引导系统，其特征是它包括有AR客户端，VR客户端和中心服务器端，所述AR客户端通过网络将采集到的现场视频传输到VR客户端，用于将视频流渲染到一张三维空间内可交互的虚拟平面上，所述VR客户端通过网络将专家在虚拟平面上注释的内容传输到中心服务器端，用于虚拟注释与现场三维重建模型的融合，所述中心服务器端通过网络将融合数据传输到AR客户端，用于实现与物理空间的融合显示。/n

【技术特征摘要】
20191029 CN 20191104009441.一种基于混合现实的远程操作引导系统，其特征是它包括有AR客户端，VR客户端和中心服务器端，所述AR客户端通过网络将采集到的现场视频传输到VR客户端，用于将视频流渲染到一张三维空间内可交互的虚拟平面上，所述VR客户端通过网络将专家在虚拟平面上注释的内容传输到中心服务器端，用于虚拟注释与现场三维重建模型的融合，所述中心服务器端通过网络将融合数据传输到AR客户端，用于实现与物理空间的融合显示。


2.根据权利要求1所述的基于混合现实的远程操作引导系统，其特征是所述AR客户端包括显示系统、交互系统和深度传感系统，所述显示系统通过网络与交互系统相连，所述显示系统用于将远程专家提供的引导信息与操作环境进行无缝融合并直观呈现给本地操作者，所述交互系统用于为本地操作者提供语音、眼动和手势交互方式，所述深度传感系统通过网络与中心服务器端相连，用于采集现场点云数据。


3.根据权利要求1所述的基于混合现实的远程操作引导系统，其特征是所述VR客户端包括交互系统，所述交互系统用于支持手势和眼动交互。


4.根据权利要求1所述的基于混合现实的远程操作引导系统，其特征是所述中心服务器端包括存储模型和动画数据库，所述存储模型和动画数据库通过网络与中心服务器端相连，用于对操作现场的三维实时重建，并将VR客户端专家注释的信息与三维重建的信息进行位置对准。


5.一种基于混合现实的远程操作引导方法，其特征是，步骤如下：
步骤1：任务开始前，AR客户端本地操作者和VR客户端远程专家需要进入混合现实的远程协同系统，接着，本地操作者开启AR客户端，AR客户端自动开启HMD摄像头实时捕捉工作场景画面，同时系统自动开启HoloLens获取本地操作者注视点并实时渲染在本地操作者视野中，然后利用HoloLens自带摄像头进行现场视频采集以及利用深度传感器进行现场点云数据和手势信息采集；
步骤2：远程专家开启VR客户端，同时系统自动开启aGlass-DK2眼动追踪仪和LeapMotion，以及HTCVIVE头...

【专利技术属性】
技术研发人员：王鹏，白晓亮，邵立，常壮，
申请(专利权)人：南京翱翔信息物理融合创新研究院有限公司，
类型：发明
国别省市：江苏;32