一种基于混合现实技术的远程指导方法及系统技术方案

本发明专利技术公开了一种基于混合现实技术的远程指导方法，包括以下步骤：创建远程专家虚拟形象导入到现场技术人员所佩戴的第一混合现实设备；创建虚拟环境模型和现场技术人员虚拟形象导入到远程专家所佩戴的第二混合现实设备；将虚拟环境模型和真实环境进行空间位置对齐，基于远程专家与虚拟环境模型的交互来相应地控制远程专家虚拟形象与真实环境的交互，并且基于现场技术人员与真实环境的交互来相应地控制现场技术人员虚拟形象与虚拟环境模型的交互。此外，本发明专利技术还公开了一种基于混合现实技术的远程指导系统。通过本发明专利技术的方法和系统使得现场技术人员和远程专家可以更直接、真实、自然地进行交流指导，有效提升了沟通效率。有效提升了沟通效率。有效提升了沟通效率。

【技术实现步骤摘要】
一种基于混合现实技术的远程指导方法及系统


[0001]本专利技术涉及混合现实
，尤其涉及一种基于混合现实技术的远程指导方法。

技术介绍

[0002]混合现实技术(MR，Mixed Reality)的应用越来越广泛，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感，并且，微软推出了一款独一无二的混合现实(MR)设备——HoloLens，其能够做到在空间中投影虚拟物体。
[0003]对于石油行业而言，综合录井仪是石油钻井现场数据采集与监控中心，其作业地点分布点多面广，现场技术人员需要与远程专家的互动连线进行指导交流工作，例如通过监控画面、音视频通讯等方式交流。但由于传统方式的局限性使得目前存在诸多问题，例如，监控画面无法覆盖现场所有关键作业信息，音视频通讯无法有效的传递相对空间位置和问题的空间位置等信息，现场技术人员与远程专家无法真实互动导致沟通效率低下等，传统的指导方法已经无法满足现有的需求，如何将混合现实技术有效应用于石油录井作业中，提升作业过程沟通效率，需要进一步探索。
[0004]因此，现有技术中存在对混合现实技术进行改进并应用于录井作业远程指导方法的需求。

技术实现思路

[0005]有鉴于此，本专利技术实施例的目的在于提出一种基于混合现实技术的远程指导方法、系统，以期提升沟通效率。
[0006]基于上述目的，本专利技术实施例的一方面提供了一种基于混合现实技术的录井作业远程指导方法，包括以下步骤：<br/>[0007]根据现场技术人员所处的真实环境的信息创建虚拟环境模型；
[0008]分别创建远程专家虚拟形象和现场技术人员虚拟形象；
[0009]将创建的远程专家虚拟形象导入到现场技术人员所佩戴的第一混合现实设备；
[0010]将创建的虚拟环境模型和现场技术人员虚拟形象导入到远程专家所佩戴的第二混合现实设备；
[0011]将所述虚拟环境模型和所述真实环境进行空间位置对齐，基于所述远程专家与所述虚拟环境模型的交互来相应地控制所述远程专家虚拟形象与所述真实环境的交互，并且基于所述现场技术人员与所述真实环境的交互来相应地控制所述现场技术人员虚拟形象与所述虚拟环境模型的交互。
[0012]在一些实施方式中，所述第一混合现实设备和所述第二混合现实设备为HoloLens眼镜。
[0013]在一些实施方式中，在所述真实环境与所述虚拟环境模型相对应的位置分别建立
第一定位点和第二定位点，基于所述第一定位点和所述第二定位点将所述虚拟环境模型和所述真实环境进行空间位置对齐。
[0014]在一些实施方式中，基于所述第一定位点和所述第二定位点将所述虚拟环境模型和真实环境进行空间位置对齐包括：
[0015]所述虚拟环境模型以所述第一定位点为坐标原点，所述真实环境以所述第二定位点为坐标原点，通过计算虚拟环境模型和真实环境的空间变换矩阵以进行空间位置对齐。
[0016]在一些实施方式中，所述第一定位点处设置有可被所述第一混合现实设备识别的第一标志物，所述第二定位点处设置有可被所述第二混合现实设备识别的第二标志物。
[0017]在一些实施方式中，所述第一标志物和所述第二标志物为二维码。
[0018]在一些实施方式中，响应于所述第一混合现实设备扫描第一标志物而将创建的远程专家虚拟形象导入到所述第一混合现实设备。
[0019]在一些实施方式中，响应于所述第二混合现实设备扫描第二标志物将创建的虚拟环境模型和现场技术人员虚拟形象导入到远程专家所佩戴的第二混合现实设备。
[0020]在一些实施方式中，所述真实环境中包括一个或多个真实设备，所述虚拟环境模型中包括相对应的一个或多个虚拟设备，所述真实设备与所述虚拟设备的数据实时同步。
[0021]在一些实施方式中，通过视频捕捉设备和推流服务器实时同步所述真实设备与所述虚拟设备的数据。
[0022]在一些实施方式中，所述虚拟设备的显示界面为与所述真实设备的显示界面等比显示、缩放显示以及旋转显示。
[0023]在一些实施方式中，所述远程专家与所述虚拟环境模型的交互包括所述远程专家的语音、触摸、面部表情或动作、手部姿势或动作、头部姿势或动作和肢体姿势或动作；所述现场技术人员与所述真实环境的交互包括所述现场技术人员的语音、触摸、面部表情或动作、手部姿势或动作、头部姿势或动作和肢体姿势或动作。
[0024]在一些实施方式中，所述远程专家与所述虚拟环境模型的交互还包括所述远程专家基于手势射线与所述虚拟环境模型中的虚拟设备的交互，所述手势射线所指向的位置基于坐标系变换实时同步至所述远程专家虚拟形象指向的真实设备处。
[0025]在一些实施方式中，响应于所述虚拟设备的显示界面为缩放显示和/或旋转显示，将缩放显示和/或旋转显示的显示界面分辨率反算至等比显示界面状态，再基于坐标系变换将所述远程专家通过手势射线所指向的所述虚拟设备的位置实时同步至所述远程专家虚拟形象指向的真实设备处。
[0026]本专利技术另一方面还提出了一种基于混合现实技术的远程指导系统，所述系统包括：
[0027]信息采集模块，所述信息采集模块配置用于采集现场技术人员所处的真实环境的信息；
[0028]模型构建模块，所述模型构建模块配置用于根据采集到的真实环境的信息创建虚拟环境模型，并且创建远程专家虚拟形象和现场技术人员虚拟形象；
[0029]现场技术人员佩戴的第一混合现实设备，所述第一混合现实设备配置用于呈现创建的远程专家虚拟形象；
[0030]远程专家佩戴的第二混合现实设备，所述第二混合现实设备配置用于呈现创建的
虚拟环境模型和现场技术人员虚拟形象；
[0031]控制装置，所述控制装置配置用于：将呈现在所述第二混合现实设备上的所述虚拟环境模型和所述现场技术人员所处的所述真实环境进行空间位置对齐，基于所述远程专家与所述虚拟环境的交互来相应地控制所述远程专家虚拟形象与所述真实环境的交互，并且基于所述现场技术人员与所述真实环境的交互来相应地控制所述现场技术人员虚拟形象与所述虚拟环境模型的交互。
[0032]在一些实施方式中，还包括视频捕捉设备和推流服务器，所述视频捕捉设备和所述推流服务器用于获取所述真实环境中的一个或多个真实设备的设备数据并且将所述设备数据实时同步到所述虚拟环境模型中相对应的一个或多个虚拟设备中。
[0033]在一些实施方式中，所述第一混合现实设备和所述第二混合现实设备为HoloLens眼镜。
[0034]在一些实施方式中，所述第一混合现实设备配置用于感测所述现场技术人员与所述真实环境的交互，所述第二混合现实设备配置用于感测所述远程专家与所述虚拟环境模型的交互。
[0035]在一些实施方式中，所述远程专家与所述虚拟环境模型的交互包括所述远程专家的语音、触摸、面部表情或动作、手部姿势或动作、头部姿势或动作和肢体姿势或动作；所述现场技术人员与所述真实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合现实技术的远程指导方法，其特征在于，包括以下步骤：根据现场技术人员所处的真实环境的信息创建虚拟环境模型；分别创建远程专家虚拟形象和现场技术人员虚拟形象；将创建的远程专家虚拟形象导入到现场技术人员所佩戴的第一混合现实设备；将创建的虚拟环境模型和现场技术人员虚拟形象导入到远程专家所佩戴的第二混合现实设备；将呈现在所述第二混合现实设备上的所述虚拟环境模型和所述现场技术人员所处的所述真实环境进行空间位置对齐，基于所述远程专家与所述虚拟环境模型的交互来相应地控制所述远程专家虚拟形象与所述真实环境的交互，并且基于所述现场技术人员与所述真实环境的交互来相应地控制所述现场技术人员虚拟形象与所述虚拟环境模型的交互。2.根据权利要求1所述的基于混合现实技术的远程指导方法，其特征在于，所述第一混合现实设备和所述第二混合现实设备为HoloLens眼镜。3.根据权利要求1所述的基于混合现实技术的远程指导方法，其特征在于，在所述真实环境与所述虚拟环境模型相对应的位置分别建立第一定位点和第二定位点，基于所述第一定位点和所述第二定位点将呈现在所述第二混合现实设备上的所述虚拟环境模型和所述现场技术人员所处的所述真实环境进行空间位置对齐。4.根据权利要求3所述的基于混合现实技术的远程指导方法，其特征在于，基于所述第一定位点和所述第二定位点将所述现场技术人员所处的所述虚拟环境模型和所述现场技术人员所处的所述真实环境进行空间位置对齐包括：所述虚拟环境模型以所述第一定位点为坐标原点，所述真实环境以所述第二定位点为坐标原点，通过计算所述虚拟环境模型和所述真实环境的空间变换矩阵以进行空间位置对齐。5.根据权利要求3所述的基于混合现实技术的远程指导方法，其特征在于，所述第一定位点处设置有可被所述第一混合现实设备识别的第一标志物，所述第二定位点处设置有可被所述第二混合现实设备识别的第二标志物。6.根据权利要求5所述的基于混合现实技术的远程指导方法，其特征在于，所述第一标志物和所述第二标志物为二维码。7.根据权利要求1所述的基于混合现实技术的远程指导方法，其特征在于，响应于所述第一混合现实设备扫描第一标志物而将创建的远程专家虚拟形象导入到所述第一混合现实设备。8.根据权利要求1所述的基于混合现实技术的远程指导方法，其特征在于，响应于所述第二混合现实设备扫描第二标志物而将创建的虚拟环境模型和现场技术人员虚拟形象导入到远程专家所佩戴的第二混合现实设备。9.根据权利要求1所述的基于混合现实技术的远程指导方法，其特征在于，所述真实环境中包括一个或多个真实设备，所述虚拟环境模型中包括相对应的一个或多个虚拟设备，相对应的所述真实设备与所述虚拟设备的数据实时同步。10.根据权利要求9所述的基于混合现实技术的远程指导方法，其特征在于，通过视频捕捉设备和推流服务器实时同步相对应的所述真实设备与所述虚拟设备的数据。11.根据权利要求9所述的基于混合现实技术的远程指导方法，其特征在于，所述虚拟
设备的显示界面为与所述真实设备的显示界面等比显示、缩放显示以及旋转显示。12.根据权利要求1所述的基于混合现实技术的远程指导方法，其特征在于，所述远程专家与所述虚拟环境模型的交互包括所述远程专家的语音、触摸、面部表情或动作、手部姿势或动作、头部姿势或动作和肢体姿势或动作；所述现场技术人员与所述真实环境的交互包括所述现场技术人员的语音、触摸、面部表情或动作...

【专利技术属性】
技术研发人员：陈悍，关生，温友建，邢路添，戴广阔，徐皓，刘斌，
申请(专利权)人：中国石油集团渤海钻探工程有限公司，
类型：发明
国别省市：