基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法技术方案

本发明专利技术公开了一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法，包括立体拍摄模块融合压缩模块通讯模块混合现实显示模块、辅助信息添加模块、图形渲染模块和混合现实眼镜模块。发明专利技术提供的一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，解决船舶离岸条件下远程故障诊断及维修保养问题。岸端和船端所见相同，在同一个场景下同步操作。故障设备实景和维修辅助信息在船和岸之间双向同步显示互动，实现岸上专家信息增强条件下的船舶故障诊断及维修保养。

Auxiliary system and method for remote fault diagnosis and maintenance of ship based on hybrid reality glasses

The invention discloses a remote fault diagnosis and maintenance of the ship auxiliary system and method based on mixed reality glasses, including stereoscopic camera module integration compression module, communication module and display module, mixed reality auxiliary information adding module, graphics rendering module and the module of mixed reality glasses. The invention provides a remote fault diagnosis and maintenance assistant system for ships based on mixed reality glasses, which solves the problem of remote fault diagnosis and maintenance of ships under Offshore conditions. Both the shore side and the ship end see the same and operate synchronously under the same scene. Real time and maintenance auxiliary information of the fault equipment are displayed synchronously and synchronously between the ship and the shore, and the fault diagnosis and maintenance of the ship under the condition of enhancing the expert information on the shore are realized.

【技术实现步骤摘要】
基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法
本专利技术涉及船舶故障诊断领域，尤其涉及一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统。
技术介绍
混合现实眼镜是采用混合现实技术，借助计算机图形绘制和三维显示技术在人眼中显示出真实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境。因此混合现实系统具有虚实结合、实时交互、三维可视化的新特点。目前在海上发生设备故障多采取通过电话联络的方式获取故障信息并指导船员进行维修，然而船员并非专业维修人员，这种指导方式存在信息描述不准确的弊端，会误导岸端对设备故障的判断以及船员进行不准确的维修操作指导。目前还没有一个切实有效的解决方案。因此如何利用混合现实眼镜把实时的场景和维修辅助信息结合，实现一种专家和船员在同一场景下信息同步显示的混合现实系统是我们追求的目的。
技术实现思路
根据现有技术存在的问题，本专利技术公开了一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，包括:立体拍摄模块,所述立体拍摄模块安装在船端操作人员头部位置获取故障设备到到摄像头的三维场景深度信息，根据三维场景深度信息调整三维摄像头的立体拍摄参数；融合压缩模块，接收所述立体拍摄模块传送的三维场景数据信息并将接收到的信息进行融合压缩处理，将其转换成用于传送的数据格式；通讯模块，所述通讯模块采用海事通讯卫星将融合压缩模块传送的数据信息传回到岸端；该系统还包括岸端的接收所述通讯模块传送的数据信息的混合现实显示模块，所述混合现实显示模块将接收到的立体场景信息进行实时显示，以人眼所在位置为视点，以立体拍摄模块测量的三维场景深度作为混合现实显示模块的立体场景显示深度，显示出故障船舶的三维立体场景，实现船岸三维立体场景的同步，并在此三维立体场景中进行故障船舶的故障判断；接收所述混合现实显示模块传送的数据信息的辅助信息添加模块，所述辅助信息添加模块在岸上显示的三维立体场景中使用三维交互工具对故障点进行标注，同时从配件模型库中调取配件模型，把船舶故障设备的维修装配方法展示出来；所述辅助信息添加模块将装配方法信息通过通信模块传送至故障船舶上；故障船舶的图形渲染模块接收所述辅助信息添加模块传送的数据信息、把专家维修操作信息和模型库配件信息进行三维图形渲染处理，根据混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，渲染成维修辅助增强信息；接收所述图形渲染模块传送的数据信息把船载终端渲染后的维修辅助增强信息传送给船员佩戴的混合现实眼镜模块，叠加显示在故障设备上，指导船员进行故障维修操作。所述混合现实显示模块包括人机交互装置，所述人机交互装置至少包括三维鼠标、数据手套、位置跟踪器和与船舶零部件设备配套设置的配件模型库；工作状态下：在混合现实显示模块的人机交互装置中调用配件模型库中的配件模型，模型库中的配件模型采用三维建模工具创建三维模型，通过数据手套移动配件模型进行装配展示，使用三维鼠标进行故障点标注，数据手套和位置跟踪器配合实时检测工作时的手形和手部各关节的弯曲角度,把手的位置和运动状态信息输入到混合现实显示模块、对配件模型进行抓取、旋转、移动操作。所述立体拍摄模块获取故障船舶到其自身的三维场景深度信息时依据人眼立体视觉特征、双摄像头间距设为人眼间距、双摄像头视角根据拍摄设备深度信息进行实时调整。所述融合压缩模块对接收到的信息进行处理时采用融合压缩算法：对图像进行特征提取识别处理，比较前后两帧图像、记录两帧信息有变化的部分，没变化的信息不进行传输，只传输变化部分，与上一帧没变化的信息合成新一帧图像。一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助方法,包括以下步骤:a、采集故障设备到到摄像头的三维场景深度信息，根据三维场景深度信息调整三维摄像头的立体拍摄参数；b、对步骤a中的立体拍摄信息进行融合压缩处理，变成海事通讯卫星传送的数据格式并将压缩处理的信息传送至岸上；c、把传回岸上的立体场景通过混合现实显示模块显示出来，以人眼所在位置为视点，以立体拍摄模块测量的三维场景深度作为混合现实显示模块的立体场景显示深度，显示出船上的三维立体场景，实现船岸三维立体场景同步；在岸上显示的三维立体场景中进行设备故障判断，并使用三维交互工具对故障点进行标注，同时从配件模型库中调取配件模型，把装配方法展示出来并将处理后的维修信息传送至故障设备端；d、将维修辅助操作信息和模型库配件信息进行三维处理，变成混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，形成维修辅助增强信息；e、船载终端把渲染后的维修辅助增强信息传送给船员佩戴的混合现实眼镜，叠加显示在故障设备上，进行故障维修操作的辅助指导。由于采用了上述技术方案，本专利技术提供的一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，解决船舶离岸条件下远程故障诊断及维修保养问题。岸端和船端所见相同，在同一个场景下同步操作。故障设备实景和维修辅助信息在船和岸之间双向同步显示互动，实现岸上专家信息增强条件下的船舶故障诊断及维修保养。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术系统的结构示意图；图2为本专利技术系统的工作流程图；图3为本专利技术系统的实施例的示意图；图4为本专利技术系统的混合现实信息生成示意图具体实施方式为使本专利技术的技术方案和优点更加清楚，下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚完整的描述：如图1所示的一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，包括立体拍摄模块、融合压缩模块、通讯模块、混合现实显示模块、辅助信息添加模块、图形渲染模块和混合现实眼镜模块。立体拍摄模块：对故障船舶进行三维拍摄，将其安装在船端操作人员头部位置获取船舶故障设备到其自身的三维场景深度信息，根据三维场景深度信息调整三维摄像头的立体拍摄参数；融合压缩模块，在融合压缩模块对立体拍摄信息进行融合压缩处理，变成海事通讯卫星可以传送的数据格式。通讯模块，所述通讯模块采用海事通讯卫星将融合压缩模块传送的数据信息传回到岸端；混合现实显示模块，把传回岸端的立体场景通过混合现实显示模块显示出来，以立体拍摄模块测量的三维场景深度作为混合现实显示模块的立体场景显示深度，显示出船上的三维立体场景，实现船岸三维立体场景同步，并三维立体场景进行故障船舶的故障判断。辅助信息添加模块，在岸上显示的三维立体场景中使用三维交互工具对故障点进行标注，同时从配件模型库中调取配件模型，把故障船舶的维修的装配方法展示出来；所述辅助信息添加模块将装配方法信息通过通信模块传送至故障船舶上；三维图形渲染处理，船载终端的三维图形渲染模块把维修操作信息，模型库配件信息进行三维渲染处理，变成混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，形成维修辅助增强信息。具体实现方法：首先在图形渲染模块中进行视点设置和视场角的设定(水平视场角45度,垂直视场角28度)，视本文档来自技高网...

【技术保护点】
一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，其特征在于包括:立体拍摄模块,所述立体拍摄模块安装在船端操作人员头部位置获取故障设备到摄像头的三维场景深度信息，根据三维场景深度信息调整三维摄像头的立体拍摄参数；融合压缩模块，接收所述立体拍摄模块传送的三维场景数据信息并将接收到的信息进行融合压缩处理，将其转换成用于传送的数据格式；通讯模块，所述通讯模块采用海事通讯卫星将融合压缩模块传送的数据信息传回到岸端；该系统还包括岸端的接收所述通讯模块传送的数据信息的混合现实显示模块，所述混合现实显示模块将接收到的立体场景信息进行实时显示，以人眼所在位置为视点，以立体拍摄模块测量的三维场景深度作为混合现实显示模块的立体场景显示深度，显示出故障船舶的三维立体场景，实现船岸三维立体场景的同步，并在此三维立体场景中进行故障船舶的故障判断；接收所述混合现实显示模块传送的数据信息的辅助信息添加模块，所述辅助信息添加模块在岸上显示的三维立体场景中使用三维交互工具对故障点进行标注，同时从配件模型库中调取配件模型，把船舶故障设备的维修装配方法展示出来；所述辅助信息添加模块将装配方法信息通过通信模块传送至故障船舶上；故障船舶的图形渲染模块接收所述辅助信息添加模块传送的数据信息、把专家维修操作信息和模型库配件信息进行三维图形渲染处理，根据混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，渲染成维修辅助增强信息；接收所述图形渲染模块传送的数据信息把船载终端渲染后的维修辅助增强信息传送给船员佩戴的混合现实眼镜模块，叠加显示在故障设备上，指导船员进行故障维修操作。...

【技术特征摘要】
1.一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，其特征在于包括:立体拍摄模块,所述立体拍摄模块安装在船端操作人员头部位置获取故障设备到摄像头的三维场景深度信息，根据三维场景深度信息调整三维摄像头的立体拍摄参数；融合压缩模块，接收所述立体拍摄模块传送的三维场景数据信息并将接收到的信息进行融合压缩处理，将其转换成用于传送的数据格式；通讯模块，所述通讯模块采用海事通讯卫星将融合压缩模块传送的数据信息传回到岸端；该系统还包括岸端的接收所述通讯模块传送的数据信息的混合现实显示模块，所述混合现实显示模块将接收到的立体场景信息进行实时显示，以人眼所在位置为视点，以立体拍摄模块测量的三维场景深度作为混合现实显示模块的立体场景显示深度，显示出故障船舶的三维立体场景，实现船岸三维立体场景的同步，并在此三维立体场景中进行故障船舶的故障判断；接收所述混合现实显示模块传送的数据信息的辅助信息添加模块，所述辅助信息添加模块在岸上显示的三维立体场景中使用三维交互工具对故障点进行标注，同时从配件模型库中调取配件模型，把船舶故障设备的维修装配方法展示出来；所述辅助信息添加模块将装配方法信息通过通信模块传送至故障船舶上；故障船舶的图形渲染模块接收所述辅助信息添加模块传送的数据信息、把专家维修操作信息和模型库配件信息进行三维图形渲染处理，根据混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，渲染成维修辅助增强信息；接收所述图形渲染模块传送的数据信息把船载终端渲染后的维修辅助增强信息传送给船员佩戴的混合现实眼镜模块，叠加显示在故障设备上，指导船员进行故障维修操作。2.根据权利要求1所述的基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，其特征还在于：所述混合现实显示模块包括人机交互装置，所述人机交互装置至少包括三维鼠标、数据手套、位置跟踪器和与船舶零部件设备配套设置的配件模型库；工作状态下：在混合现实显示模块的人机交互装置中调用配件模型库中的配件模型，模型库中的配件模型采用三维...

【专利技术属性】
技术研发人员：杨晓，杨家轩，余枫，李广儒，高帅，翟小明，陈海力，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：辽宁,21