基于MR设备的弱可视加注作业指导及维修上报系统及方法技术方案

本发明专利技术属于发射场火箭燃料加注弱可视条件下的作业指导和维修上报领域，涉及基于MR设备的弱可视加注作业指导及维修上报系统及方法。通过使用MR设备预采样加注场景并标注模型特征位置获取设备坐标，使用sift特征检测算法检测图像中的特征点，将特征点及描述子记录在文件中，MR设备运行时通过可见模型部分推导被遮挡设备的位置，通过采集现场的场景图像，采用图像去雾算法对实时图像做增强处理得到实时增强图像。在加注作业过程中，MR设备可动态获取当前加注作业的作业流程并生成相应的作业指导。实施本发明专利技术，能降低作业难度和风险，提升加注作业和维修作业的效率，同时可作为一种加注作业训练、演习、实操考核的有效手段。实操考核的有效手段。实操考核的有效手段。

【技术实现步骤摘要】
基于MR设备的弱可视加注作业指导及维修上报系统及方法


[0001]本专利技术属于发射场火箭燃料加注弱可视条件下的作业指导和维修上报领域，涉及基于MR设备的弱可视加注作业指导及维修上报系统及方法。

技术介绍

[0002]发射场的加注作业是测发过程中最重要也最危险的一个环节。加注作业过程中，可能发生的一个典型场景是燃料泄漏。在进行燃料泄漏排故过程中，燃料泄漏后将气化、挥发会形成有色雾团，遮挡操作员的视线，此时操作员完全依靠熟练度和经验进行盲操作，作业难度大、存在出错风险。此外，加注作业环节操作步骤多、危险性高，对操作人员的熟练程度提出了很高的要求，为保障加注作业的顺利进行，需要为操作人员提供在弱可视环境下的方便有效的作业指导，对发生的故障可快速反馈并及时指导维修。
[0003]现行加注技术中，存在可视条件差时无法辨别设备的准备位置、加注操作步骤复杂、数据不透明、维修不及时等不足之处，具体的包括：
[0004]·
加注过程中出现烟雾时，遮挡视线，无法准确识别设备的位置，对加注造成困难；
[0005]·
加注人员对现场数据不透明，无法及时掌握现场的关键数据情况；
[0006]·
加注作业时，操作流程可能根据实际情况发生变化，操作人员需要牢记所有操作步骤之间的组合；
[0007]·
发生故障时，需等待维修人员检修，无法快速定位排除故障。
[0008]通过本专利技术，可解决在弱可视条件下，加注作业无法准确识别现场环境的问题，给出相应的作业指导，保证加注的顺利进行。

技术实现思路

[0009]本专利技术所解决的技术问题在于，提供一种基于MR设备的弱可视加注作业指导及维修上报系统及方法，利用MR技术和设备改进现有的加注作业方式，结合现场设备的图像检测算法，实现弱可视环境下的作业指导，结合MR设备展现的作业看板，实现现场数据透明化，提升作业的准确性、可靠性，提升故障维修的效率。
[0010]为解决现有加注作业过程中的技术问题，本专利技术提供基于MR设备的弱可视加注作业指导及维修上报系统的上报方法，包括如下的步骤：
[0011]步骤S1，通过MR设备上的摄像头对发射场内的环境进行扫描，拍摄各场景的场景图像，并记录每张拍摄时MR设备在发射场内的位姿，要求拍摄的所有图像可以覆盖发射场加注区域所有的可视范围，将拍摄的图像集及其位姿作为模板；
[0012]步骤S2，使用sift特征检测算法检测图像中的特征点，并记录每幅图像的描述子，将特征点及其描述子记录在文件中，为后续场景的特征匹配提供数据；
[0013]步骤S3，使用矩形框或轮廓包围框对加注系统中的泵、阀等关键部件进行标注，获得其在图像中的二维坐标；
[0014]步骤S4，加注人员在现场作业时，MR作业指导系统将场景模板图像的描述子文件、MR设备的位姿以及关键部件在模板图像中的二维坐标读取到内存中；
[0015]步骤S5，加注人员所佩戴的MR眼镜实时采集现场的场景图像，采用图像去雾算法对实时图像做增强处理，然后基于雾图模型并结合折射率与A值计算得到实时增强图像；
[0016]步骤S6，计算如步骤S5所述的实时增强图像的sift特征描述子，先采取随机抽样的策略在步骤S4所述的模板图像特征子的集合中抽取1％比例的特征子，并将其与实时增强图像的特征子进行匹配，若不存在可以匹配的特征点，则重新进行抽样与匹配，若存在可以匹配的特征点，则选择该特征点所在的图像的所有特征点与实时增强图像的特征点进行匹配，验证匹配结果，从而得到可以匹配的模板图像；利用MR眼镜的SLAM功能，实现在弱可视环境下对操作模型的位置还原；
[0017]步骤S7，步骤S6为在弱可视话环境下对遮挡设备的还原过程，实现还原后，通过MR设备与综合管控平台的数据传输，MR设备接收管控平台的作业任务配置文件，解析Json格式的配置文件，动态生成作业指导看板并在空间定位；
[0018]步骤S8，作业指导过程中，MR设备计算实时拍摄的场景图像与匹配到的模板图像之间的相对位姿，并依据匹配到的模板图像的位姿计算当前拍摄实时图像时MR设备的位姿，实现加注人员在现场的定位；
[0019]步骤S9，依据步骤S8所描述的实时场景图像与匹配到的模板图像之间的相对位姿关系，并根据关键部件在模板图像上的标注信息，推算实时场景图像的位置，并将关键部件的三维模型在图像上进行叠加，实现弱可视条件下的作业指导；
[0020]步骤S10，当现场发生故障时，现场操作人员通过MR设备调出故障上报模块，向综合管控平台报告故障。综合管控平台根据上报的故障类型，推送给MR设备维修作业指令和指导，现场操作人员根据指导指令完成维修作业。
[0021]所述步骤S1，进一步包括：MR设备具备拍照功能，并将加注场景可覆盖区域全部拍照作为位姿模版；
[0022]所述步骤2，使用sift算法进行特征点识别，并将信息存储在文件中，进一步包括对加注场景中的泵阀等关键设备特征点的标注及二维坐标；
[0023]所述步骤5进一步包括基于图像去雾的暗通道理论对图像的折射率进行预估，然后计算前0.1％亮度像素的位置点中亮度最高的像素值A；
[0024]所述步骤6采取随机抽样的策略在模板图像特征子的集合中抽取1％比例的特征子，并将其与实时增强图像的特征子进行匹配，得到可以匹配的模板图像；
[0025]包括MR设备以及与综合管控平台；综合管控平台包括数据采集模块、数据解析模块、数据通信模块、数据处理模块；可通过数据通信模块与MR设备建立连接，MR发送订阅设备实时数据信息到数据处理模块，数据处理模块将数据进行解析并作出响应，数据采集模块对现场设备、传感器输出的实时数据进行采集，通过数据解析模块解析为Json字符串形式，并通过数据通信模块将解析后的实时数据根据订阅消息发送到MR设备端。
[0026]所述MR设备为具备SLAM定位、无线通信、摄像头拍照、声音输入输出、按键交互功能的设备。
[0027]当现场出现故障时，MR设备将设备编码、故障类型以及现场图片发送至综合管控平台，综合管控平台依据故障类型为MR设备推送相应的维修指导方案。
[0028]维修上报中的故障指导内容，根据综合管控平台解析的故障类型返回相应的指导手册。
[0029]所述MR设备为即墨(JIMO)MR设备。
[0030]实施本专利技术，具有如下的有益效果：
[0031]专利技术提供的一种基于MR设备的弱可视加注作业指导及维修上报系统及方法，通过使用MR设备预采样加注场景并标注模型特征位置，运行时可通过可见模型部分推导被遮挡设备的位置，可与综合管控平台的信息交互，使现场数据透明化，并可根据实际加注流程形成相应的作业指导，保证了操作的准确性、安全性；MR设备属于头戴设备，解放了操作人员的双手，操作员头戴MR眼镜，在弱可视化条件下，可将被遮挡泵、阀的三维虚拟影像投屏在眼镜中，叠加在被有色燃料充斥的真实环境之上，该三维虚拟影像空间定位参照真实泵阀位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于MR设备的弱可视加注作业指导及维修上报系统的上报方法，其特征在于，包括如下的步骤：步骤S1，通过MR设备上的摄像头对发射场内的环境进行扫描，拍摄各场景的场景图像，并记录每张拍摄时MR设备在发射场内的位姿，要求拍摄的所有图像可以覆盖发射场加注区域所有的可视范围，将拍摄的图像集及其位姿作为模板；步骤S2，使用sift特征检测算法检测图像中的特征点，并记录每幅图像的描述子，将特征点及其描述子记录在文件中，为后续场景的特征匹配提供数据；步骤S3，使用矩形框或轮廓包围框对加注系统中的泵、阀等关键部件进行标注，获得其在图像中的二维坐标；步骤S4，加注人员在现场作业时，MR作业指导系统将场景模板图像的描述子文件、MR设备的位姿以及关键部件在模板图像中的二维坐标读取到内存中；步骤S5，加注人员所佩戴的MR眼镜实时采集现场的场景图像，采用图像去雾算法对实时图像做增强处理，然后基于雾图模型并结合折射率与A值计算得到实时增强图像；步骤S6，计算如步骤S5所述的实时增强图像的sift特征描述子，先采取随机抽样的策略在步骤S4所述的模板图像特征子的集合中抽取1％比例的特征子，并将其与实时增强图像的特征子进行匹配，若不存在可以匹配的特征点，则重新进行抽样与匹配，若存在可以匹配的特征点，则选择该特征点所在的图像的所有特征点与实时增强图像的特征点进行匹配，验证匹配结果，从而得到可以匹配的模板图像；利用MR眼镜的SLAM功能，实现在弱可视环境下对操作模型的位置还原；步骤S7，步骤S6为在弱可视话环境下对遮挡设备的还原过程，实现还原后，通过MR设备与综合管控平台的数据传输，MR设备接收管控平台的作业任务配置文件，解析Json格式的配置文件，动态生成作业指导看板并在空间定位；步骤S8，作业指导过程中，MR设备计算实时拍摄的场景图像与匹配到的模板图像之间的相对位姿，并依据匹配到的模板图像的位姿计算当前拍摄实时图像时MR设备的位姿，实现加注人员在现场的定位；步骤S9，依据步骤S8所描述的实时场景图像与匹配到的模板图像之间的相对位姿关系，并根据关键部件在模板图像上的标注信息，推算实时场景图像的位置，并将关键部件的三维模型在图像上进行叠加，实现弱可视条件下的作业指导；步骤S10，当现场发生故障时，现场操作人员通过MR设备调出故障上报模块，向综合管控平台报告故障。综合管控平台根据上报的故障类型，推送给MR设备维修作业指令和指导，...

【专利技术属性】
技术研发人员：贾佳，黄娅，陈默，冯中华，崔展鹏，周云龙，张立乾，马文茂，李金芝，孙鹏，张超，孙星，王春阳，
申请(专利权)人：中国航空规划设计研究总院有限公司，
类型：发明
国别省市：