基于MR设备的弱可视加注作业指导及维修上报系统及方法技术方案

本发明专利技术属于发射场火箭燃料加注弱可视条件下的作业指导和维修上报领域，涉及基于MR设备的弱可视加注作业指导及维修上报系统及方法。通过使用MR设备预采样加注场景并标注模型特征位置获取设备坐标，使用sift特征检测算法检测图像中的特征点，将特征点及描述子记录在文件中，MR设备运行时通过可见模型部分推导被遮挡设备的位置，通过采集现场的场景图像，采用图像去雾算法对实时图像做增强处理得到实时增强图像。在加注作业过程中，MR设备可动态获取当前加注作业的作业流程并生成相应的作业指导。实施本发明专利技术，能降低作业难度和风险，提升加注作业和维修作业的效率，同时可作为一种加注作业训练、演习、实操考核的有效手段。实操考核的有效手段。实操考核的有效手段。

【技术实现步骤摘要】
基于MR设备的弱可视加注作业指导及维修上报系统及方法


[0001]本专利技术属于发射场火箭燃料加注弱可视条件下的作业指导和维修上报领域，涉及基于MR设备的弱可视加注作业指导及维修上报系统及方法。

技术介绍

[0002]发射场的加注作业是测发过程中最重要也最危险的一个环节。加注作业过程中，可能发生的一个典型场景是燃料泄漏。在进行燃料泄漏排故过程中，燃料泄漏后将气化、挥发会形成有色雾团，遮挡操作员的视线，此时操作员完全依靠熟练度和经验进行盲操作，作业难度大、存在出错风险。此外，加注作业环节操作步骤多、危险性高，对操作人员的熟练程度提出了很高的要求，为保障加注作业的顺利进行，需要为操作人员提供在弱可视环境下的方便有效的作业指导，对发生的故障可快速反馈并及时指导维修。
[0003]现行加注技术中，存在可视条件差时无法辨别设备的准备位置、加注操作步骤复杂、数据不透明、维修不及时等不足之处，具体的包括：
[0004]·
加注过程中出现烟雾时，遮挡视线，无法准确识别设备的位置，对加注造成困难；
[0005]·
加注人员本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于MR设备的弱可视加注作业指导及维修上报系统的上报方法，其特征在于，包括如下的步骤：步骤S1，通过MR设备上的摄像头对发射场内的环境进行扫描，拍摄各场景的场景图像，并记录每张拍摄时MR设备在发射场内的位姿，要求拍摄的所有图像可以覆盖发射场加注区域所有的可视范围，将拍摄的图像集及其位姿作为模板；步骤S2，使用sift特征检测算法检测图像中的特征点，并记录每幅图像的描述子，将特征点及其描述子记录在文件中，为后续场景的特征匹配提供数据；步骤S3，使用矩形框或轮廓包围框对加注系统中的泵、阀等关键部件进行标注，获得其在图像中的二维坐标；步骤S4，加注人员在现场作业时，MR作业指导系统将场景模板图像的描述子文件、MR设备的位姿以及关键部件在模板图像中的二维坐标读取到内存中；步骤S5，加注人员所佩戴的MR眼镜实时采集现场的场景图像，采用图像去雾算法对实时图像做增强处理，然后基于雾图模型并结合折射率与A值计算得到实时增强图像；步骤S6，计算如步骤S5所述的实时增强图像的sift特征描述子，先采取随机抽样的策略在步骤S4所述的模板图像特征子的集合中抽取1％比例的特征子，并将其与实时增强图像的特征子进行匹配，若不存在可以匹配的特征点，则重新进行抽样与匹配，若存在可以匹配的特征点，则选择该特征点所在的图像的所有特征点与实时增强图像的特征点进行匹配，验证匹配结果，从而得到可以匹配的模板图像；利用MR眼镜的SLAM功能，实现在弱可视环境下对操作模型的位置还原；步骤S7，步骤S6为在弱可视话环境下对遮挡设备的还原过程，实现还原后，通过MR设备与综合管控平台的数据传输，MR设备接收管控平台的作业任务配置文件，解析Json格式的配置文件，动态生成作业指导看板并在空间定位；步骤S8，作业指导过程中，MR设备计算实时拍摄的场景图像与匹配到的模板图像之间的相对位姿，并依据匹配到的模板图像的位姿计算当前拍摄实时图像时MR设备的位姿，实现加注人员在现场的定位；步骤S9，依据步骤S8所描述的实时场景图像与匹配到的模板图像之间的相对位姿关系，并根据关键部件在模板图像上的标注信息，推算实时场景图像的位置，并将关键部件的三维模型在图像上进行叠加，实现弱可视条件下的作业指导；步骤S10，当现场发生故障时，现场操作人员通过MR设备调出故障上报模块，向综合管控平台报告故障。综合管控平台根据上报的故障类型，推送给MR设备维修作业指令和指导，...

【专利技术属性】
技术研发人员：贾佳，黄娅，陈默，冯中华，崔展鹏，周云龙，张立乾，马文茂，李金芝，孙鹏，张超，孙星，王春阳，
申请(专利权)人：中国航空规划设计研究总院有限公司，
类型：发明
国别省市：