一种增强现实方法、装置、电子设备以及存储介质制造方法及图纸

本申请涉及一种增强现实方法、装置、电子设备以及存储介质，涉及数据可视化技术领域，该方法包括以下步骤：基于监控视频流，渲染获得球形全景监控图像；从球形全景监控图像上选定的待测物体识别区域识别出目标物体；基于目标物体在实际应用场景中的运行状态数据，获取与目标物体对应的显示面板网页数据；渲染获得与目标物体对应的显示面板网页。本申请将平面监控摄像头获取的监控视频流转化为球形全景监控图像，响应于用户对待测物体识别区域的触摸操作，实时显示全景监控图像中目标设备的运行状态数据，避免了在模拟软件上根据车间里各实际生产制造设备进行建模，提高了对车间里出现的故障进行诊断和排查的效率。现的故障进行诊断和排查的效率。现的故障进行诊断和排查的效率。

【技术实现步骤摘要】
一种增强现实方法、装置、电子设备以及存储介质


[0001]本申请涉及数据可视化
，具体涉及一种增强现实方法、装置、电子设备以及存储介质。

技术介绍

[0002]数字孪生是一种充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程的技术。
[0003]众所周知，由于用于制造生产物资的生产制造设备大多都是独立运行，无法直观形象的从整体对生产过程进行监控和管理。为了全方位的了解各个车间的实时生产状况，极大的方便生产过程的实时监控、故障诊断和排查，通常会使用数字孪生监控系统来对车间内的实时生产状态进行监测。
[0004]然后，在现有技术中，数字孪生监控系统需要在模拟软件上根据车间里各生产制造设备之间的实际摆放方位以及距离进行同等比例大小复刻，由于车间里各生产制造设备种类繁多且关联关系繁杂，利用人工对车间生产环境进行建模会导致对车间生产状态的实时监控、故障诊断和排查的效率低下。
[0005]因此，为更加符合实际生产的需要，能够研究出一种对车间生产状态能够进行实时监控，还能够高效地对车间里出现的故障进行诊断和排查，是目前急需解决的问题。

技术实现思路

[0006]本申请提供一种增强现实方法、装置、电子设备以及存储介质，能够高效地对车间里出现的故障进行诊断和排查。
[0007]为实现上述目的，本申请提供以下方案。
[0008]第一方面，本申请提供了一种增强现实方法，所述方法包括以下步骤：
[0009]基于监控视频流，渲染获得球形全景监控图像；
[0010]利用物体类型识别网络模型，从所述球形全景监控图像上选定的待测物体识别区域识别出目标物体；
[0011]基于所述目标物体在实际应用场景中的运行状态数据，获取与所述目标物体对应的显示面板网页数据；
[0012]基于所述显示面板网页数据以及目标位置信息，渲染获得与所述目标物体对应的显示面板网页。
[0013]进一步的，所述基于监控视频流，渲染获得球形全景监控图像，包括以下步骤：
[0014]获取光学镜头中的平面成像面到球体触摸屏中的球体成像面之间的映射关系；
[0015]基于所述映射关系调整每一出射光线的方向数据；
[0016]将调整后的每一出射光线的方向数据传输至三维渲染引擎，以使所述三维渲染引擎基于所述方向数据生成球形全景监控图像。
[0017]进一步的，所述利用物体类型识别网络模型，从所述球形全景监控图像上选定的待测物体识别区域识别出目标物体，包括以下步骤：
[0018]响应于所述球形全景监控图像上目标位置被触发操作，获取第一触发指令；所述第一触发指令中包含所述目标位置的坐标信息；
[0019]基于所述坐标信息，获取待测物体识别区域；
[0020]在所述待测物体识别区域内，利用物体类型识别网络模型获取目标物体类型。
[0021]进一步的，所述基于所述目标物体在实际应用场景中的运行状态数据，获取与所述目标物体对应的显示面板网页数据，包括以下步骤：
[0022]确定显示面板上展现的数据类型；
[0023]基于所述目标物体在实际应用场景中的实时运行数据，获取与所述数据类型相对应的运行数据值；
[0024]基于所述数据类型以及与其相对应的实时运行数据值，获取与所述目标物体对应的显示面板网页数据。
[0025]进一步的，所述方法还包括：
[0026]确定每一数据类型对应的预警数值；
[0027]当与目标数据类型对应的实时运行数据值大于所述预警数值时，则在所述目标位置处显示警示信息。
[0028]进一步的，所述基于所述显示面板网页数据以及目标位置信息，渲染获得与所述目标物体对应的显示面板网页，包括以下步骤：
[0029]基于所述目标位置信息，获取所述显示面板网页的展示位置信息；
[0030]基于所述显示面板网页数据，在所述球体触摸屏上的展示位置处渲染出显示面板网页。
[0031]进一步的，所述显示面板网页上还包括所述目标物体的3D模型图；所述方法还包括以下步骤：
[0032]响应于所述目标物体的3D模型图被触摸操作，获取第二触发指令，所述第二触发指令中包括触摸方向信息以及触摸位移信息；
[0033]基于所述触摸方向信息以及触摸位移信息，获取所述目标物体的3D模型图的旋转方向。
[0034]第二方面，本申请提供了一种增强现实装置，所述装置包括：
[0035]球形图像获取模块，其用于基于监控视频流，渲染获得球形全景监控图像；
[0036]图像识别模块，其用于利用物体类型识别网络模型，从所述球形全景监控图像上选定的待测物体识别区域识别出目标物体；
[0037]网页数据获取模块，其用于基于所述目标物体在实际应用场景中的运行状态数据，获取与所述目标物体对应的显示面板网页数据；
[0038]网页显示模块，其用于基于所述显示面板网页数据以及目标位置信息，渲染获得与所述目标物体对应的显示面板网页。
[0039]进一步的，所述球形图像获取模块包括：
[0040]映射关系获取子模块，其用于获取光学镜头中的平面成像面到球体触摸屏中的球体成像面之间的映射关系；
[0041]方向数据获取子模块，其用于基于所述映射关系调整每一出射光线的方向数据；
[0042]渲染子模块，其用于将调整后的每一出射光线的方向数据传输至三维渲染引擎，以使所述三维渲染引擎基于所述方向数据生成球形全景监控图像。
[0043]进一步的，所述图像识别模块包括：
[0044]指令获取子模块，其用于响应于所述球形全景监控图像上目标位置被触发操作，获取第一触发指令；所述第一触发指令中包含所述目标位置的坐标信息；
[0045]识别区域确定子模块，其用于基于所述坐标信息，获取待测物体识别区域；
[0046]物体类型获取子模块，其用于在所述待测物体识别区域内，利用物体类型识别网络模型获取目标物体类型。
[0047]进一步的，所述网页数据获取模块包括：
[0048]数据类型子模块，其用于确定显示面板上展现的数据类型；
[0049]第一数据获取子模块，其用于基于所述目标物体在实际应用场景中的实时运行数据，获取与所述数据类型相对应的运行数据值；
[0050]第二数据获取子模块，其用于基于所述数据类型以及与其相对应的实时运行数据值，获取与所述目标物体对应的显示面板网页数据。
[0051]进一步的，所述网页数据获取模块，还包括：
[0052]预警数值确定子模块，其用于确定每一数据类型对应的预警数值；
[0053]警示信息生成子模块，其用于当与目标数据类型对应的实时运行数据值大于所述预警数值时，则在所述目标位置处显示警示信息。
[0054]进一步的，所述网页显示模块，包括：
...

【技术保护点】

【技术特征摘要】
1.一种增强现实方法，其特征在于，所述方法包括以下步骤：基于监控视频流，渲染获得球形全景监控图像；利用物体类型识别网络模型，从所述球形全景监控图像上选定的待测物体识别区域识别出目标物体；基于所述目标物体在实际应用场景中的运行状态数据，获取与所述目标物体对应的显示面板网页数据；基于所述显示面板网页数据以及目标位置信息，渲染获得与所述目标物体对应的显示面板网页。2.如权利要求1所述的增强现实方法，其特征在于，所述基于监控视频流，渲染获得球形全景监控图像，包括以下步骤：获取光学镜头中的平面成像面到球体触摸屏中的球体成像面之间的映射关系；基于所述映射关系调整每一出射光线的方向数据；将调整后的每一出射光线的方向数据传输至三维渲染引擎，以使所述三维渲染引擎基于所述方向数据生成球形全景监控图像。3.如权利要求1所述的增强现实方法，其特征在于，所述利用物体类型识别网络模型，从所述球形全景监控图像上选定的待测物体识别区域识别出目标物体，包括以下步骤：响应于所述球形全景监控图像上目标位置被触发操作，获取第一触发指令；所述第一触发指令中包含所述目标位置的坐标信息；基于所述坐标信息，获取待测物体识别区域；在所述待测物体识别区域内，利用物体类型识别网络模型获取目标物体类型。4.如权利要求1所述的增强现实方法，其特征在于，所述基于所述目标物体在实际应用场景中的运行状态数据，获取与所述目标物体对应的显示面板网页数据，包括以下步骤：确定显示面板上展现的数据类型；基于所述目标物体在实际应用场景中的实时运行数据，获取与所述数据类型相对应的运行数据值；基于所述数据类型以及与其相对应的实时运行数据值，获取与所述目标物体对应的显示面板网页数据。5.如权利要求4所述的增强现实方法，其特征在于，所述方法还包括：确定每一...

【专利技术属性】
技术研发人员：喻启翔，韩达，张涛，柯增勇，余龙，王聪，文建伟，郭兵，
申请(专利权)人：武汉烽火信息集成技术有限公司，
类型：发明
国别省市：