一种基于5G通讯和虚拟现实的设备巡检方法及系统技术方案

本发明专利技术公开了一种基于5G通讯和虚拟现实的设备巡检方法及系统，涉及图像处理技术领域，包括：采集RGB

【技术实现步骤摘要】
一种基于5G通讯和虚拟现实的设备巡检方法及系统


[0001]本专利技术涉及图像处理
，更具体的说是涉及一种基于5G通讯和虚拟现实的设备巡检方法及系统。

技术介绍

[0002]目前，对于生产设备巡检工作，传统工作方式主要采用人工现场巡检，视频监控技术，定位技术与地理信息技术等方案，基本以设备外观，传统仪表读数作为判断设备运行状态的依据，现场设备得不到直观展示，不利于工作人员对于现场实际情况的掌握，设备实时运行情况数值收集工作效率依靠手工台账，工作效率低下。同时，现有技术的缺陷和不足：
[0003](1)设备巡检情况基于二维平面内容，缺乏直观全面地观察情况，巡检工作效果欠佳。
[0004](2)需要人员在现场进行巡检工作，人力成本较大，工作效率不高。
[0005](3)监控数据采集功能相对欠缺，非现场工作人员无法实时掌握设备的运行情况。
[0006](4)技术专家提供的远程技术协助只能通过现场人员提供的简要情况进行研判，容易忽略现场细节，无法做出精准明确的解决方案。
[0007](5)现时的设备巡检系统无法对现实场景进行实时虚拟化演算，根据现场设备情况与数据运行参数变化进行即时的场景渲染。
[0008]因此，提供一种基于5G通讯和虚拟现实的设备巡检方法，利用5G通讯技术的增强移动宽带和低时延高可靠类业务特性，使用网络切片技术提供稳定低延迟，可靠实时的数据传输保障，虚拟现实技术将设备监测与巡检工作以三维直观的形式进行体现，可通过建立设备故障知识图库，进行智能技术研判，实现智能化设备管理及故障检查，是本领域技术人员亟需解决的问题。

技术实现思路

[0009]有鉴于此，本专利技术提供了一种基于5G通讯和虚拟现实的设备巡检方法及系统，将设备监测与巡检工作以三维直观的形式进行体现，可通过建立设备故障知识图库，进行智能技术研判，实现智能化设备管理及故障检查，为了实现上述目的，本专利技术采用如下技术方案：
[0010]一种基于5G通讯和虚拟现实的设备巡检方法，包括：
[0011]采集RGB
‑
D图像数据，其中包括RGB图像与深度图像；
[0012]采用YOLOv3对RGB图像进行目标检测以及根据ASMS算法进行目标跟踪定位，生成带语义信息的目标；
[0013]使用生成对抗网络GAN算法对深度图像进行修复；
[0014]构建三维场景模型，并基于RGB图像和修复后的深度图像对三维场景模型进行位姿优化；
[0015]将带语义信息的目标通过坐标位置转换与三维场景模型结合获得三维数字工厂
模型。
[0016]可选的，所述生成带语义信息的目标的具体步骤为：对采集到的RGB图像使用YOLOv3网络进行目标检测以及使用ASMS跟踪算法进行目标实时定位，生成带语义信息的目标具体步骤如下：
[0017][0018]上式中，w为边界框的宽，h为边界框高，λ
coord
和为控制系数，网格单元i的第j个边界框预测内存在目标时，的值为1，当存在目标的情况下计算边界框的损失值，利用均方误差计算边界框相对于真实目标之间的偏差。
[0019]可选的，所述对深度图像进行修复的具体步骤为：采用生成对抗网络GAN算法，使用上下文编码器对采集到的深度图像进行实时修复处理，GAN的目标函数为：
[0020][0021]上式中，x采样与真实数据分布P
data
(x)；z采样与先验分布P
z
(Z)；G(z)作为输出生成数据；判别器D，生成器G，期望D(x)。
[0022]可选的，所述三维场景模型构建的具体步骤为：采用三维重建BundleFusion算法，进行位姿优化，对连续5帧组成一个chunk，令第一帧为关键帧，局部优化每个chunk内的帧的位姿，并将每个chunk的关键帧传给全局优化环节。
[0023]可选的，所述数字工厂模型构建的具体步骤为：将带语义信息的目标通过坐标位置转换与三维场景模型相结合获得数字工厂模型，并将对应设备表示进行标注，同时将设备运行的各类参数在设备具体位置进行展示，形成三维数字工厂模型。
[0024]可选的，一种基于5G通讯和虚拟现实的设备巡检系统，包括：
[0025]场景信息数据采集模块：采集RGB
‑
D图像数据，其中包括RGB图像与深度图像；
[0026]语义信息收集模块：采用YOLOv3对RGB图像进行目标检测以及根据ASMS算法进行目标跟踪定位，生成带语义信息的目标；
[0027]深度图像修复处理模块：使用生成对抗网络GAN算法对深度图像进行修复；
[0028]构建三维场景模型，并基于RGB图像和修复后的深度图像对三维场景模型进行位姿优化；
[0029]数字工厂形成模块：将带语义信息的目标通过坐标位置转换与三维场景模型结合获得三维数字工厂模型。
[0030]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于5G通讯和虚拟现实的设备巡检方法及系统，具有如下有益效果：
[0031](1)本专利技术基于5G通讯和虚拟现实技术实现数字孪生工厂，利用5G通讯技术的增强移动宽带和低时延高可靠类业务特性，使用网络切片技术提供稳定低延迟，可靠实时的数据传输保障，虚拟现实技术将设备监测与巡检工作以三维直观的形式进行体现，可通过建立设备故障知识图库，进行智能技术研判，实现智能化设备管理及故障检查。
[0032](2)本专利技术可将生产运作过程中需要记录的各类信息进行数字化，大幅缩短巡检
工作所需时间，降低工厂运营成本，提供巡检工作效率，通过5G和虚拟现实技术保证低延时高可靠的实时演算虚拟场景，保证生产场景虚拟化的渲染时效性。
[0033](3)本专利技术实现安全巡检工作，将现场巡检人员报告的巡检指标项情况，设备抓拍巡检现场图片，巡检路线记录等实时回传，形成人员工作考勤记录。
[0034](4)本专利技术支持实时回传巡检现场情况视频，在设备故障维修过程方便技术专家远程快速准确做出研判与采取措施，提高指挥调度效率。
[0035](5)本专利技术可支持历史数据还原分析，建立数据池，不同的设备监测项，不同时间段的历史数据进行复原，提供工作人员进行现场还原分析，问题回溯，落实管理责任。
附图说明
[0036]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0037]图1为一种基于5G通讯和虚拟现实的设备巡检方法结构示意图。
[0038]图2为一种基于5G通讯和虚拟现实的设备巡检系统结构示意图。
[0039]图3为本专利技术进行目标实时定位的过程函数图像。
具体实施方式
[0040]下面将结合本专利技术实施例中的附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于5G通讯和虚拟现实的设备巡检方法，其特征在于，包括：采集RGB
‑
D图像数据，其中包括RGB图像与深度图像；采用YOLOv3对RGB图像进行目标检测以及根据ASMS算法进行目标跟踪定位，生成带语义信息的目标；使用生成对抗网络GAN算法对深度图像进行修复；构建三维场景模型，并基于RGB图像和修复后的深度图像对三维场景模型进行位姿优化；将带语义信息的目标通过坐标位置转换与三维场景模型结合获得三维数字工厂模型。2.根据权利要求1所述的一种基于5G通讯和虚拟现实的设备巡检方法，其特征在于，所述生成带语义信息的目标的具体步骤为：对采集到的RGB图像使用YOLOv3网络进行目标检测以及使用ASMS跟踪算法进行目标实时定位，生成带语义信息的目标具体步骤如下：上式中，w为边界框的宽，h为边界框高，λ
coord
和为控制系数，网格单元i的第j个边界框预测内存在目标时，的值为1，当存在目标的情况下计算边界框的损失值，利用均方误差计算边界框相对于真实目标之间的偏差。3.根据权利要求1所述的一种基于5G通讯和虚拟现实的设备巡检方法，其特征在于，所述对深度图像进行修复的具体步骤为：采用生成对抗网络GAN算法，使用上下文编码器对采集到的深度图像进行实时修复处理，GAN的目标函数为：上式中，x采样与真实数据分布P
data
(x)；z采样与先验分布P...

【专利技术属性】
技术研发人员：杨小剑，黄恒，阮浩杰，
申请(专利权)人：广东长盈科技股份有限公司，
类型：发明
国别省市：