基于深度学习的油气管道异常情况巡检系统技术方案

本发明专利技术公开了基于深度学习的油气管道异常情况巡检系统，该系统由无人机数据采集端、云平台、服务器、油气管道异常情况巡检平台客户端组成。无人机数据采集端采集无人机巡检的视频数据和POS数据，通过4G网络传输至云平台，云平台将数据处理后转发至服务器，最终在客户端显示。系统使用物联网技术和WebGIS技术，使无人机巡检的轨迹实时地显示在网页上，实现了对无人机巡检的实时监管；使用视频直播技术将巡检中无人机拍摄到的视频实时地传输到客户端，方便巡检人员对管道情况实时监测；使用目标检测技术识别巡检视频，及时发现管道周边的异常情况，提高了巡检的准确性。该系统是一个智能的全面的无人机巡检管理系统，对管道监管有重要意义和价值。有重要意义和价值。有重要意义和价值。

【技术实现步骤摘要】
基于深度学习的油气管道异常情况巡检系统


[0001]本专利技术涉及一种基于深度学习的油气管道异常情况巡检系统，涉及物联网技术、视频直播服务器技术、深度学习目标检测技术、WebGIS技术等相关领域。

技术介绍

[0002]近年来，我国油气管道建设快速发展，油气网管规模不断扩大，目前已形成“三纵四横、连通海外、覆盖全国”的管网布局。作为运输石油、天然气的主要工具，油气管道对于人民生活质量和国家经济发展有很大的促进作用。然而，很多因素比如自身内部腐蚀、自然灾害、人为破坏等都在威胁着管道的安全，油气管道一经破环，造成的危害巨大，给国家财产和人民人身安全带来无可估计的损失。因此，管道的安全性至关重要，对管道进行巡检工作是保障管道安全的重要手段。
[0003]传统的管道巡检主要以人工沿管线徒步巡检方式为主，人工巡检周期长、成本高、效率低。由于管道沿途经过多处河流、池塘、沟渠等复杂地形,巡线人员难以到达,所以人工巡检很难做到完全覆盖全线管道。管道沿线某些地段会伴随有山体滑坡、洪水、泥石流和危岩崩塌等地质灾害，巡检人员的人身安全不能得到保障。因此，人工巡检方法有很大的局限性，不利于对管道进行全面准确的巡检。
[0004]随着无人机技术的逐渐成熟，利用无人机进行管道巡检成为一种更有效的方法。无人机灵活性高、反应速度快、受地理环境约束小，将其运用到管道巡检工作中减少了巡检人员的工作量，避免恶劣环境对巡检人员的伤害，大幅度提高了巡检效率。如今，无人机被不同油气管道公司运用于各种巡检场合、应急情况，但是无人机巡检工作的管理仍存在诸多缺点，现有的无人机管道巡检体系仍然不太成熟，无人机管道监管软件系统仍然不太完善，对无人机的飞行管理、数据接入和数据管理等许多方面都有待提高，一个成熟的无人机巡检监察管理架构才能让无人机在管道巡检中发挥最大的作用。
[0005]基于以上情况，设计了一套基于深度学习的油气管道异常情况巡检系统，该系统使用了物联网、视频直播、深度学习目标检测、WebGIS等关键技术，将无人机位置姿态数据和采集的视频数据实时接入，直观地显示在客户端上，实现对无人机巡检的实时监管；借助深度学习目标检测算法对巡检视频进行识别，以便及时发现管道周边的异常并采取相应措施；对系统功能进行全面的设计，使用户统筹兼顾地完成巡检工作的规划、监测以及分析。该系统是一个成熟的、智能的、全面的无人机巡检管理系统，是一个对管道监管有重要意义和价值的项目专利技术。

技术实现思路

[0006]本专利技术采用的技术方案为基于深度学习的油气管道异常情况巡检系统，系统主要包括无人机数据采集、无人机数据接入、视频检测、油气管道异常情况巡检平台等功能模块。
[0007]无人机数据采集由无人机和无人机地面站完成。无人机地面站控制无人机按照特
定的轨迹飞行，进行油气管道的巡检，在无人机云台上搭载传感器设备、摄像设备等任务载荷，传感器记录无人机的姿态及定位数据即POS数据，摄像设备可录制航拍视频，采集管道周边的图像数据。这些采集到的POS数据和视频数据通过载波电台传输至无人机地面站，进行后续的传输和管理。
[0008]无人机数据接入的实现。POS数据接入的主要媒介是靠阿里云的物联网平台。无人机地面站使用数据推送软件将POS数据通过4G网络向物联网平台对应的虚拟设备上的Topic发布，通过服务器端订阅，将数据推送到NodeJS服务器上。NodeJS服务器接收到数据后，转发至客户端，在网页上实时显示，并将数据存储至数据库，进行集中管理。视频数据接入的主要媒介是阿里云的视频直播云服务器。无人机地面站使用视频推流设备将视频数据通过4G网络传输到视频直播云服务器，视频直播云服务器对视频进行处理并发送至客户端，客户端输入直播地址就可实时播放视频。此外，视频直播云服务器将直播视频录制下来，存储到OSS中，可在客户端回放。
[0009]视频检测使用深度学习目标检测识别技术。本系统使用改进YOLOv4算法对管道周边的物体进行识别，包括人员、小型车辆、卡车、房屋、挖掘机、推土机、地面洼陷7类物体。对YOLOv4算法的改进有两点，第一点是使用kmeans聚类算法重新计算先验框的大小，使它更适合实验所用数据集；第二点是将CSPDarknet53特征提取网络中104
×
104层输出层进行下采样，使它的大小变成52
×
52，与PANet层的52
×
52层进行张量拼接，再将其进行5次卷积，然后进行下采样和输出到YOLO Head。这样就将104
×
104层的特征与52
×
52、26
×
26、13
×
13的特征融合并进行检测，提高了对小目标的检测精度。使用无人机拍摄的方式采集航拍图像，制作数据集，并将其作为训练样本，训练改进YOLOv4网络模型，得到了良好的检测精度，检测速度也能满足实时性。将训练好的模型和YOLOv4识别算法嵌入到软件中，将巡检采集的视频导入软件便可实现对视频的实时识别和监测。
[0010]油气管道异常情况巡检平台的设计与实现。油气管道异常情况巡检平台采用B/S架构实现，是整个系统的用户操作平台。该系统采用前后端分离架构，前后端独立部署，增加了开发效率，减少了服务器压力。该系统后端使用的服务器是Tomcat服务器，采用的框架是SpringBoot+MyBatis
‑
Plus框架，与数据库交互。系统前端使用的服务器是Nginx服务器，采用的框架是Vue.js框架，并引入OpenLayers，在网页上实现地图的展现，并在地图上显示油气管道信息，进行轨迹的规划和显示。
[0011]与现有技术相比，本专利技术具有以下优点：
[0012]本专利技术使用无人机进行油气管道的巡检工作，解决了人工巡检效率低覆盖率低的弊端，提高了巡检速度和质量；使用物联网技术和WebGIS技术，使无人机巡检的轨迹实时地显示在网页上，实现了对无人机巡检的实时管理和监控；使用视频直播技术将巡检中无人机拍摄到的视频实时地传输到客户端，方便巡检人员对管道的情况实时监测；使用目标检测技术识别巡检视频，及时发现管道周边的异常物体，提高了巡检的准确性。
附图说明
[0013]图1是系统设计框图；
[0014]图2是物联网平台结构图；
[0015]图3是视频直播云服务器结构图；
[0016]图4是改进后的YOLOv4模型结构图
[0017]图5是系统主要功能框图；
[0018]图6是轨迹规划功能图；
[0019]图7是创建任务功能图；
[0020]图8是实时轨迹功能图；
[0021]图9是实时视频功能图；
[0022]图10是视频检测功能图；
[0023]图11是异常管理功能图；
[0024]图12是历史回放图。
具体实施方式
[0025]下面结合附图和实施对本专利技术做进一步的说明。
[0026]本系统主要由无人机数据采集端、云平台、服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的油气管道异常情况巡检系统，其特征在于：该系统包括无人机数据采集、无人机数据接入、视频检测、油气管道异常情况巡检平台功能模块；无人机数据的采集；无人机地面站控制无人机按照特定的轨迹飞行，进行油气管道的巡检，在无人机云台上搭载传感器设备、摄像设备等任务载荷，传感器记录无人机的姿态及定位数据即POS数据，摄像设备可录制航拍视频，采集管道周边的图像数据；采集到的POS数据和视频数据通过载波电台传输至无人机地面站，进行后续的传输和管理；无人机地面站使用数据推送软件将POS数据通过4G网络向物联网平台对应的虚拟设备上的Topic发布，通过服务器端订阅，将数据推送到NodeJS服务器上；NodeJS服务器接收到数据后，转发至客户端，在网页上实时显示，并将数据存储至数据库，进行集中管理；视频数据接入的媒介是视频直播云服务器；无人机地面站使用视频推流设备将视频数据通过4G网络传输到视频直播云服务器，视频直播云服务器对视频进行处理并发送至客户端，客户端输入直播地址就可实时播放视频；油气管道异常情况巡检平台采用B/S架构实现，是整个系统的用户操作平台；该系统采用前后端分离架构，前后端独立部署。2.根据权利要求1所述的基于深度学习的油气管道异常情况巡检系统，其特征在于：视频直播云服务器将直播视频录制下来，存储到OSS中，在客户端回放。3.根据权利要求1所述的基于深度学习的油气管道异常情况巡检系统，其特征在于：无人机数据的接入中，POS数据接入的媒介是物联网平台。4.根据权利要求1所述的基于深度学习的油气管道...

【专利技术属性】
技术研发人员：赵德群，王丹，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：