一种基于无人机影像的公路未经许可施工事件检测方法技术

本发明专利技术公开了一种无人机影像的公路未经许可施工事件检测方法，基于对抗生成网络模型生成公路施工事件的图片数据集，并训练深度学习

【技术实现步骤摘要】
一种基于无人机影像的公路未经许可施工事件检测方法


[0001]本专利技术属于公路施工检测领域，具体涉及一种基于无人机影像的公路未经许可施工事件检测方法
。

技术介绍

[0002]公路未经许可施工
(
或未经许可擅自占挖道路
、
非法占挖道路
)
事件国省公路干线上经常发生的一种侵占路产路权的交通违法事件，这类事件侵占道路区域，并伴随引起人群聚集，以及车辆违停，在影响路容路貌与道路环境，干扰路政管理秩序的同时，也极易造成道路拥堵和交通事故
。
及时发现和制止公路未经许可施工事件对于提高国省干线公路通行能力
、
保障公路通行安全具有重要意义
。
[0003]未经许可施工事件的巡查整治是各级公路网管理部门的一项重要工作，目前对这类事件的视频巡查主要以是人工巡查为主，即：路网管理人员在公路监控中心对接入的公路监控视频画面进行人工轮巡，通过人眼观察的方式发现视频中发生的公路交通事件，或者派遣巡查车辆上路进行巡查，现场查检沿途的未经许可施工事件
。
[0004]但是，公路网管理部门需要监控巡查的路网视频数量巨大，而未经许可施工事件出现的时间和地点具有随机性，通过人工轮巡视频进行检测的方式效率低，视频轮巡时间间隔长，事件漏检风险高，难以实现对公路未经许可施工事件的及时发现和快速处置
。

技术实现思路

[0005]针对上述问题，本专利技术的目的在于提供一种无人机影像的公路未经许可施工事件检测方法，通过对无人机巡查视频的分析处理，实现未经许可施工事件的自动检测，提高公路网管理与执法部门检测处置公路未经许可施工事件的效率，为保障公路安全畅通提供支持
。
[0006]实现本专利技术目的的具体技术方案为：
[0007]一种基于无人机影像的公路未经许可施工事件检测方法，包括以下步骤：
[0008]步骤
1、
基于对抗生成网络模型生成公路施工事件的图片数据集；
[0009]步骤
2、
基于步骤1的数据集训练深度学习
yolov5
识别模型；
[0010]步骤
3、
采集无人机实时视频，基于深度学习
yolov5
识别模型对视频进行目标识别；
[0011]步骤
4、
基于目标识别结果进行施工事件的判断，并输出施工事件信息；
[0012]步骤
5、
基于施工事件的备案信息判断施工事件是否经过许可，完成未经许可施工事件的检测
。
[0013]与现有技术相比，本专利技术的有益效果在于：
[0014](1)
本专利技术的方案提出对于数据集过少采用对抗生成网络进行数据增强，并结合公路复杂场景对对抗生成网络进行优化改进，添加光照强度和时间向量数据，用来提高生成图像数据的质量，有效提升识别精度；
[0015](2)
本专利技术提出利用基于深度学习的目标检测，识别出现在路面区域内的感兴趣目标，并与路面区域进行比对，实现侵占路面区域的未经许可施工目标的准确提取；
[0016](3)
本专利技术提出基于目标距离的目标聚集性判别以及未经许可施工特定目标识别的组合步骤，对构成未经许可施工关键要素目标的聚集区域进行识别与定位，从而实现施工事件在无人机视频图像中的检测，并基于无人机影像的施工事件识别并结合无人机实时
GPS
信息，实现对于未经许可施工事件的高精度判断；
[0017](4)
本专利技术提出基于无人机影像的施工事件识别的精准定位，通过获取无人机的飞行高度，飞行俯仰角
、
翻滚角
、
偏航角等参数信息，采用摄像机的小孔成像原理以及三角函数计算可以判断施工事件距离无人机的实际距离，结合无人机的经纬度数据，通过计算可以得出施工事件的精准经纬度信息，实现对于未经许可施工事件的高精度判断
。
[0018]下面结合具体实施方式对本专利技术做进一步的说明
。
附图说明
[0019]图1为本专利技术的基于无人机影像的公路未经许可施工事件检测方法步骤流程图
。
[0020]图2为本专利技术实施例的步骤流程图
。
[0021]图3为本专利技术实施例中基于实景图片和对抗生成网络模型
(GAN)
生成的公路施工事件的图片示意图
。
[0022]图4为本专利技术实施例中目标识别的结果示意图
。
具体实施方式
[0023]一种基于无人机影像的公路未经许可施工事件检测方法，包括以下步骤：
[0024]步骤
1、
基于对抗生成网络模型生成公路施工事件的图片数据集，具体为：
[0025]针对公路施工事件的图片数据集数量过少，为满足深度学习训练的要求，基于无人机对公路施工事件的图片数据集进行拍照采集，并基于对抗生成网络模型对图片进行数据增强，对采集到的施工事件图片采用对抗生成网络
(Generative Adversarial Networks,GAN)
对数据进行增强；
[0026]述对抗生成网络模型
(GAN)
包括生成器
(Generator)
和判别器
(Discriminator)
，所述生成器用于生成逼真的公路施工事件图片，判别器用于判断图片的真实性，在训练过程中，生成器和判别器相互竞争，共同提高生成图片的质量；
[0027]所述生成器的输入为：
[0028]z
＝
[z_noise,z_light,z_time][0029]其中，
z_noise
是随机噪声向量，
z_light
是光照信息向量，
z_time
是时间信息向量；
[0030]所述生成器的输出为：
[0031]G(z)
＝
x_fake
；
[0032]其中，
x_fake
是生成的图片；
[0033]所述判别器的输入为真实图片
x_real
或生成图片
x_fake
，输出为图片的真实性概率：
D(x)
＝
p_real
；
[0034]对于判别器，损失函数表示为：
[0035]L_D
＝
‑
[log(D(x_real))+log(1
‑
D(G(z)))]；
[0036]判别器的目标是最大化
L_D
，即提高真实图片被判断为真实的概率，同时提高生成图片被判断为虚假的概率；
[0037]对于生成器，损失函数表示为：
[0038]L_G
＝
‑
log(D(G(z)))
[0039]生成器的目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于无人机影像的公路未经许可施工事件检测方法，其特征在于，包括以下步骤：步骤
1、
基于对抗生成网络模型生成公路施工事件的图片数据集；步骤
2、
基于步骤1的数据集训练深度学习
yolov5
识别模型；步骤
3、
采集无人机实时视频，基于深度学习
yolov5
识别模型对视频进行目标识别；步骤
4、
基于目标识别结果进行施工事件的判断，并输出施工事件信息；步骤
5、
基于施工事件的备案信息判断施工事件是否经过许可，完成未经许可施工事件的检测
。2.
根据权利要求1所述的基于无人机影像的公路未经许可施工事件检测方法，其特征在于，所述步骤1中的生成公路施工事件的图片数据集，具体为：基于无人机对公路施工事件的图片数据集进行拍照采集，并基于对抗生成网络模型对图片进行数据增强；所述对抗生成网络模型包括生成器和判别器，所述生成器用于生成公路施工事件图片，判别器用于判断图片的真实性：所述生成器的输入为：
z
＝
[z_noise,z_light,z_time]
其中，
z_noise
是随机噪声向量，
z_light
是光照信息向量，
z_time
是时间信息向量；所述生成器的输出为：
G(z)
＝
x_fake
；其中，
x_fake
是生成的图片；所述判别器的输入为真实图片
x_real
或生成图片
x_fake
，输出为图片的真实性概率：
D(x)
＝
p_real。3.
根据权利要求2所述的基于无人机影像的公路未经许可施工事件检测方法，其特征在于，在训练过程中，最小化生成器和判别器的损失函数；对于判别器，损失函数表示为：
L_D
＝
‑
[log(D(x_real))+log(1
‑
D(G(z)))]
；判别器的目标是最大化
L_D
，即提高真实图片被判断为真实的概率，同时提高生成图片被判断为虚假的概率；对于生成器，损失函数表示为：
L_G
＝
‑
log(D(G(z)))
生成器的目标是最小化
L_G
，即提高生成图片被判断为真实的概率；在训练过程中，使用包含不同光照和时间点的真实图片作为训练数据，通过随机采样光照和时间信息，生成器根据输入的光照和时间信息生成相应的图片；判别器学习如何根据输入图片的光照和时间信息来判断图片的真实性；最终在训练过程中，生成器和判别器将共同学习如何在生成的图片中模拟不同的光照条件和时间变化
。4.
根据权利要求1所述的基于无人机影像的公路未经许可施工事件检测方法，其特征在于，所述步骤3中的基于深度学习
yolov5
识别模型对视频进行目标识别，具体为：步骤3‑
1、
采集无人机的公路网实时视频，并对视频数据进行预处理，包括缩减视频图
像尺寸
、
遮蔽图像中待固定字幕的区域；步骤3‑
2、
对预处理后的视频图像帧进行区域分割...

【专利技术属性】
技术研发人员：谢斌，申雷霄，乔旭，马夫恒，孙满，刘坤，党倩，
申请(专利权)人：徐州市公路事业发展中心，
类型：发明
国别省市：