一种基于GAN网络的工地夜间异常实时检测方法技术

本发明专利技术提供了一种基于GAN网络的工地夜间异常实时检测方法，对建筑工地的夜间监控视频与白天监控视频进行采集，将采集到的视频分割成帧图像，并人工对白天监控视频分割得到的帧图像标注需要检测的异常行为，制作成数据集；之后在Tensorflow平台上搭建无监督的生成对抗网络EnlightenGAN，使用分割的帧图像训练模型到最佳，通过训练好的EnlightenGAN网络将工地昏暗帧图像亮度增强；再搭建异常行为检测网络yolov3，通过人工标注了异常行为的白天帧图像训练yolov3网络至最佳，通过yolov3网络对恢复亮度的工地帧图像实时检测异常行为，最后将检测好的帧图像按时间重新拼接成视频，反馈到移动通信系统，实现工地夜间异常实时检测。实现工地夜间异常实时检测。实现工地夜间异常实时检测。

【技术实现步骤摘要】
一种基于GAN网络的工地夜间异常实时检测方法


[0001]本专利技术涉及视频监控
，特别是一种基于GAN网络的工地夜间异常实时检测方法。

技术介绍

[0002]光污染是继废气、废水、废渣和噪声等污染之后的一种新的环境污染源，主要包括白亮污染、人工白昼污染和彩光污染，光污染会导致人体眩晕感、诱发癌症、产生不利情绪、影响生态问题等，关注视觉污染，改善视觉环境已经刻不容缓。近年来，各大城市都在加强城市规划管理，夜间工地上合理布置光源，禁止使用大功率强光源，推广新型节能光源。但是，低照度条件下，图像和视频的清晰度也大打折扣，曝光不足会导致亮度层次不明显且细节模糊不清，为工地的异常安全行为识别和检测增加了新的难度，带来了新的风险和挑战。

技术实现思路

[0003]为克服上述问题，本专利技术的目的是提供一种基于GAN网络的工地夜间异常实时检测方法，能更准确地对工地夜间进行监控。
[0004]本专利技术采用以下方案实现：一种基于GAN网络的工地夜间异常实时检测方法，所述方法包括如下步骤：步骤S1、在建筑工地使用监控设备采集日间与夜间的监控视频，并按时间先后顺序将两种视频分割成帧图像，并对日间帧图像进行异常行为标注；
[0005]步骤S2、搭建无监督的生成对抗网络enlightenGAN，通过分割得到的夜间帧图像对生成对抗网络enlightenGAN模型进行训练；
[0006]步骤S3、搭建异常行为实时检测网络yolov3，通过标注了异常行为的日间帧图像对yolov3模型进行训练；/>[0007]步骤S4、使用训练好的enlightenGAN网络对昏暗的夜间帧图像进行图像亮度增强；
[0008]步骤S5、使用训练好的yolov3网络对图像亮度增强后的夜间帧图像进行异常行为实时检测，将异常行为在图像上标注出来；
[0009]步骤S6、将标注好的帧图像按时间顺序重新拼接成视频，并传输给工作人员，工作人员进行异常实时检测。
[0010]进一步的，所述方法使用的enlightenGAN网络采用双判别器来平衡全局和局部低光增强，所述方法采用自特征保留损失的方式对真实数据进行监督，即利用VGG预训练模型约束低光输入图像与增强图像之间的VGG特征距离，该方式在局部和全局上都被采用，并结合对抗性损失对enlightenGAN网络进行训练，提出利用低光输入的光照信息作为各深度特征层次的自正则注意图，对无监督学习进行正则化。
[0011]进一步的，所述方法重于异常行为实时检测，因此使用yolov3网络检测异常行为，yolov3利用单一神经网络，基于网格的思想将目标检测任务视作空间分离的边界框和相关的类概率的回归问题，在实时性要求高的场景下更好的做到实时目标检测，同时单一神经
网络的模型优化也很容易。
[0012]进一步的，YOLOv3模型由两部分组成：主干特征提取网络和利用主干特征提取网络所提取的特征进行预测的部分。
[0013]进一步的，yolov3网络以Darknet
‑
53作为主干特征提取网络，Darknet
‑
53中主要使用了残差卷积；在Darknet
‑
53的残差块中首先利用大小3
×
3、步长为2的卷积核做卷积运算，保存结果X后依次进行1
×
1和3
×
3的卷积操作，再加上之前的结果X作为该残差块最后的输出；残差卷积的使用能缓解深度学习中梯度消失问题，用于训练更深层的网络。
[0014]进一步的，在主干特征提取网络Darknet
‑
53中，每一次卷积操作后都使用了BatchNormalization批标准化与LeakyReLU激活函数缓解梯度消失问题，用于训练更深层的神经网络，经由特征提取网络对输入数据进行特征提取，最后从Darknet
‑
53中获取最后三个残差块的输出用于后续预测过程。
[0015]进一步的，在yolov3网络中，利用主干特征提取网络Darknet
‑
53最后三个残差块所提取特征进行目标检测，三个特征层分别进行五次卷积操作，其中最后两层所获取特征既用于预测，同时通过上采样进行特征层扩张后与上一残差块所提取特征相加，共同用于上一层的预测，对特征提取网络所提取特征进行了有效利用；最后网络三层所输出网格大小从上到下依次为52
×
52、26
×
26、13
×
13，利用特征金字塔由粗到精的思想提高模型检测的鲁棒性。
[0016]进一步的，YOLOv3模型最后根据所获取的预测结果进行解码操作，在三个特征层获取的结果对应每张图分割为52
×
52、26
×
26、13
×
13的网格，每个网格负责一个区域的预测，根据每个区域预测所得结果，即目标中心坐标x、y，预测框宽高w、h，判断是否存在目标以及各个类别置信度，可得图像中目标预测框和类别置信度。
[0017]进一步的，所述生成对抗网络enlightenGAN使用Python编程语言在Tensorflow平台上搭建，所述网络yolov3使用Python编程语言在Tensorflow平台上搭建。
[0018]本专利技术的有益效果在于：本专利技术先将需要检测的夜间视频按时间分割成帧图像，通过enlightenGAN网络对夜间工地图像进行亮度增强，再送到异常检测网络yolov3对异常行为进行标注，最后按时间拼接标注好的帧图像，反馈到移动通信平台上，能更准确地对工地夜间进行监控。本专利技术使用的enlightenGAN网络目的是将图像在照明条件不好的情况下将图像的亮度增强，之后再通过yolov3网络进行异常行为检测，且本专利技术使用的enlightenGAN网络目的是亮度增强，和现有技术的GAN在网络结构、损失函数上有着较大的差异；其次本专利技术输入到整个方法的是视频而不是图像，为了保证视频的实时传输使用的enlightenGAN是轻量级的以此来保证实时性的同时，保证亮度增强的效果。
附图说明
[0019]图1是本专利技术的方法流程示意图。
[0020]图2是本专利技术的一实施例的方法流程示意图。
具体实施方式
[0021]下面结合附图对本专利技术做进一步说明。
[0022]请参阅图1所示，本专利技术的一种基于GAN网络的工地夜间异常实时检测方法，所述
方法包括如下步骤：步骤S1、在建筑工地使用监控设备采集日间与夜间的监控视频，并按时间先后顺序将两种视频分割成帧图像，并对日间帧图像进行异常行为标注；
[0023]步骤S2、搭建无监督的生成对抗网络enlightenGAN，通过分割得到的夜间帧图像对生成对抗网络enlightenGAN模型进行训练；
[0024]步骤S3、搭建异常行为实时检测网络yolov3，通过标注了异常行为的日间帧图像对yolov3模型进行训练；
[0025]步骤S4、使用训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于GAN网络的工地夜间异常实时检测方法，其特征在于：所述方法包括如下步骤：步骤S1、在建筑工地使用监控设备采集日间与夜间的监控视频，并按时间先后顺序将两种视频分割成帧图像，并对日间帧图像进行异常行为标注；步骤S2、搭建无监督的生成对抗网络enlightenGAN，通过分割得到的夜间帧图像对生成对抗网络enlightenGAN模型进行训练；步骤S3、搭建异常行为实时检测网络yolov3，通过标注了异常行为的日间帧图像对yolov3模型进行训练；步骤S4、使用训练好的enlightenGAN网络对昏暗的夜间帧图像进行图像亮度增强；步骤S5、使用训练好的yolov3网络对图像亮度增强后的夜间帧图像进行异常行为实时检测，将异常行为在图像上标注出来；步骤S6、将标注好的帧图像按时间顺序重新拼接成视频，并传输给工作人员，工作人员进行异常实时检测。2.根据权利要求1所述的一种基于GAN网络的工地夜间异常实时检测方法，其特征在于：所述方法使用的enlightenGAN网络采用双判别器来平衡全局和局部低光增强，所述方法采用自特征保留损失的方式对真实数据进行监督，即利用VGG预训练模型约束低光输入图像与增强图像之间的VGG特征距离，该方式在局部和全局上都被采用，并结合对抗性损失对enlightenGAN网络进行训练，提出利用低光输入的光照信息作为各深度特征层次的自正则注意图，对无监督学习进行正则化。3.根据权利要求1所述的一种基于GAN网络的工地夜间异常实时检测方法，其特征在于：所述方法重于异常行为实时检测，因此使用yolov3网络检测异常行为，yolov3利用单一神经网络，基于网格的思想将目标检测任务视作空间分离的边界框和相关的类概率的回归问题，在实时性要求高的场景下更好的做到实时目标检测，同时单一神经网络的模型优化也很容易。4.根据权利要求1所述的一种基于GAN网络的工地夜间异常实时检测方法，其特征在于：yolov3模型由两部分组成：主干特征提取网络和利用主干特征提取网络所提取的特征进行预测的部分。5.根据权利要求4所述的一种基于GAN网络的工地夜间异常实时检测方法，其特征在于：yolov3网络以Darknet
‑
53作为主干特征提取网络，Darknet
‑
53中主要使用了残差卷积；在Darknet
‑
53的残差块中首先利用大小3
...

【专利技术属性】
技术研发人员：刘德建，黄梅玲，李佳，
申请(专利权)人：福建天晴数码有限公司，
类型：发明
国别省市：