一种基于卷积神经网络的视频野外火灾烟雾实时检测方法技术

本发明专利技术提出了一种基于卷积神经网络的视频野外火灾烟雾实时检测方法。本发明专利技术通过实验模拟方式收集烟雾图像数据集并创建训练集、测试集及验证集；分别对训练集、测试集及验证集进行自动标注结合人工调整，分别得到带真实标签的训练集、测试集以及验证集；对带真实标签的训练集以及验证集进行图像旋转处理、颜色通道加减色处理、缩放处理得到处理后带真实标签的训练集、验证集；初始化卷积神经网络参数，根据缩放处理后带真实标签的训练集训练建立好的卷积神经网络模型；实时采集待检测野外监控画面图像，通过训练后卷积神经网络模型预测烟雾目标检测框并进行优化；在训练后卷积神经网络模型给出的目标检测结果上进行帧间置信度增强以及重定位。

A Real-time Detection Method of Fire Smoke in Video Field Based on Convolutional Neural Network

The invention proposes a video field fire smoke real-time detection method based on convolution neural network. The invention collects smoke image data sets and creates training sets, test sets and verification sets by means of experimental simulation; automatically annotates training sets, test sets and verification sets, and manually adjusts them to obtain training sets, test sets and verification sets with real labels, respectively; and rotates the training sets and verification sets with real labels, adds and subtracts color channels, and adds and subtracts color channels to the training sets and verification sets with real labels. After processing and scaling, the training set and verification set with real labels are obtained; the parameters of convolution neural network are initialized, and the convolution neural network model is established according to the training set with real labels after scaling; the image of field surveillance picture to be detected is collected in real time, and the smoke target detection frame is predicted and optimized by the convolution neural network model after training; Inter-frame confidence enhancement and relocation are performed on the target detection results given by the post-convolution neural network model.

【技术实现步骤摘要】
一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
本专利技术属于烟雾检测的
，特别涉及一种基于卷积神经网络的视频野外火灾烟雾实时检测方法。
技术介绍
野外火灾由于自然的温度因素或者人为焚烧秸秆等人类活动原因时有发生，发生地点隐蔽或监管区域面积过大，一旦发生火灾可能会造成巨大的经济损失。早期的野外火灾检测依靠巡视员站在高处的瞭望台监视，但是繁重的监视任务和人有限的精力造成有时不能提前发现火灾做出预警，同时野外火灾也存在难以布置温度传感器等传统技术的局限性，所以近年来，许多学者将目光从火灾中的火焰目标转移到了火灾发生同时产生的烟雾目标，火灾早期烟雾目标比较明显，能够更快的帮助人们做出预测和判决。采用视频监控，利用图像处理进行野外火灾烟雾目标检测技术得到较大发展。现今主流的野外火灾烟雾检测分为两种思路：第一种，利用烟雾的动态特征与静态特征相结合的思路进行烟雾检测，该种思路往往先采用大量的烟雾图片训练分类器，然后对待检测视频常常利用帧间烟雾的动态特征，采用帧间差，光流法等算法先确定疑似烟雾区域，然后对疑似烟雾区域提取边缘，形状或者小波域等静态特征使用分类器进行分类，确定最终烟雾检测结果。第二种：采用端到端的卷积神经网络模型，直接利用目标检测的成熟技术例如FasterRCNN模型，在训练网络之前，收集大量样本，样本可以是来自真实自然环境，也可以通过合成烟雾样本技术增加样本的多样性，以保证训练能够学习到烟雾的本质特征，提高烟雾检测鲁棒性。但是以上方法仍然存在烟雾检测的实时性和准确度难以兼顾的问题。所以本专利技术面向野外环境,在传统光学摄像头获取的监控视频上采用基于深度学习的目标检测方法进行烟雾检测。目标检测实际上是在图像中同时给出感兴趣目标的类别和位置。基于深度学习的目标检测算法一般采用卷积神经网络结构，利用待检测目标的大量已标注数据对卷积神经网络采用合适的学习策略进行训练，同时完成目标检测中的两大基本问题：定位和分类。测试阶段，加载训练好的网络模型进行预测判别，经过相关后处理，提升检测鲁棒性，完成烟雾检测任务，做出相应的预警，给相关人员决策提供依据和参考。
技术实现思路
本专利技术的目的在于提供一种基于卷积神经网络的视频野外视频火灾烟雾实时检测方法，该方法能够在实际环境中高精度且实时完成烟雾检测任务，具体方法流程如图1所示。本专利技术提供的基于卷积神经网络的野外视频火灾烟雾实时检测方法包括以下具体步骤：步骤1：通过实验模拟方式收集烟雾图片，在以上图片中随机挑选具有光照变化、尺度变化和场景变化的烟雾图片组成烟雾图像数据集，对烟雾图像数据集进行标注，将已标注烟雾图像按比例划分为训练集、测试集及验证集，在测试集的基础上添加两段视频数据一起作为评估的数据集；步骤2：根据fDSST跟踪算法分别对训练集、测试集及验证集进行自动标注结合人工调整，分别得到带真实标签的训练集，带真实标签的测试集以及带真实标签的验证集；步骤3：对带真实标签的训练集和带真实标签的验证集中每个样本图片分别进行图像旋转处理以及颜色通道的加减色处理，图像旋转处理以及颜色通道的加减色处理后组成扩充后带真实标签的训练集以及扩充后带真实标签的验证集，对扩充后带真实标签的训练集以及扩充后带真实标签的验证集进行缩放处理，分别得到缩放处理后带真实标签的训练集以及缩放处理后带真实标签的验证集；步骤4：采用基于微调训练思想设定相关参数和学习策略以初始化卷积神经网络参数，根据步骤3中缩放处理后带真实标签的训练集训练卷积神经网络得到训练后卷积神经网络；步骤5：实时采集待检测野外监控画面图像，将视频流中的每一帧图片经过上述步骤3中所述缩放处理以及边界补齐操作得到训练后卷积神经网络的标准输入尺寸图像，然后通过网络的前向传播得到输出计算，输出结果包含烟雾目标的位置信息和置信度概率信息，利用置信度阈值TS去除低置信度目标检测框，然后采用非极大值抑制技术得到最后训练后卷积神经网络预测最优的烟雾目标检测框；步骤6：在训练后卷积神经网络给出的目标检测结果上进行帧间置信度增强以及重定位；作为优选，步骤1中所述图像数据集为D，步骤1中所述已标注烟雾图像为步骤1中所述训练集为STrain用以建立网络模型，步骤1中所述验证集为SValid用来帮助选择模型中的超参数，步骤1中所述测试集为STest用来评估模型的泛化能力，评估的数据集为SValuate用于综合评估本文提出方法的鲁棒性；作为优选，步骤2中所述训练集为STrain，所述验证集为SValid，所述测试集为STest；步骤2中所述fDSST跟踪算法分别对训练集STrain、测试集SValid及验证集STest进行自动标注结合人工调整具体过程为：设t-1帧中烟雾目标位置为Pt-1，目标尺度为St-1，第一帧的目标位置人为给出；设t-1帧位置模型At-1和尺度模型Bt-1，初始位置模型和尺度模型由目标周围样本给出；采用t-1帧中的目标的具体位置和尺度，以及位置模型At-1和尺度模型Bt-1，利用相关滤波法得到t帧的目标位置估计Pt和目标尺度St；用目标周围的样本更新t帧位置模型At和尺度模型Bt；根据上述自动标注结合人工调整得到步骤2中所述带真实标签的训练集为STraingt，带真实标签的测试集为STestgt，带真实标签的验证集为SValidgt，人工调整的具体原则为：尽可能给定紧密的包围框使得物体刚好被标注框包围，同时背景部分尽可能少；作为优选，步骤3中所述带真实标签的训练集STraingt和带真实标签的验证集SValidgt中每个样本图片为F(x,y)；步骤3中所述图像旋转处理为：输入图像F(x,y)中的任意某一点坐标为(x0,y0)，首先人为指定旋转角度θ，图像旋转中心为原始图像F(x,y)的正中心，则由以下公式可以得到旋转后的图像G(x,y)中对应点坐标(x,y)，将旋转后的图像G(x,y)进一步采取插值得到旋转处理后图像；颜色通道的加减色处理为：对带真实标签的训练集STraingt和带真实标签的验证集SValidgt中每个样本图片F(x,y)三通道RGB图像在HSV空间内进行加减色处理，然后反变换回RGB彩色空间，作为增强后的图片，处理公式如下：上述公式中，Hue(i,j),Saturation(i,j),Value(i,j)分别为H，S，V三个分通道在某一像素点值，λ,β,γ分别为H通道的增减色变化值，S通道增减色调整因子，H通道增减色调整因子，这三个值在数据增强中是随机生成，然后分别对相应通道进行增减色调整，然后转换为RGB图像，做为最后的增强图像的；图像旋转处理以及颜色通道的加减色处理后带真实标签的训练集联合原始带真实标签的训练集STraingt组成扩充后带真实标签的训练集STrainepgt；图像旋转处理以及颜色通道的加减色处理后带真实标签的验证集联合原始带真实标签的验证集SValidgt组成扩充后带真实标签的验证集SValidepgt；步骤3中所述缩放处理为将扩充后带真实标签的训练集为STrainepgt和扩充后带真实标签的验证集SValidepgt中所有样本图像作为输入图像，按照长宽比例缩放：假设某一原始输入图像为Iorg，其图片尺寸的宽和高是W×H，创建符合网络输入要求尺寸为416×416的三通道图像Inetblac本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的视频野外火灾烟雾实时检测方法，其特征在于，包括以下步骤：步骤1：通过实验模拟方式收集烟雾图片，在以上图片中随机挑选具有光照变化、尺度变化和场景变化的烟雾图片组成烟雾图像数据集，对烟雾图像数据集进行标注，将已标注烟雾图像按比例划分为训练集、测试集及验证集，在测试集的基础上添加两段视频数据一起作为评估的数据集；步骤2：根据fDSST跟踪算法分别对训练集、测试集及验证集进行自动标注结合人工调整，分别得到带真实标签的训练集，带真实标签的测试集以及带真实标签的验证集；步骤3：对带真实标签的训练集和带真实标签的验证集中每个样本图片分别进行图像旋转处理以及颜色通道的加减色处理，图像旋转处理以及颜色通道的加减色处理后组成扩充后带真实标签的训练集以及扩充后带真实标签的验证集，对扩充后带真实标签的训练集以及扩充后带真实标签的验证集进行缩放处理，分别得到缩放处理后带真实标签的训练集以及缩放处理后带真实标签的验证集；步骤4：采用基于微调训练思想设定相关参数和学习策略以初始化卷积神经网络参数，根据步骤3中缩放处理后带真实标签的训练集训练卷积神经网络得到训练后卷积神经网络；步骤5：实时采集待检测野外监控画面图像，将视频流中的每一帧图片经过上述步骤3中所述缩放处理以及边界补齐操作得到训练后卷积神经网络的标准输入尺寸图像，然后通过网络的前向传播得到输出计算，输出结果包含烟雾目标的位置信息和置信度概率信息，利用置信度阈值TS去除低置信度目标检测框，然后采用非极大值抑制技术得到最后训练后卷积神经网络预测最优的烟雾目标检测框；步骤6：在训练后卷积神经网络给出的目标检测结果上进行帧间置信度增强以及重定位。...

【技术特征摘要】
1.一种基于卷积神经网络的视频野外火灾烟雾实时检测方法，其特征在于，包括以下步骤：步骤1：通过实验模拟方式收集烟雾图片，在以上图片中随机挑选具有光照变化、尺度变化和场景变化的烟雾图片组成烟雾图像数据集，对烟雾图像数据集进行标注，将已标注烟雾图像按比例划分为训练集、测试集及验证集，在测试集的基础上添加两段视频数据一起作为评估的数据集；步骤2：根据fDSST跟踪算法分别对训练集、测试集及验证集进行自动标注结合人工调整，分别得到带真实标签的训练集，带真实标签的测试集以及带真实标签的验证集；步骤3：对带真实标签的训练集和带真实标签的验证集中每个样本图片分别进行图像旋转处理以及颜色通道的加减色处理，图像旋转处理以及颜色通道的加减色处理后组成扩充后带真实标签的训练集以及扩充后带真实标签的验证集，对扩充后带真实标签的训练集以及扩充后带真实标签的验证集进行缩放处理，分别得到缩放处理后带真实标签的训练集以及缩放处理后带真实标签的验证集；步骤4：采用基于微调训练思想设定相关参数和学习策略以初始化卷积神经网络参数，根据步骤3中缩放处理后带真实标签的训练集训练卷积神经网络得到训练后卷积神经网络；步骤5：实时采集待检测野外监控画面图像，将视频流中的每一帧图片经过上述步骤3中所述缩放处理以及边界补齐操作得到训练后卷积神经网络的标准输入尺寸图像，然后通过网络的前向传播得到输出计算，输出结果包含烟雾目标的位置信息和置信度概率信息，利用置信度阈值TS去除低置信度目标检测框，然后采用非极大值抑制技术得到最后训练后卷积神经网络预测最优的烟雾目标检测框；步骤6：在训练后卷积神经网络给出的目标检测结果上进行帧间置信度增强以及重定位。2.根据权利要求1所述的基于卷积神经网络的视频野外火灾烟雾实时检测方法，步骤1中所述图像数据集为D，步骤1中所述已标注烟雾图像为步骤1中所述训练集为STrain用以建立网络模型，步骤1中所述验证集为SValid用来帮助选择模型中的超参数，步骤1中所述测试集为STest用来评估模型的泛化能力，评估的数据集为SValuate用于综合评估本文提出方法的鲁棒性。3.根据权利要求1所述的基于卷积神经网络的视频野外火灾烟雾实时检测方法，步骤2中所述训练集为STrain，所述验证集为SValid，所述测试集为STest；步骤2中所述fDSST跟踪算法分别对训练集STrain、测试集SValid及验证集STest进行自动标注结合人工调整具体过程为：设t-1帧中烟雾目标位置为Pt-1，目标尺度为St-1，第一帧的目标位置人为给出；设t-1帧位置模型At-1和尺度模型Bt-1，初始位置模型和尺度模型由目标周围样本给出；采用t-1帧中的目标的具体位置和尺度，以及位置模型At-1和尺度模型Bt-1，利用相关滤波法得到t帧的目标位置估计Pt和目标尺度St；用目标周围的样本更新t帧位置模型At和尺度模型Bt；根据上述自动标注结合人工调整得到步骤2中所述带真实标签的训练集为STraingt，带真实标签的测试集为STestgt，带真实标签的验证集为SValidgt，人工调整的具体原则为：尽可能给定紧密的包围框使得物体刚好被标注框包围，同时背景部分尽可能少。4.根据权利要求1所述的基于卷积神经网络的视频野外火灾烟雾实时检测方法，步骤3中所述带真实标签的训练集STraingt和带真实标签的验证集SValidgt中每个样本图片为F(x,y)；步骤3中所述图像旋转处理为：输入图像F(x,y)中的任意某一点坐标为(x0,y0)，首先人为指定旋转角度θ，图像旋转中心为原始图像F(x,y)的正中心，则由以下公式可以得到旋转后的图像G(x,y)中对应点坐标(x,y)，将旋转后的图像G(x,y)进一步采取插值得到旋转处理后图像；颜色通道的加减色处理为：对带真实标签的训练集STraingt和带真实标签的验证集SValidgt中每个样本图片F(x,y)三通道RGB图像在HSV空间内进行加减色处理，然后反变换回RGB彩色空间，作为增强后的图片，处理公式如下：上述公式中，Hue(i,j),Saturation(i,j),Value(i,j)分别为H，S，V三个分通道在某一像素点值，λ,β,γ分别为H通道的增减色变化值，S通道增减色调整因子，H通道增减色调整因子，这三个值在数据增强中是随机生成，然后分别对相应通道进行增减色调整，然后转换为RGB图像，做为最后的增强图像的；图像旋转处理以及颜色通道的加减色处理后带真实标签的训练集联合原始带真实标签的训练集STraingt组成扩充后带真实标签的训练集STrainepgt；图像旋转处理以及颜色通道的加减色处理后带真实标签的验证集联合原始带真实标签的验证集SValidgt组成扩充后带真实标签的验证集SValidepgt；步骤3中所述缩放处理为将扩充后带真实标签的训练集为STrainepgt和扩充后带真实标签的验证集SValidepgt中所有样本图像作为输入图像，按照长宽比例缩放：假设某一原始输入图像为Iorg，其图片尺寸的宽和高是W×H，创建符合网络输入要求尺寸为416×416的三通道图像Inetblack，其像素值全为0；如果W＞H，保持宽高比的情况下缩放得到图像Ir...

【专利技术属性】
技术研发人员：张海剑，蔡忠强，胡月，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42