一种基于3D卷积神经网络的森林烟火检测方法技术

本发明专利技术提供了一种基于3D卷积神经网络的森林烟火检测方法，包括：建立初步的森林烟火图像样本数据集；设计基于3D卷积的神经网络结构，引入表示卷积与池化操作的时间深度参数；利用据集对3D卷积神经网络进行训练优化；对待处理视频以块为单位进行运动检测，判定疑似烟雾区域；利用疑似烟雾区域训练优化后的3D卷积神经网络模型执行前向计算，即得到该疑似烟区的分类结果。本发明专利技术基于3D卷积神经网络，通过3D卷积核在时间轴上滑动组合连续帧的空间特征，挖掘连续子图像的时空特征，在保证高检测率的同时，能够降低大量单帧图像造成的误报，从而大大提高了识别精度，拥有更好的鲁棒性与泛化能力。

【技术实现步骤摘要】
一种基于3D卷积神经网络的森林烟火检测方法
本专利技术属于计算机视觉领域，涉及一种森林烟火视频监测方法，具体涉及一种基于3D卷积神经网络的森林烟火检测方法。
技术介绍
森林火灾是指失去人为控制、在林区大范围蔓延，对森林生态系统造成大量损失的林火行为。随着气候变暖，极端天气多发，全球都进入森林火灾的高发期，森林火灾风险加剧。2016年我国发生森林火灾2034次，比2015年增加30.72％。其中重大火灾1次，2016年比2015年增加83.33％。2016年火场总面积18161公顷，其中受害森林面积6224公顷。2016年我国扑火经费12017.39万元，比2015年增加150.71％。2017年1月至8月，全国共发生森林火灾2841起。其中，重大森林火灾4起、特大森林火灾3起，受害森林面积2.3万公顷，造成人员伤亡44人，与2016年同期相比有所增加。森林是陆地生态系统的主体，森林防火工作是中国防灾减灾工作的重要组成部分。随着高清视频技术和计算机视觉技术的发展，为森林消防的火灾检测开拓了新的思路与方法。传统的林火检测技术是采用分布在林区的传感器设备进行监测，一般部署、维护成本较高。近年来，计算机硬件和图像处理技术开始获得较大进步，林火视频监控系统以其独特的优势在森林火灾检测中开始占据更加重要的位置。与护林员巡检、人工瞭望塔监视、火险要素监测站、卫星林火监测等技术方法相比，基于计算机视觉的林火监测技术有准确高效、报警时效性强、信息多样等重要优势。近年来随着计算机性能的进步和GPU的迅速崛起，计算机视觉技术获得了长足发展，以深度神经网络为代表的图像处理方法在目标检测、动作识别、超分辨率等领域获得了巨大成功，基于计算机视觉的林火监测技术的识别能力正处于新的快速发展阶段。根据视频图像中烟雾和火焰等图像视觉特征进行林火检测，依靠数字图像处理、信号处理、模式识别和深度学习等技术对大面积森林实施林火监控，越来越受到科研人员的关注。但是现有的基于深度学习的方法大多无法学习到序列图像的运动信息，若直接使用通用的卷积神经网络方法，通常效果也不理想，这是因为森林防火视频监控中通常会引入许多干扰信息，例如飞鸟、树枝晃动、蚊虫、监控云台晃动等，会在一定程度上对算法的精确性产生干扰；监控中场景通常也比较复杂，阴影、路面上的车辆以及晃动树梢等都容易引起误检。传统的手工特征无法适应多种场景。而卷积神经网络虽然有强大的特征提取能力，但是针对一些薄雾、道路等还是容易出现烟雾误判，这是因为2D卷积神经网络只提取了图像的静态纹理特征，然而人眼识别烟雾的时候多数场景是依赖于烟雾的运动特征，尤其是目标较远时。若仅仅基于单幅图像往往会引入诸多偶然因素等，导致误报率上升。因此现有检测在实际应用中面临着误报率较高的问题，无法应对多种多样的复杂场景。
技术实现思路
为解决上述问题，本专利技术针对森林防火视频监控的应用场景，设计了基于3D卷积神经网络模型与运动检测的森林烟火检测方法，通过运动目标检测方法得到疑似烟雾区域，其次通过3D卷积神经网络提取疑似烟雾区域的时空特征，通过多帧图像序列进行联合判断。为了达到上述目的，本专利技术提供如下技术方案：一种基于3D卷积神经网络的森林烟火检测方法，包括如下步骤：步骤1：采集森林烟火图像序列样本，建立初步的森林烟火图像样本数据集，数据集包括训练集与测试集；步骤2：设计基于3D卷积的神经网络结构，3D网络中卷积核与池化核尺寸表示为d×k×k，其中参数d表示卷积与池化操作的时间深度；输入森林烟火图像序列样的尺寸为c×l×w×h，其中c为图像通道数，l为序列样本的帧数，w×h表示序列图像的尺寸，3D神经网络通过堆叠多个连续的帧组成一个立方体，然后在立方体中滑动3D卷积核，3D卷积后的输出是包含运动信息的立方体；步骤3：加载森林烟火图像序列样本数据集，将序列随机生成mini-batch对3D卷积神经网络进行训练优化，根据测试精度挑选表现最优异的模型，保存权值文件；步骤4：对待处理视频进行N×N分块，以块为单位进行运动检测，采用基于背景差分法的运动目标提取方法，若某个图像块中的运动目标面积超过设定的阈值，表明该块为变化较大的运动区域，则该块被判定为疑似烟雾区域；步骤5：得到疑似烟雾区域后，通过步骤3训练得到的3D卷积神经网络模型执行前向计算，即得到该疑似烟区的分类结果。优选的，所述步骤1中数据集默认序列长度10帧，序列样本尺寸为10×299×299。进一步的，所述步骤1中样本采集时覆盖各种场景，各种场景包括不同地形地貌、不同距离、不同光照、不同摄像机拍摄角度。具体的，所述步骤2中基于3D卷积的神经网络结构包括5个3D卷积层，4个3DMaxpooling层，2个全连接层，最后使用Softmax层作为真伪二分类器。优选的，所述全连接层的网络节点丢弃率为0.5。具体的，所述步骤3中采用Adam方法进行反向传播，对模型参数迭代优化，损失函数采用交叉熵损失函数L(p,q)：其中p是真实标签向量，q是网络预测的概率向量；pi是真实标签中的第i个元素，qi是神经网络实际输出概率中的第i个元素；对于本场景中的二分类问题，网络最终预测结果应该为0或1；神经网络最后一层的Softmax函数输出的概率分别对应预测为0或1的概率，定义预测结果为1的概率为同理，预测结果为0的概率真实标签对应1和0的概率值表示为py＝1＝y和py＝0＝1-y。具体的，所述步骤4中基于背景差分法的运动目标提取方法采用网格区域划分视频运动目标，首先采用前几帧图像均值作为背景模型，利用背景差技术检测视频运动目标区域，阈值化后得到当前视频的前景区域，通过形态学操作对前景目标预处理后，抛弃面积较小的前景区域块，判定各个网格中前景区域块的面积若大于事先设定的阈值则将该区域块判定为疑似烟雾区域。进一步的，所述步骤5中前向计算时通过综合静态纹理和动态特征得到该区域的判断结果。与现有技术相比，本专利技术具有如下有益效果：1.本专利技术基于网格区域划分的运动目标检测技术进行，过滤小于一定面积的前景目标，减少了运算量和大量误检。2.本专利技术引入卷积神经网络进行特征提取，通过自建的大量森林烟火样本数据集，能大幅提高单帧图像的检测率，同时也保证了单帧静态图像静态特征的有效性。3.3D卷积神经网络模型，与常用的2D卷积网络相比，其更适合学习视频中的时空特征和运动信息。在本方法中，神经网络的卷积操作和池化操作均是3D操作，在时间和空间两个维度上进行。3D卷积神经网络能够从序列样本中学习得到可靠的时空特征表示。本专利技术基于3D卷积神经网络，通过3D卷积核在时间轴上滑动组合连续帧的空间特征，挖掘连续子图像的时空特征，在保证高检测率的同时，能够降低大量单帧图像造成的误报，从而大大提高了识别精度。4.本专利技术能够在保持高检测率的同时，拥有较低的误报率，高效稳定，且易于扩展，与基于单帧的传统识别方法相比，拥有更好的鲁棒性与泛化能力。本方法在森林生态保护、森林烟火检测等方面有着重要的应用价值，对森林防火视频监控领域有重要意义。附图说明图1为本专利技术方法流程图。图2为本专利技术中基于3D卷积的神经网络结构图。具体实施方式以下将结合具体实施例对本专利技术提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本专利技术而不用于限制本专利技术的本文档来自技高网...

【技术保护点】
1.一种基于3D卷积神经网络的森林烟火检测方法，其特征在于，包括如下步骤：步骤1：采集森林烟火图像序列样本，建立初步的森林烟火图像样本数据集，数据集包括训练集与测试集；步骤2：设计基于3D卷积的神经网络结构，3D网络中卷积核与池化核尺寸表示为d×k×k，其中参数d表示卷积与池化操作的时间深度；输入森林烟火图像序列样的尺寸为c×l×w×h，其中c为图像通道数，l为序列样本的帧数，w×h表示序列图像的尺寸，3D神经网络通过堆叠多个连续的帧组成一个立方体，然后在立方体中滑动3D卷积核，3D卷积后的输出是包含运动信息的立方体；步骤3：加载森林烟火图像序列样本数据集，将序列随机生成mini‑batch对3D卷积神经网络进行训练优化，根据测试精度挑选表现最优异的模型，保存权值文件；步骤4：对待处理视频进行N×N分块，以块为单位进行运动检测，采用基于背景差分法的运动目标提取方法，若某个图像块中的运动目标面积超过设定的阈值，表明该块为变化较大的运动区域，则该块被判定为疑似烟雾区域；步骤5：得到疑似烟雾区域后，通过步骤3训练得到的3D卷积神经网络模型执行前向计算，即得到该疑似烟区的分类结果。

【技术特征摘要】
1.一种基于3D卷积神经网络的森林烟火检测方法，其特征在于，包括如下步骤：步骤1：采集森林烟火图像序列样本，建立初步的森林烟火图像样本数据集，数据集包括训练集与测试集；步骤2：设计基于3D卷积的神经网络结构，3D网络中卷积核与池化核尺寸表示为d×k×k，其中参数d表示卷积与池化操作的时间深度；输入森林烟火图像序列样的尺寸为c×l×w×h，其中c为图像通道数，l为序列样本的帧数，w×h表示序列图像的尺寸，3D神经网络通过堆叠多个连续的帧组成一个立方体，然后在立方体中滑动3D卷积核，3D卷积后的输出是包含运动信息的立方体；步骤3：加载森林烟火图像序列样本数据集，将序列随机生成mini-batch对3D卷积神经网络进行训练优化，根据测试精度挑选表现最优异的模型，保存权值文件；步骤4：对待处理视频进行N×N分块，以块为单位进行运动检测，采用基于背景差分法的运动目标提取方法，若某个图像块中的运动目标面积超过设定的阈值，表明该块为变化较大的运动区域，则该块被判定为疑似烟雾区域；步骤5：得到疑似烟雾区域后，通过步骤3训练得到的3D卷积神经网络模型执行前向计算，即得到该疑似烟区的分类结果。2.根据权利要求1所述的基于3D卷积神经网络的森林烟火检测方法，其特征在于，所述步骤1中数据集默认序列长度10帧，序列样本尺寸为10×299×299。3.根据权利要求1所述的基于3D卷积神经网络的森林烟火检测方法，其特征在于，所述步骤1中样本采集时覆盖各种场景，各种场景包括不同地形地貌、不同距离、不同光照、不同摄像机拍摄角度。4.根据权利要求1所述的基于3D卷积神经网络的森林烟...

【专利技术属性】
技术研发人员：路小波，曹毅超，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32