一种基于视频理解的森林烟火检测方法、存储介质和设备技术

本发明专利技术公开了一种基于视频理解的森林烟火检测方法、存储介质和设备，属于计算机视觉视频理解和森林烟火视频监测领域。该方法首先获取森林烟火图像，然后采用包括2D网络层和3D网络层的神经网络模型对森林烟火图像执行前向计算，得到森林烟火区域的置信度，通过与设定的置信度阈值进行对比，判断是否发生森林火灾，当所述置信度大于置信度阈值时，认为森林中发生火灾，当所述置信度小于或等于置信度阈值时，则认为森林中未发生火灾。该方法能够减少网络模型参数，有效地提高森林烟火检测的精度和效率，从而高效准确地对森林烟火进行识别。同时公开的一种存储介质以及包括有该存储介质的设备，该设备能够直接进行工程部署，用于高效准确地检测森林烟火。

A method, storage medium and equipment for detecting forest fireworks based on video understanding

【技术实现步骤摘要】
一种基于视频理解的森林烟火检测方法、存储介质和设备
本专利技术属于计算机视觉视频理解和森林烟火视频监测领域，具体涉及一种基于视频理解的森林烟火检测方法、存储介质和设备。
技术介绍
森林火灾是一种常见的自然灾害，每年世界上因森林火灾造成的人员伤亡和财产损失都非常巨大，例如近年的美国加州森林大火、印尼森林大火、亚马逊森林大火等，不仅造成了大量的人员伤亡和财产损失，更对自然环境造成了严重的影响。在火灾扑救过程中，投入了大量的人力物力，依然难以有效地对森林大火进行扑灭，森林大火对人类和动物的生存造成了严重的威胁。我国是一个多森林国家，每年因为森林火灾导致的人员伤亡数以万记，财产损失数以亿计，每年为森林火灾预防和扑救投入的人力物力数量更是非常庞大。对于森林火灾，早期发现可以有效降低扑灭难度，减少林业资源的损失且可以有效减少人员伤亡。通过护林员来发现森林火灾，很难对大面积的森林进行有效果管理，因此随着计算机技术和视频技术的发展，通过视频监控系统，可以远程对森林火灾进行监测，有效地降低了人力投入，提高了监控效率。传统单纯通过监控系统监测森林火灾，仍需要人员实时地观看视频图像，以确定火灾的发生情况，但随着机器视觉和深度学习的发展，可以通过设计森林烟火检测算法来对森林图像进行分析处理，自动判断森林火灾情况，从而将人解脱出来。现有技术中有很多关于森林烟火检测的方法，例如申请号为201811179875.7的中国专利公开了一种基于3D卷积神经网络的森林烟火检测方法，该方法采用3D卷积神经网络对森林烟火图像进行分析处理，从而快速准确地判断森林火灾情况。但是采用3D卷积神经网络时，网络模型的参数较多，并且容易出现过拟合的情况，因此该方法速度慢，精度低。对于森林火灾，发现的越早，越能进行提早进行扑救，因此对于森林烟火的检测方法，既需要高的检测精度也需要高的检测速度，尽可能高效准确地对图像进行处理。
技术实现思路
技术问题：本专利技术提供一种基于高效视频理解的森林烟火检测方法，旨在能够降低现有烟火检测算法的模型参数数量，提高检测的速度和精度，从而高效准确地森林烟火图像进行分析处理，对森林火灾情况进行判断。同时提供一种存储介质以及包括该介质的设备，用于工程部署，进行森林烟火检测。技术方案：本专利技术的基于视频理解的森林烟火检测方法，首先获取森林烟火图像，然后采用包括2D网络层和3D网络层的神经网络模型对森林烟火图像执行前向计算，得到森林烟火区域的置信度，通过与设定的置信度阈值进行对比，判断是否发生森林火灾，当所述置信度大于置信度阈值时，认为森林中发生火灾，当所述置信度小于或等于置信度阈值时，则认为森林中未发生火灾。进一步地，搭建并训练所述神经网络模型按如下步骤：S1：建立基于图像序列的森林烟火图像样本数据集，样本数据集中的图像样本包括正样本和负样本；S2：采用2D神经网络模型靠近于输入端的低层网络结构作为2D网络层，用于提取单帧图像特征提取；采用3D神经网络模型靠近输出短的高层网络结构作为3D网络层，并连接池化层、全连接层和softmax分类器，用于对图像进行分类判断；S3：采用开源数据集对所述神经网络模型的2D网络层和3D网络层进行训练，初步确定2D网络层和3D网络层的参数；S4：采用森林烟火图像样本数据集对所述神经网络模型进行再训练，优化确定神经网络模型参数，并保存权值文件。进一步地，所述步骤S2中，采用2D神经网络模型VGG、Mobilenet、Resnet、Densenet或BN-Inception的靠近输入端的低层网络构建2D网络层。进一步地，所述步骤S2中，采用3D神经网络模型3D-Resent或3D-DenseNet的靠近输出端的高层网络结构构建3D网络层。进一步地，所述步骤S2中采用BN-Inception网络模型中inception-3c层及该层之前的所有网络层构建2D网络层。进一步地，所述步骤S2中采用3D-Resent中的3D-Resent18网络模型，并采用3D-Resent18网络模型的conv3_x、conv4_x和conv5_x层构建3D网络层。进一步地，在采用神经网络模型执行前向计算之前，采用动态区域检测算法对森林烟火图像进行动态检测，将疑似烟火区域作为待检测区域，并获取待检测区域连续多帧图像序列。进一步地，所述动态区域检测算法为帧间法或背景减除法。进一步地，所述步骤S1中，选择连续若干帧烟火区域图像作为一个正样本，选择连续若干帧非烟火区域图像作为一个负样本，每个正样本与负样本的帧数长度相同。进一步地，所述步骤S4中，对神经网络模型进行再训练时，采用SGD、Adam或RMSPROP算法，迭代优化模型参数。本专利技术的存储介质，存储用于执行所述的森林烟火检测的方法的计算机程序指令，所述指令被执行时使得该介质能够：获取森林烟火图像；读取训练好的神经网络模型的权值文件，调用神经网络模型，对所述图像序列执行前向计算，得到森林烟火区域的置信度；将所述置信度与置信度阈值进行比较，判断是否发生火灾；当进行动态检测时，能够采用动态区域检测算法对森林烟火图像进行动态检测，将疑似烟火区域作为待检测区域，并获取待检测区域连续多帧图像序列。本专利技术的设备，包括一个或多个所述的存储介质。有益效果：本专利技术与现有技术相比，具有以下优点：本专利技术的基于视频理解的森林烟火检测方法，搭建了包含2D网络层和3D网络层的神经网络模型，利用2D网络层提取单帧图像特征，然后将提取到的特征输入到3D网络层中，通过3D网络层学习图像序列之间的上下文信息，从而显著改善模型的预测精度。同时，克服了现有技术中，单纯采用纯3D网络时，计算量大、模型参数多、容易过拟合等缺点，从而极大地提高了运算速度。本专利技术的方法中的2D网络层可使用共享的参数权重对每一帧图像进行处理，故在一定的参数与计算量下，本专利技术的方法可以使用更深的网络结构，更宽的特征维度以及更高的输入图像分辨率，从而达到更好的预测效果。因此，本专利技术的方法与现有方法相比，有效地提高了预测精度，降低了计算量，极大地提高了运算速度，从而能够更加高效准确地对森林烟火进行检测。当采用部署了该方法的设备进行森林烟火检测时，有效地提高了检测速度和检测精度，从而能够及早地发现森林火灾，尽早进行扑救。附图说明图1为本专利技术的基于视频理解的森林烟火检测方法的流程图；图2为本专利技术中的神经网络模型的结构示意图。具体实施方式下面结合实施例和说明书附图对本专利技术作进一步的说明。结合图1所示，对本专利技术基于视频理解的森林烟火检测方法的具体实施进行说明，该方法通过森林烟火视频监控系统或去森林烟火图像，然后采用神经网络模型对森林烟火图像执行前向计算，得到森林烟火区域的置信度，然后根据置信度对森林火灾情况进行判断，该方法的主要部分在于神经网络模型的搭建和训练。按图1中虚线框部分，搭建和训练神经网络模型的过程如下：S1：通过森本文档来自技高网...

【技术保护点】
1.一种基于视频理解的森林烟火检测方法，其特征在于，获取森林烟火图像，采用包括2D网络层和3D网络层的神经网络模型对森林烟火图像执行前向计算，得到森林烟火区域的置信度，通过与设定的置信度阈值进行对比，判断是否发生森林火灾，当所述置信度大于置信度阈值时，认为森林中发生火灾，当所述置信度小于或等于置信度阈值时，则认为森林中未发生火灾。/n

【技术特征摘要】
1.一种基于视频理解的森林烟火检测方法，其特征在于，获取森林烟火图像，采用包括2D网络层和3D网络层的神经网络模型对森林烟火图像执行前向计算，得到森林烟火区域的置信度，通过与设定的置信度阈值进行对比，判断是否发生森林火灾，当所述置信度大于置信度阈值时，认为森林中发生火灾，当所述置信度小于或等于置信度阈值时，则认为森林中未发生火灾。


2.根据权利要求1所述的一种基于视频理解的森林烟火检测方法，其特征在于，搭建并训练所述神经网络模型按如下步骤：
S1：建立基于图像序列的森林烟火图像样本数据集，样本数据集中的图像样本包括正样本和负样本；
S2：采用2D神经网络模型靠近于输入端的低层网络结构作为2D网络层，用于提取单帧图像特征提取；采用3D神经网络模型靠近输出短的高层网络结构作为3D网络层，并连接池化层、全连接层和softmax分类器，用于对图像进行分类判断；
S3：采用开源数据集对所述神经网络模型的2D网络层和3D网络层进行训练，初步确定2D网络层和3D网络层的参数；
S4：采用森林烟火图像样本数据集对所述神经网络模型进行再训练，优化确定神经网络模型参数，并保存权值文件。


3.根据权利要求2所述的一种基于视频理解的森林烟火检测方法，其特征在于，所述步骤S2中，采用2D神经网络模型VGG、Mobilenet、Resnet、Densenet或BN-Inception的靠近输入端的低层网络构建2D网络层。


4.根据权利要求2所述的一种基于视频理解的森林烟火检测方法，其特征在于，所述步骤S2中，采用3D神经网络模型3D-Resent或3D-DenseNet的靠近输出端的高层网络结构构建3D网络层。


5.根据权利要求3所述的一种基于视频理解的森林烟火检测方法，其特征在于，所述步骤S2中采用BN-Inception网络模型中inception-3c层及该层之前的所有网络层构建2...

【专利技术属性】
技术研发人员：张广铭，洪刚俊，陆勇，
申请(专利权)人：南京恩博科技有限公司，
类型：发明
国别省市：江苏;32