基于RecursiveBIFPN网络的室外火灾烟雾图像检测方法技术

一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法，先采集火灾烟雾图片，再使用火灾烟雾检测网络进行检测。检测步骤包括：利用YOLOV5的主干网络提取三个分辨率不同的多尺度特征图；构建的Recursive BIFPN注意力模型，利用Recursive BIFPN将主干网络提取出的三个不同分辨率的特征图进行两次特征融合和增强；用Swin Transformer探测头代替YOLOV5原有的探测头，用于火灾图像中不同大小的烟雾目标分类。本发明专利技术Recursive BIFPN有利于提高复杂背景下的火灾烟雾检测精度，并分辨出云、雾等干扰对象；基于Swin Transformer的探测头有利于检测图像中烟雾区域面积差异较大的不同烟雾目标，尤其是提高早期火灾或远距离拍摄导致的小烟的检测精度。导致的小烟的检测精度。导致的小烟的检测精度。

【技术实现步骤摘要】
基于Recursive BIFPN网络的室外火灾烟雾图像检测方法


[0001]本技术方案属于图像处理领域，具体是一种使用图像处理的烟雾检测神经网络的火灾检测方法。

技术介绍

[0002]频繁发生的野火不仅严重损害着植被、生态及环境，而且可能使得当地的物种濒临灭绝，因此基于机器视觉的早期野火火灾探测技术和模型被广泛应用。由于野外场景宽阔、植被的遮挡的原因，相比于火焰，烟雾更易被察觉到，然而，烟雾外形不固定，颜色也有区别。因此，研究可靠的火灾烟雾探测系统对于人民生命财产安全，以及生态系统的保护都具有重要的意义。
[0003]早期传统的基于传感器的方法在野外宽阔的场地，很容易受到空间大小，气流大小等影响因素的干扰，使得其无法及时进行预警。而基于计算机视觉的传统火灾探测方法则依赖于研究者人为定义的特征如颜色、纹理特征等，这些人为设定的特征通常只适合于特定的场景和视频，泛化能力很差，而且火焰检测的精度也较低。近年来，卷积神经网络(CNN)被广泛地应用于火焰检测领域。虽然目前这些检测网络可以直接运用在火灾烟雾检测上，但在面临室外的环境时，这些方法会面临如下的问题：早期野火火灾发生时生成的浓烟尤其是白烟，与云、雾等具有一定的相似度，这些方法会造成较高的误报率。而且，对于受风的影响飘动的烟雾，以及受雾气等导致的分辨率低的烟雾图像的检测准确率也较低。
[0004]现有技术中：
[0005]公开号为CN110751089A的“基于数字图像和卷积特征的火焰目标检测方法”中，首先制作包含视频动态特征的数据集；然后将经典的Faster R
‑
CNN中VGG16的标准卷积替换为深度可分离卷积，并减少卷积层数；接着根据RPN产生的候选框从原图裁剪出256个图像块，对每个图像块提取LBP特征；再通过卷积缩减ROI池化层输出特征图尺寸以及全连接层神经元数量；最后将提取的LBP特征，数据集中的动态特征与池化后平铺的特征向量合并，送入全连接层进行分类和回归。该方法与现有的目标检测方法类似，当应用于野外火灾烟雾检测时，存在的局限性主要是难以区分天空中的云和火灾烟雾，因为空中的云的颜色和纹理与火灾烟雾非常相似，如果Faster CNN检测出的疑似烟雾图像中会包含空中的云，仅仅依靠LBP纹理特征难以区分。此外，野外火灾的摄像头通常会监控几公里的范围，拍摄的图片中烟雾目标可能会很小，如本说明书附图6的第一行第一列和第三列的图像，对于这样的火灾烟雾目标，Faster CNN会产生漏报的情况。本说明书的具体实施方式中的表1和表2的实验结果也证明了Faster R
‑
CNN应用于野外火灾烟雾检测的不足。
[0006]公开号为CN115171047A的“基于轻量级长短距离注意力transformer网络的火灾图像检测方法“中，先采集火焰图片；再使用火焰检测网络进行检测，步骤包括：1)利用设计的轻量级特征提取主干网络处理输入待检测火焰图片，并输出提取到的三个不同分辨率的多尺度火焰特征；2)构建基于BiFPN的特征融合网络对前述多尺度火焰特征进行特征融合处理，并输出融合了三个不同分辨率层的融合特征；3)网络的分类层对前述融合特征进行
分类预测，判断火焰的存在及其在图像中的位置。由于该方法是针对火焰检测设计的，而火焰的颜色和纹理与背景中的对象差别更明显，当应用于野外火灾烟雾检测时，该方法存在的局限性是由于天空中的云与火灾烟雾非常相似，采用BiFPN的特征融合网络不能很好地增强烟雾特征，因此，无法很好地区分天空中的云和火灾烟雾。本说明书的具体实施方式中的表1的第5行和第6行的实验结果也说明了BiFPN特征融合网络的局限性。

技术实现思路

[0007]为了解决现有技术中存在的上述问题，突破现有技术的上述局限性，本专利技术提出了一种采用Recursive BIFPN与Swin Transformer改进的火灾烟雾目标检测YOLO网络进行火灾检测的方法。
[0008]本专利技术基于多尺度特征学习、Recursive BIFPN特征增强和Swin Transformer分类探测策略，设计了一种结合Recursive BIFPN多尺度特征增强和Swin Transformer全局建模优势的网络结构，形成了一个新的火灾烟雾检测框架。
[0009]本专利技术提出的网络运用Recursive BIFPN增强和融合烟雾的多尺度特征；Swin Transformer的引入为网络增强了全局建模能力，提高网络区别烟雾与干扰对象的能力；同时，能够更好地预测不同尺寸，尤其是早期的小尺寸烟雾。
[0010]本专利技术具体步骤如下：
[0011]步骤1.输入待检测火灾烟雾图片，利用YOLOV5主干网络提取特征，并输出提取到的三个不同分辨率的多尺度烟雾特征图；
[0012]步骤2.构建基于Recursive BiFPN的特征融合网络对步骤1得到的多尺度烟雾特征进行特征融合处理，并对融合后的特征进行递归(Recursive)操作，与相同分辨率的原始特征再次融合，并将经过递归和二次融合操作后的特征输出；
[0013]步骤2.1将步骤1中三个不同分辨率的多尺度火灾烟雾特征图送入特征融合网络中；
[0014]步骤2.2构建Recursive BIFPN特征融合网络；
[0015]步骤2.2.1运用BIFPN对步骤1)中三个不同分辨率的多尺度火灾烟雾特征图进行第一次融合。先从低往高、再从高往低依次进行反卷积上采样和池化下采样，并将输入与输出级联合，进而融合不同卷积层的烟雾特征信息；
[0016]步骤2.2.2将步骤2.2.1)中BIFPN第一次融合后的三个不同分辨率的特征图进行递归操作，即返回到原有的主干网络；
[0017]步骤2.2.3运用BIFPN将步骤2.2.2返回的三个不同分辨率的特征与相应分辨率的主干网络特征二次融合，再次得到三个不同分辨率的多尺度特征图，并根据重要性的不同，对于不同分辨率的特征图赋予相应的权重；
[0018]步骤3.将Swin Transformer Encoder模块引入到了YOLOV5，取代YOLOV5原有的探测头，构建具有全局建模能力的分类探测模块，基于Swin Transformer的检测头对步骤2得到的融合特征进行分类预测，判断其火灾烟雾的存在以及其在图像中的位置；
[0019]步骤3.1将Swin Transformer Encoder模块引入到了YOLOV5，取代YOLOV5原有的探测头；
[0020]步骤3.2通过W
‑
MSA(Window Multi
‑
Head Self Attention)在每个局部窗口中进
Transformer的火灾烟雾图像检测网络。本专利技术采用构建的Recursive BIFPN特征融合模块对主干提取的多尺度特征进行处理，更有效地增强和融合多尺度特征，以便更好地区分云雾与烟雾之间的细微差别；在预测网络中引入Swin Transformer机制，通过其不重叠的窗口与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法，步骤包括：先采集火灾烟雾图片；然后使用火灾烟雾检测网络进行检测；其特征是使用火灾烟雾检测网络检测烟雾目标的步骤包括：步骤1)输入待检测火灾烟雾图片，利用YOLOV5主干网络提取特征，并输出提取到的三个不同分辨率的多尺度火灾烟雾特征图；步骤2)构建Recursive BiFPN的特征融合网络，采用基于Recursive BiFPN的特征融合网络对步骤1)得到的多尺度烟雾特征进行特征融合处理；步骤3)将Swin Transformer Encoder模块引入到了YOLOV5，取代YOLOV5原有的CSPDarknet53中的bottleneck blocks，构建具有全局建模能力的分类探测模块，采用基于Swin Transformer的探测头对步骤2)得到的融合特征进行分类预测，判断其火灾烟雾的存在以及其在图像中的位置；所述步骤2)中：2.1)将步骤1)中的三个不同分辨率的多尺度火灾烟雾特征图送入特征融合网络中；2.2)构建Recursive BIFPN特征融合网络，对步骤2.1)得到的多尺度火灾烟雾特征进行融合，并对融合后的特征进行Recursive操作，与相同分辨率的原始特征再次融合，2.3)将经过Recursive操作和二次融合操作后的特征输出；所述步骤3)中：3.1)将Swin Transformer Encoder模块引入到了YOLOV5，取代YOLOV5原有的探测头；3.2)通过W
‑
MSA(Window Multi
‑
Head Self Attention)在每个局部窗口中进行自注意力的计算，提取烟雾图片的局部特征；3.3)通过SW
‑
MSA(Shifted Window Multi
‑
Head Self Attention)使相邻的两个窗口之间进行交互，达到全局建模的能力，进而提取火灾烟雾图片的全局信息；3.4)根据不同窗口内的特征，最终分类并确定火灾烟雾所存在的位置；Swin Transformer Encoder模块采用层次式结构，使得网络的感受野不同，用于提取火灾烟雾图像的局部特征和全局信息。2.根据权利要求1所述的一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法，其特征是步骤2.2)中，构建Recursive BIFPN特征融合网络，步骤包括：2.2.1)运用BIFPN对步骤1)的各个不同分辨率的多尺度火灾烟雾特征图进行第一次融合：先从低往高、再从高往低依次进行反卷积上采样和池化下采样，并将输入与输出级联，进而融合不同卷积层的多尺度火灾烟雾特征信息图；2.2.2)将步骤2.2.1)中BIFPN第一次融合后的三个不同分辨率的特征图进行递归操作，即返回到原有的主干网络；2.2.3)运用BIFPN将步骤2.2.2)返回的三个不同分辨率的多尺度火灾烟雾特征图与相应分辨...

【专利技术属性】
技术研发人员：赵亚琴，李敖，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：