一种结合高效采样增强的火焰烟雾检测方法技术

本发明专利技术涉及一种结合高效采样增强的火焰烟雾检测方法，属于计算机视觉目标检测技术领域，包括S1：收集火焰及烟雾图像，人工标注得到包含边界框的烟雾火焰数据集；S2：将S1得到的烟雾火焰数据集中的图像进行预处理及数据增强；S3：设计高效采样增强模块；S4：搭建包含高效采样增强模块的网络模型；S5：训练S4搭建的网络模型并输出检测结果。本发明专利技术可以解决火焰及烟雾检测识别准确率低的问题，为后续的火灾检测及火情分析等相关工程应用提供了新的改进思路。进思路。进思路。

【技术实现步骤摘要】
一种结合高效采样增强的火焰烟雾检测方法


[0001]本专利技术涉及一种结合高效采样增强的火焰烟雾检测方法，属于计算机视觉目标检测


技术介绍

[0002]采用计算机视觉领域的目标检测算法可以实现对于目标的识别与定位，从而对火焰进行定位并辅助于消防装置进行灭火操作。同时，随着深度学习研究领域的不断发展，基于深度学习的目标检测方法已经能够达到很高的识别准确率。然而，由于火焰及烟雾这两类目标具有形状多变且不规则的性质，对于火焰和烟雾，目前主流的检测算法并不能达到很高的准确率。
[0003]中国专利申请CN111091072A公开了一种基于YOLOv3的火焰及烟雾的检测方法，该方法主要使用基于深度学习的YOLOv3算法来检测火焰烟雾，通过自行建立数据集，使用YOLOv3算法分别训练出火焰检测模型与烟雾检测模型，在实际系统中结合两个模型的结果来判断是否有火情的发生。然而，上述方法仅采用了目标检测算法来检测火焰烟雾，并没有解决火焰及烟雾检测准确率低的问题。
[0004]因此，针对火焰及烟雾这两类目标的形状多变且不规则的性质来合理设计一种采用增强方法来提高火焰及烟雾的检测准确率意义重大。

技术实现思路

[0005]本专利技术的目的是提供一种结合高效采样增强的火焰烟雾检测方法，解决火焰及烟雾检测识别准确率低的问题，并为后续的火灾检测及火情分析奠定基础。
[0006]为了实现上述目的，本专利技术采用的技术方案是：
[0007]一种结合高效采样增强的火焰烟雾检测方法，包括以下步骤：
[0008]S1：收集火焰及烟雾图像，人工标注得到包含边界框的烟雾火焰数据集；
[0009]S2：将S1得到的烟雾火焰数据集中的图像进行预处理及数据增强；
[0010]S3：设计高效采样增强模块；
[0011]S4：搭建包含高效采样增强模块的网络模型；
[0012]S5：训练S4搭建的网络模型并输出检测结果。
[0013]本专利技术技术方案的进一步改进在于：所述步骤S1的具体操作为：
[0014]采用网络爬虫工具收集搜索引擎图库中火焰和烟雾场景的图像，并截取部分火焰场景的视频图像，对不合格的图像数据进行清洗，然后合并为一个总的火焰烟雾图像集，使用图像标注工具标注出图像中烟雾及火焰的边界框，得到烟雾火焰数据集。
[0015]本专利技术技术方案的进一步改进在于：所述步骤S2的具体操作为：
[0016]加载S1得到的烟雾火焰数据集中的图像及其标签数据后，将图像缩放到一定尺寸的像素大小，以一定的概率将图像的色调、饱和度及明度在一个范围内动态改变，并以一定的概率进行水平翻转，再使用马赛克数据增强方法进行增强。
[0017]本专利技术技术方案的进一步改进在于：所述步骤S3的具体操作为：
[0018]在神经网络中，输入图像经过中间网络层的运算后，得到中间的特征图输出，对于得到的特征图，可变形卷积通过学习得到卷积核每个位置的偏移量后，再进行加权求和操作，用公式可表示为：
[0019][0020]其中，p0为特征图上的某一位置，Ω为像素的八邻域位移偏移量集合，x(.)为特征图某位置的像素向量，y(.)为对输入特征图中某位置做卷积后的输出，w(.)为卷积核某位置的权值向量，Δp为相对卷积核中原来位置新的采样点的偏移量；
[0021]将前一层网络输出的特征图首先经过1x1卷积操作得到新的特征图FMi1，此时通道数量减少为原来的一半，然后将FMi1使用3
×
3的可变形卷积操作得到特征图FMi2，再将FMi1与FMi2在通道方向上进行连接得到第i层网络的输出FMi，将上述操作步骤集合在一个模块内，得到高效采样增强模块。
[0022]本专利技术技术方案的进一步改进在于：所述网络模型的主干网络采用CSPNet结构，在CSPNet的最后一层以及倒数第二层后增加S3设计的高效采样增强模块；网络模型的特征组合层采用PAN结构，融合网络不同层的上下文信息，加强整体特征的提取；网络模型的检测头采用yolo的检测头，用来输出预测的类别信息以及目标框的位置信息。
[0023]本专利技术技术方案的进一步改进在于：所述步骤S5基于Pytorch框架训练网络模型，训练过程所使用的损失函数包括分类损失cls_loss、置信度损失obj_loss和定位损失box_loss；
[0024]所述分类损失cls_loss的表达式为：
[0025][0026]其中，c表示类别数量，l
i
表示i类别是否为真实目标类别，真实值为1，否则为0，P
cli
表示对于该类的预测值；
[0027]所述置信度损失obj_loss的表达式为：
[0028]obj_loss＝(T
conf
‑
P
conf
)2[0029]其中，T
conf
为真值，当含有目标时为1，反之为0，P
conf
为网络预测的置信度；
[0030]所述定位损失box_loss的表达式为：
[0031]box_loss＝(1
‑
CIoU)
[0032]其中，CIoU表示增强版的预测框与真值框的交并比；
[0033]网络模型训练所使用的轮次为300轮；采用的初始学习率为0.01；学习率衰减策略使用余弦退火策略；网络动量设置为0.937；使用预热身策略，热身轮次为3；训练所使用的批次大小为8；
[0034]对于网络模型的输出需经过后处理，即非极大值抑制才能得到最终的预测输出。
[0035]由于采用了上述技术方案，本专利技术取得的技术效果有：
[0036]本专利技术解决了火焰及烟雾检测识别准确率低的问题，具体体现为，所提出的高效采样增强模块解决了普通网络对于火焰及烟雾这类形状变化很大的目标特征提取困难的
问题，从而使得网络的整体检测成功率大幅提高，为后续的火灾检测及火情分析等相关工程应用提供了新的改进思路。
附图说明
[0037]图1是本专利技术的网络结构示意图；
[0038]图2是本专利技术的高效采样增强模块的示意图；
[0039]图3是本方法与原始方法的热力图对比。
具体实施方式
[0040]下面结合附图及具体实施例对本专利技术做进一步详细说明：
[0041]一种结合高效采样增强的火焰烟雾检测方法，包括以下步骤：
[0042]S1：收集火焰及烟雾图像，人工标注得到包含边界框的烟雾火焰数据集
[0043]采用网络爬虫工具收集搜索引擎图库中火焰和烟雾场景的图像，并截取部分火焰场景的视频图像，对不合格的图像数据进行清洗，然后合并为一个总的火焰烟雾图像集，使用图像标注工具标注出图像中烟雾及火焰的边界框，得到烟雾火焰数据集：总计5000张图像，共两个类别，其中火焰实例数量为4653，烟雾实例数量为3747。
[0044]S2：将S1得到的烟雾火焰数据集中的图像进行预处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合高效采样增强的火焰烟雾检测方法，其特征在于，包括以下步骤：S1：收集火焰及烟雾图像，人工标注得到包含边界框的烟雾火焰数据集；S2：将S1得到的烟雾火焰数据集中的图像进行预处理及数据增强；S3：设计高效采样增强模块；S4：搭建包含高效采样增强模块的网络模型；S5：训练S4搭建的网络模型并输出检测结果。2.根据权利要求1所述的一种结合高效采样增强的火焰烟雾检测方法，其特征在于：所述步骤S1的具体操作为：采用网络爬虫工具收集搜索引擎图库中火焰和烟雾场景的图像，并截取部分火焰场景的视频图像，对不合格的图像数据进行清洗，然后合并为一个总的火焰烟雾图像集，使用图像标注工具标注出图像中烟雾及火焰的边界框，得到烟雾火焰数据集。3.根据权利要求1所述的一种结合高效采样增强的火焰烟雾检测方法，其特征在于：所述步骤S2的具体操作为：加载S1得到的烟雾火焰数据集中的图像及其标签数据后，将图像缩放到一定尺寸的像素大小，以一定的概率将图像的色调、饱和度及明度在一个范围内动态改变，并以一定的概率进行水平翻转，再使用马赛克数据增强方法进行增强。4.根据权利要求1所述的一种结合高效采样增强的火焰烟雾检测方法，其特征在于：所述步骤S3的具体操作为：在神经网络中，输入图像经过中间网络层的运算后，得到中间的特征图输出，对于得到的特征图，可变形卷积通过学习得到卷积核每个位置的偏移量后，再进行加权求和操作，用公式可表示为：其中，p0为特征图上的某一位置，Ω为像素的八邻域位移偏移量集合，x(.)为特征图某位置的像素向量，y(.)为对输入特征图中某位置做卷积后的输出，w(.)为卷积核某位置的权值向量，Δp为相对卷积核中原来位置新的采样点的偏移量；将前一层网络输出的特征图首先经过1x1卷积操作得到新的特征图FMi1，此时通道数量减少为原来的一半，然后将FMi1使用3
×
3的可变形卷积操作得到特征图FMi2，再将FMi...

【专利技术属性】
技术研发人员：丁伟利，陈泰宇，华长春，
申请(专利权)人：燕山大学，
类型：发明
国别省市：