一种基于超分辨率重构和自适应挤压激励的烟火检测方法技术

本发明专利技术提供一种基于超分辨率重构和自适应挤压激励的烟火检测方法，其包括对采集到的样本图像进行数据扩增，对扩增后的样本中的模糊图像使用超分辨率模型进行重构；标注出数据集中的烟火目标，得到标注后的数据集；构建烟火检测网络，在其骨干网络和检测层之间添加自适应挤压激励模块，并使用标注后的数据集训练烟火检测网络；使用Hard

【技术实现步骤摘要】
一种基于超分辨率重构和自适应挤压激励的烟火检测方法


[0001]本专利技术涉及计算机视觉和目标检测
，具体涉及一种基于超分辨率重构和自适应挤压激励的烟火检测方法。

技术介绍

[0002]火灾是一种会造成巨大损失的灾害，一旦发生严重威胁到我们生命和财产安全。因此如何防治火灾一直是科学家们研究的一个重要课题，如果能尽早发现烟火并及时发出预警信号，在一定程度上可以大大降低火灾带来的损失。近些年来随着人类在计算机视觉等人工智能领域取得的飞速进展，通过计算机识别图像中的特定目标成为了可能。然而火灾中的火焰和烟雾比较特殊，其颜色和形状等视觉特征处于不断变化之中，识别烟火比识别一般的物体要更加困难。
[0003]传统的烟火检测主要有基于传感器和基于外观特征两种方式。传统的基于传感器烟火检测主要使用湿度传感器、气体传感器、温度传感器等传感器来分析相对湿度、烟雾颗粒以及环境温度等参数以判断是否发生火灾。但是这些传感器必须很靠近着火点才能发出预警，这种检测方法局限性十分明显。为了及时预警就必须将这些传感器大范围高密度地铺设，使得整个系统非常庞大，性价比低。传统的基于外观特征烟火检测主要通过颜色和温度等外观特征进行学习，并使用特定的分类器判断图像区域内是否存在烟火。但是，仅依靠烟火的颜色特征，往往会将灯光、晚霞等目标误判为烟火。因此，仅通过外观特征不能够全面地描述物体的所有属性，很难满足实际的需求。而基于深度学习学到的特征，能很好地表现出物体的外在和内在的关联特征，具有更好的表达性。
[0004]综上所述，基于深度学习的烟火检测仍然是一个具有挑战性的课题。因此，在目标检测任务中提高烟火检测的准确性和鲁棒性，成为现有技术有待解决的问题。

技术实现思路

[0005]为了克服现有技术的不足，本专利技术的目的在于提供一种基于超分辨率重构和自适应挤压激励的烟火检测方法，该方法可以解决现有技术烟火检测的准确性和鲁棒性偏低等问题，能够加快训练的收敛速度，有效检测图像中的烟火目标，在检测速度不受影响的前提下提高检测精度。
[0006]为解决上述问题，本专利技术所采用的技术方案如下：
[0007]一种基于超分辨率重构和自适应挤压激励的烟火检测方法，该方法包括以下步骤：
[0008]采集待检测烟火的样本图像，对采集到的样本图像进行数据扩增，对扩增后的样本中的模糊图像使用超分辨率模型进行重构；
[0009]对重构后的样本集每张图像中待检测的火信息和烟信息进行标注，得到标注后的数据集，并保存对应的类别及位置信息；
[0010]构建烟火检测网络，在其骨干网络和检测层之间添加自适应挤压激励模块，并使
用标注后的数据集训练烟火检测网络；
[0011]使用Hard
‑
Swish激活函数对烟火检测网络进行训练，以增强烟火检测网络的非线性特征提取能力；
[0012]训练烟火检测模型，根据先验框和真实框之间的偏差学习模型参数，选择训练指标最优的烟火检测模型；
[0013]将待测试的视频帧图像依次输入到最优的烟火检测模型中，若图像中存在烟火目标且置信度高于设置阈值，则以矩形框的形式被标记出来，并发出预警提示。
[0014]根据本专利技术提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法，筛选公开数据集和录制燃烧视频进行截图，收集包含待检测烟火的图像样本集，其中烟火样本集的类型包括室内起火、森林起火、车辆起火；时间包括白天起火和夜晚起火；烟雾颜色包括白色烟雾和黑色烟雾。数据扩增的具体方法有：旋转角度、调节亮度和对比度、增加高斯模糊和椒盐噪声，获得扩增后的烟火图像数据集。
[0015]根据本专利技术提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法，所述对扩增后的样本中的模糊图像使用超分辨率模型进行重构，包括：在筛选出扩增后的烟火图像数据集中的模糊图像后，使用超分辨率对抗生成超分辨率模型SRGAN进行图像重构，利用感知损失和对抗损失提高恢复图像的清晰度和保真度，得到清晰的烟火数据集；其中，超分辨率模型SRGAN由生成器网络和鉴别器网络共同组成，生成器网络包括6个残差模块，以及批归一化层和激活函数层；鉴别器网络包含8个卷积层，其中4个步长为2，并由Leaky ReLU函数激活，并连接到2个全连接层上。
[0016]根据本专利技术提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法，使用图像标注软件labelImg标注清晰的烟火数据集中的所有烟火目标，被标注的区域作为正样本，未标注的区域作为负样本，对应的类别信息和位置信息都保存在后缀为xml的文件中。
[0017]根据本专利技术提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法，所述构建烟火检测网络包括：选择YOLOv5作为基线网络，采用Darknet53作为骨干网络进行特征提取，在其骨干网络和检测层之间添加自适应挤压激励模块；在网络的高层语义检测层上添加特征金字塔池化模块，将用于目标检测的特征图像与局部特征和全局特征融合；在检测层中添加一个尺度为104
×
104的YOLO检测头进行多尺度特征融合；在104
×
104和52
×
52的两个检测尺度上添加感受野模块，通过引入多分支卷积和空洞卷积，从而有效增大感受野。
[0018]根据本专利技术提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法，所述自适应挤压激励模块的具体结构为：
[0019]将输入的一个H
×
W
×
C1的特征图分为两条分支，第一条分支首先经过一个全局池化层，输出是1
×1×
C1，其次经过一个全连接层，输出是1
×1×
C/r，然后经过一个ReLU激活函数后再输入到一个全连接层中，输出是1
×1×
C，最后经过一个Sigmoid函数，输出是1
×1×
C2；第二条分支则直接输出原始的输入特征图H
×
W
×
C1，即跳跃连接；
[0020]其中，在自适应挤压激励模块中，增加有信道权值变换的相似性度量，用皮尔逊相关系数来衡量两个张量的相似性，表示为公式(1)；对于小于相似阈值α的变换，采用残差结构张量加法。对于大于相似阈值α的变换，采用直接替换；
[0021][0022]其中，x1为输入张量，x2为输出张量，f1为用于计算两个张量中通道权重的皮尔逊相关系数，α为相似阈值。
[0023]根据本专利技术提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法，在网络的高级语义图像检测层即特征尺度为13
×
13的检测通道增加特征金字塔池化模块，具体包括：特征金字塔池化模块首先将输入特征经过1
×
1的卷积，使信道数减半，然后由四个分支并行操作，分别是卷积核为5
×
5、9
×
9、13
×
13的最大池化和一个跳跃连接，即对卷积操作后的特征图采用5
×本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超分辨率重构和自适应挤压激励的烟火检测方法，其特征在于，该方法包括以下步骤：采集待检测烟火的样本图像，对采集到的样本图像进行数据扩增，对扩增后的样本中的模糊图像使用超分辨率模型进行重构；对重构后的样本集每张图像中待检测的火信息和烟信息进行标注，得到标注后的数据集，并保存对应的类别及位置信息；构建烟火检测网络，在其骨干网络和检测层之间添加自适应挤压激励模块，并使用标注后的数据集训练烟火检测网络；使用Hard
‑
Swish激活函数对烟火检测网络进行训练，以增强烟火检测网络的非线性特征提取能力；训练烟火检测模型，根据先验框和真实框之间的偏差学习模型参数，选择训练指标最优的烟火检测模型；将待测试的视频帧图像依次输入到最优的烟火检测模型中，若图像中存在烟火目标且置信度高于设置阈值，则以矩形框的形式被标记出来，并发出预警提示。2.根据权利要求1所述的方法，其特征在于，所述对扩增后的样本中的模糊图像使用超分辨率模型进行重构，包括：在筛选出扩增后的烟火图像数据集中的模糊图像后，使用超分辨率对抗生成超分辨率模型SRGAN进行图像重构，利用感知损失和对抗损失提高恢复图像的清晰度和保真度，得到清晰的烟火数据集；其中，超分辨率模型SRGAN由生成器网络和鉴别器网络共同组成，生成器网络包括6个残差模块，以及批归一化层和激活函数层；鉴别器网络包含8个卷积层，其中4个步长为2，并由Leaky ReLU函数激活，并连接到2个全连接层上。3.根据权利要求1所述的方法，其特征在于：所述构建烟火检测网络包括：选择YOLOv5作为基线网络，采用Darknet53作为骨干网络进行特征提取，在其骨干网络和检测层之间添加自适应挤压激励模块；在网络的高层语义检测层上添加特征金字塔池化模块，将用于目标检测的特征图像与局部特征和全局特征融合；在检测层中添加一个尺度为104
×
104的YOLO检测头进行多尺度特征融合；在104
×
104和52
×
52的两个检测尺度上添加感受野模块，通过引入多分支卷积和空洞卷积，从而有效增大感受野。4.根据权利要求1所述的方法，其特征在于：所述自适应挤压激励模块的具体结构为：将输入的一个H
×
W
×
C1的特征图分为两条分支，第一条分支首先经过一个全局池化层，输出是1
×1×
C1，其次经过一个全连接层，输出是1
×1×
C/r，然后经过一个ReLU激活函数后再输入到一个全连接层中，输出是1
×1×
C，最后经过一个Sigmoid函数，输出是1
×1×
C2；第二条分支则直接输出原始的输入特征图H
×
W
×
C1，即跳跃连接；其中，在自适应挤压激励模块中，增加有信道权值变换的相似性度量，用皮尔逊相关系数来衡量两个张量的相似性，表示为公式(1)；对于小于相似阈值α的变换，采用残差结构张量加法。对于大于相似阈值α的变换，采用直接替换；
其中，x1为输入张量，x2为输出张量，f1为用于计算两个张量中通道权重的皮尔逊相关系数，α为相似阈值。5.根据权利要求3所述的方法，其特征在于：在网络的高级语义图像检测层即特征尺度为13
×
13的检测通道增加特征金字塔池化模块，具体包括：特征金字塔池化模块首先将输入特征经过1
×
1的卷积，使信道数减半，然后由四个分支并行操作，分别是卷积核为5
×
5、9
×
9、13
×
13的最大池化和一个跳跃连接，即对卷积操作后的特征图采用5
×
5、9
×
9以及13
×
13的最大池化操作，池化步长均为1，完成上述池化步骤后的特征图再与1
...

【专利技术属性】
技术研发人员：张树琪，郑浩东，江泽，单永明，张苹，
申请(专利权)人：珠海市金锐电力科技有限公司，
类型：发明
国别省市：