一种轻量级火焰检测网络制造技术

本发明专利技术公开了一种轻量级火焰检测网络，基于YOLOv5网络重构骨干网络得到的全新网络模型。其中，输入短输入为640*640*3的图片，下采样层所使用的结构为StemBlock，之后的特征提取网络是使用添加了SE模块的ShuffleNet V2基本单元所构成的，网络的Neck部分仍与YOLOv5的结构保持一致，使用的是添加了CSP结构的FPN+PAN结构，进行特征融合的工作，并在输出端输出三种不同尺度的特征图像。本发明专利技术的网络具有网络的轻量级优化；该网络模型中加入的StemBlock结构以及SE模块都能够提高网络的特征提取能力，可以弥补使用轻量级骨干网络导致的检测精度下降；该网络模型可以通过格式转化的方法部署到其他嵌入式平台上。的方法部署到其他嵌入式平台上。的方法部署到其他嵌入式平台上。

【技术实现步骤摘要】
一种轻量级火焰检测网络


[0001]本专利技术涉及火焰检测技术，具体涉及一种面向嵌入式设备的，基于YOLOv5改进的轻量级火焰检测网络。

技术介绍

[0002]目前，随着科技发展和现代化进程的推进，火灾发生的频率不断提高。火灾的发生不仅破坏人类的财产资源，而且还会威胁到人类的生命。如果能在火灾发生早期及时发现，找到火灾的发源地及时扑灭，就可以减少大部分火灾引发的损失。因此火灾检测研究具有重要的研究意义。
[0003]在传统的火焰检测中，目前广泛应用的火灾报警器都是基于传感器识别的，如温度传感器、烟雾传感器等，当温度或烟雾达到阀定值时，才会触发报警，这种方式存在一定的延迟性，通常会错过灭火的最佳时间。而且，这些基于传感器的火灾监测也容易受到其他因素的影响，例如烟雾传感器有可能收到尘埃、雾气的影响，造成误报的可能。
[0004]随着深度学习和计算机视觉的迅速发展，视频监控逐渐普及，火灾视频监控技术也相应出现。运用视频监控的方式对火灾进行检测和预警，就不会受到温度、气流等因素影响。然而，现有大部分基于视频监控的早期火焰检测技术需要依赖高性能、高功耗、价格昂贵的服务器，只有使用图形处理器(Graphics Proce
‑
ssing Unit,GPU)才能达到实时监测的要求。对于需要火灾监测的场合，并不都能满足高性能设备的要求，而且高额的成本也会妨碍基于视频的火焰检测的普及。
[0005]随着嵌入式处理器的不断发展，将早期火焰检测系统应用于嵌入式设备已经成为可能。嵌入式设备具有低成本低功耗的优点，可以更好的普及推广给大众应用。而且嵌入式设备的运行与布置更加灵活，可以布置在一些传统检测方法难以遍及的地区，例如对于森林火灾的监控，想要大范围的布置传感器是不现实的，但是如果摄像头等嵌入式设备布置在无人机上进行巡逻监测，就可以完成较大范围的检测任务。如果将火焰检测技术运行于嵌入式设备，就可以更广泛的普及基于视频监控的火焰检测技术，这对火灾预警技术的发展是非常有意义的。
[0006]早期基于图像的火灾探测方法通常依赖于手工制作的像素特征和启发式，涉及不同的阈值。虽然它可能在受控环境中工作得很好,这些基于规则的方法需要持续的阈值调整，想要实现在现实环境中工作相对困难。
[0007]在过去的几年里，深度学习的出现允许自动提取特征。随着深度学习的发展，神经卷积网络(Convolutional Neural Network,CNN)在火焰检测方面带来了显著的改进。这样的进步现在在许多与视频/图像相关的任务中都是最先进的。从手工制作功能的转变使得火灾探测方法更加健壮，更适应现实世界的设置。一些基于CNN的例子包括[1]‑
[3]。
[0008]最近的一个研究分支中，YOLO框架被广泛采用用于火灾监测。YOLO v3实现了最令人满意的性能。此外，有将多尺度输出机制和通道注意力与YOLO v3相结合，以增加网络泛化，有改善了YOLO v4中的回归盒损失以增强小规模火灾探测结果。
[0009]YOLO系列的计算成本通常高于其他先进的轻量级网络(MobileNet系列，ShuffleNet系列等)，需要依赖高性能的平台完成。然而，由于空间以及成本等问题，在许多需要部署火焰检测技术的场所无法满足高性能设备的需求，需要寄希望于成本更低，布置更加灵活的嵌入式设备，这对现有的火焰检测技术的性能优化有了更高的需求。

技术实现思路

[0010]本专利技术的主要目的在于针对现有的火焰目标检测技术计算成本较高，对设备的性能需求较为严格的问题，提出了一种基于YOLOv5改进的轻量级的火焰目标检测网络；采用轻量级网络重构YOLOv5骨干网络；使用类似ShuffleNet V2的轻量级网络结构重构YOLOv5网络的骨干网络；通过增添注意力模块SE模块、下采样结构StemBlock增强轻量级主干网络的特征提取能力，弥补网络轻量化的精度损失；经过训练生成的网络模型可以部署在各种嵌入式平台上。
[0011]本专利技术采用的技术方案是：一种轻量级火焰检测网络，包括：
[0012]S1，骨干网络的整体替换；
[0013]在基本单元中均采用了ReLU激活函数，如式(1)：
[0014]ReLU激活函数：
[0015][0016]S2，使用StemBlock进行下采样；StemBlock结构如图3所示：该结构首先将输入特征图进行卷积核大小为为3x 3的卷积操作，其主要的目的是改变特征图的通道数；然后网络结构分为两个支路，特征图也分为两部分，一部分特征图进行最大值池化，另一部分特征图先进行1x 1的卷积降低一半的通道数，之后再进行3x 3，步长为2的卷积实现第二次下采样；两个分支的输出结果按通道这一维度进行拼接，最后再进行一次1x 1的卷积还原通道的数量；
[0017]S3，将SE模块添加进ShuffleNet V2的单元结构，形成本网络的基本单元结构；
[0018]Sigmoid激活函数：
[0019][0020]S4，骨干网络后的Neck网络结构主要进行特征融合，该结构仍采用与YOLOv5网络一致的结构，采用加入了CSP结构的FPN+PAN结构；
[0021]在该结构中采用的激活函数为Reaky
‑
ReLU函数，其中
[0022][0023]S5，该网络的损失计算由三部分组成：
[0024]Classes loss，分类损失，采用的是BCE loss，注意只计算正样本的分类损失；
[0025]Objectness loss，obj损失，采用的依然是BCE loss，注意这里的obj指的是网络预测的目标边界框与GT Box的CIoU；计算的是所有样本的obj损失；
[0026]Location loss，定位损失，采用的是CIoU loss，注意只计算正样本的定位损失；
[0027]计算公式为：
[0028]Loss＝λ1L
cls
+λ2L
obj
+λ3L
loc
(4)
[0029]其中λ1，λ2，λ3为平衡系数；
[0030]另外还采取了平衡不同尺度的损失；是指针对三个预测特征层上的obj损失采用不同的权重；在源码中，针对预测小目标的预测特征层采用的权重是4.0，针对预测中等目标的预测特征层采用的权重是1.0，针对预测大目标的预测特征层采用的权重是0.4；
[0031]计算公式为：
[0032][0033]S6，该网络模型的构建以及训练是基于pytorch框架，在模型训练中采用了以下策略：
[0034]通过训练得到的网络模型格式为pt模型；通过模型格式转换工具，将pt模型转换为其他格式的模型，将其部署到嵌入式平台上或将模型部署到安卓手机上。
[0035]本专利技术的优点：
[0036]本专利技术的网络具有：
[0037]网络的轻量级优化，本网络算法相对于原YOLOv5网络，减少了大量的参数量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量级火焰检测网络，其特征在于，包括：S1，骨干网络的整体替换；在基本单元中均采用了ReLU激活函数，如式(1)：ReLU激活函数：S2，使用StemBlock进行下采样；StemBlock结构如图3所示：该结构首先将输入特征图进行卷积核大小为为3x 3的卷积操作，其主要的目的是改变特征图的通道数；然后网络结构分为两个支路，特征图也分为两部分，一部分特征图进行最大值池化，另一部分特征图先进行1x 1的卷积降低一半的通道数，之后再进行3x 3，步长为2的卷积实现第二次下采样；两个分支的输出结果按通道这一维度进行拼接，最后再进行一次1x 1的卷积还原通道的数量；S3，将SE模块添加进ShuffleNet V2的单元结构，形成本网络的基本单元结构；Sigmoid激活函数：S4，骨干网络后的Neck网络结构主要进行特征融合，该结构仍采用与YOLOv5网络一致的结构，采用加入了CSP结构的FPN+PAN结构；在该结构中采用的激活函数为Reaky
‑
ReLU函数，其中S5，该网络的损失计算由三部分组成：Classesloss，分类损失，采用的是BC...

【专利技术属性】
技术研发人员：魏倩茹，张凇源，陈康，杨阳，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：