一种基于图像生成的烟雾检测方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于图像生成的烟雾检测方法、装置及存储介质，属于图像数据处理领域。其中方法包括：获取烟雾数据集和无烟雾数据集；根据烟雾数据集训练基于图像掩码生成图像的图像生成网络；采用训练后的图像生成网络对无烟雾数据集进行处理，生成含有不同浓度烟雾的图像以及对应的图像掩码；根据烟雾数据集以及生成的图像获取训练集，根据训练集训练烟雾检测模型；获取待检测图像，将待检测图像输入训练后的烟雾检测模型，检测待检测图像中是否存有火灾烟雾。本发明专利技术通过图像生成网络生成场景丰富、浓度不同的逼真的烟雾图像，避免繁琐人工标注的前提下能够极大地扩充烟雾检测模型训练的数据量，提高烟雾检测模型的检测精度以及效果。度以及效果。度以及效果。

【技术实现步骤摘要】
一种基于图像生成的烟雾检测方法、装置及存储介质


[0001]本专利技术涉及图像数据处理领域，尤其涉及一种基于图像生成的烟雾检测方法、装置及存储介质。

技术介绍

[0002]火灾的发展可以划分为初起、发展、猛烈、下降和熄灭五个阶段。在初起阶段，燃烧范围不大，极易发生阴燃现象，即没有明火，只是产生烟雾，并且会随着火灾的发展，持续扩散。如果在早期能够及时地检测到火灾所产生的烟雾，并及时采取恰当的消防救援措施，就可以把火灾的影响和伤害程度降到最低，因此早期的火灾烟雾检测尤为重要。
[0003]传统的火灾监测技术是基于传感器，例如离子式烟雾传感器、光电式烟雾传感器和热成像传感器等，大多对火灾场景中烟雾粒子密度、温度变化进行感应并触发报警装置，但会不同程度受到烟雾浓度和周围气流变化等条件的影响，干扰检测，并且在检测范围和检测速度方面存在明显缺陷。随着视频监控技术的发展，基于传统图像处理的烟雾检测方法应运而生，这种检测方法根据烟雾的颜色、纹理等特征进行检测，能够有效地提升检测的速度，但是通常需要融合多种图像帧信息，耗费大量的计算资源在图像处理上，反馈速度仍需提高。
[0004]近几年来随着卷积神经网络(CNN)的出现，计算机视觉计算飞速发展，越来越多的目标检测算法被研发出来，并且得到了令人满意的效果。目前检测算法主要分为两类：单阶段检测器和双阶段检测器。双阶段检测器最具有代表性的神经网络是更快速的区域卷积神经网络（Faster
‑
RCNN），这种检测器首先会提取特征，利用区域提议网络选取候选区域，然后通过深层卷积块对候选区域进行分类。双阶段检测器通过区域提议网络，能够大大提升检测的准确性，但是会导致检测时间变长，难以满足实际需求。单阶段检测器将双阶段中的特征处理合并为一个阶段完成，能够同时提出候选区域并进行目标的定位分类，经典的算法如，单发多盒对象检测(SSD)系列和YOLO(You Only Look Once)系列，这些检测器能够大大提升检测速度，同时保持较高的检测准确率。
[0005]训练高效的卷积神经网络，往往需要充足的训练数据。然而，火灾场景相对较少，且火灾往往会造成监控数据的丢失，导致烟雾场景数据收集极为困难，并且图像人工标注成本十分昂贵，所以在有限的数据下训练一个稳健的烟雾检测器仍然是一个很大的挑战。目前虽然有一些烟雾图像的合成方法，但是合成效率低，合成图像质量差，难以真正利用合成数据提升烟雾检测器的性能，降低其他物体对烟雾检测的干扰。

技术实现思路

[0006]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种基于图像生成的烟雾检测方法、装置及存储介质。
[0007]本专利技术所采用的技术方案是：一种基于图像生成的烟雾检测方法，包括以下步骤：
获取烟雾数据集和无烟雾数据集；其中，所述烟雾数据集为包含不同场景、不同烟雾浓度的真实图像数据集，所述烟雾数据集中的图像数据包括烟雾图像以及与烟雾图像对应的图像掩码；所述无烟雾数据集为包含不同场景的无烟雾真实图像数据集；根据烟雾数据集训练基于图像掩码生成图像的图像生成网络；采用训练后的图像生成网络对无烟雾数据集进行处理，生成含有不同浓度烟雾的图像以及对应的图像掩码；根据烟雾数据集以及生成的图像获取训练集，根据训练集训练烟雾检测模型；获取待检测图像，将待检测图像输入训练后的所述烟雾检测模型，检测所述待检测图像中是否存有火灾烟雾，以及火灾烟雾在图像中的位置。
[0008]进一步地，所述获取烟雾数据集，包括：对烟雾数据集中的烟雾图像进行标注，标注形式包括图像掩码加烟雾浓度值；其中，所述图像掩码的大小与烟雾图像的大小相同，且具有两个颜色不同的区域，用于区分前景和背景，分别对应烟雾图像中的烟雾和场景内容；每一张烟雾图像对应一个烟雾浓度值，所述烟雾浓度值为烟雾图像中烟雾所占面积与该烟雾图像总面积的比值。
[0009]进一步地，所述图像生成网络包括两个分支：第一条分支用于根据输入的烟雾浓度值，生成对应图像掩码；训练过程中，通过烟雾面积损失函数以及生成对抗网络进行约束，以使这条分支能够根据输入的烟雾浓度值生成对应的图像掩码；第二分支用于根据学习到的图像掩码，生成对应的烟雾图像；训练过程中，通过图像掩码约束函数和生成对抗网络约束函数进行约束，以使整个神经网络能够根据输入的烟雾浓度值生成对应的烟雾场景图像。
[0010]进一步地，所述烟雾面积损失函数的表达式为：其中，为输入指定的烟雾浓度，为图像掩码生成分支，为该支根据指定烟雾浓度生成的图像掩码，为根据图像掩码计算烟雾浓度的函数。
[0011]进一步地，所述图像掩码约束函数的表达式为：进一步地，所述图像掩码约束函数的表达式为：其中为真实的烟雾图像，为烟雾图像对应的图像掩码，为在图像掩码条件下判别生成烟雾图像真假的判别器，和分别为针对输入图像是生成图像或者是真实图像设计的对抗损失函数约束，希望该判别器能够在对应的图像掩码作为先验信息的条件下，正确的判别输入图像的真假；所述生成对抗网络约束函数的表达式为：所述生成对抗网络约束函数的表达式为：
其中，为在判别生成烟雾图像真假的判别器，和分别对应输入图像为生成图像或者为真实图像的对抗损失函数约束，希望该判别器能够直接判别输入图像的真假；为预设烟雾浓度值下，基于图像掩码生成烟雾图像的生成器。
[0012]进一步地，所述图像生成网络的训练目标的表达式为：进一步地，所述图像生成网络的训练目标的表达式为：进一步地，所述图像生成网络的训练目标的表达式为：进一步地，所述根据烟雾数据集以及生成的图像获取训练集，根据训练集训练烟雾检测模型，包括：根据图像掩码，获取每块烟雾区域对应的矩形框，该矩形框具有四个角的坐标，包含图像掩码中对应的烟雾区域；将所有烟雾图像以及对应的烟雾标注矩形框组成训练集，根据训练集训练所述烟雾检测模型，以使烟雾图像能够判断图像中烟雾的存在以及烟雾在图像中的位置。
[0013]进一步地，所述烟雾检测模型包括对yolov5网络改进后得到的改进型网络，工作流程如下：由yolov5网络中的骨干网络提取到的多尺度特征图，在经过不同尺度的上采样后，送入融合网络进行融合，利用融合后的特征计算烟雾图像中的烟雾浓度值。
[0014]本专利技术所采用的另一技术方案是：一种基于图像生成的烟雾检测装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述方法。
[0015]本专利技术所采用的另一技术方案是：一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
[0016]本专利技术的有益效果是：本专利技术通过图像生成网络生成场景丰富、浓度不同的逼真的烟雾图像，避免繁琐人工标注的前提下能够极大地扩充烟雾检测模型训练的数据量，提高烟雾检测模型的检测精度以及效果。另外，本专利技术的烟雾检测模型有利于提高复杂背景下的烟雾检测精度，减少对云、雾等干扰对象的误判，准确快速地判本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像生成的烟雾检测方法，其特征在于，包括以下步骤：获取烟雾数据集和无烟雾数据集；其中，所述烟雾数据集为包含不同场景、不同烟雾浓度的真实图像数据集，所述烟雾数据集中的图像数据包括烟雾图像以及与烟雾图像对应的图像掩码；所述无烟雾数据集为包含不同场景的无烟雾真实图像数据集；根据烟雾数据集训练基于图像掩码生成图像的图像生成网络；采用训练后的图像生成网络对无烟雾数据集进行处理，生成含有不同浓度烟雾的图像以及对应的图像掩码；根据烟雾数据集以及生成的图像获取训练集，根据训练集训练烟雾检测模型；获取待检测图像，将待检测图像输入训练后的所述烟雾检测模型，检测所述待检测图像中是否存有火灾烟雾。2.根据权利要求1所述的一种基于图像生成的烟雾检测方法，其特征在于，所述获取烟雾数据集，包括：对烟雾数据集中的烟雾图像进行标注，标注形式包括图像掩码加烟雾浓度值；其中，所述图像掩码的大小与烟雾图像的大小相同，且具有两个颜色不同的区域，用于区分前景和背景，分别对应烟雾图像中的烟雾和场景内容；每一张烟雾图像对应一个烟雾浓度值，所述烟雾浓度值为烟雾图像中烟雾所占面积与该烟雾图像总面积的比值。3.根据权利要求1所述的一种基于图像生成的烟雾检测方法，其特征在于，所述图像生成网络包括两个分支：第一条分支用于根据输入的烟雾浓度值，生成对应图像掩码；训练过程中，通过烟雾面积损失函数以及生成对抗网络进行约束，以使这条分支能够根据输入的烟雾浓度值生成对应的图像掩码；第二分支用于根据学习到的图像掩码，生成对应的烟雾图像；训练过程中，通过图像掩码约束函数和生成对抗网络约束函数进行约束，以使整个神经网络能够根据输入的烟雾浓度值生成对应的烟雾场景图像。4.根据权利要求3所述的一种基于图像生成的烟雾检测方法，其特征在于，所述烟雾面积损失函数的表达式为：其中，为输入指定的烟雾浓度，为图像掩码生成分支，为该支根据指定烟雾浓度生成的图像掩码，为根据图像掩码计算烟雾浓度的函数。5.根据权利要求4所述的一种基于图像生成的烟雾检测方法，其特征在于...

【专利技术属性】
技术研发人员：许勇，张云飞，杜卿，胡灏，廖璇，李利，
申请(专利权)人：广东广物互联网科技有限公司，
类型：发明
国别省市：