一种实时火灾监控图像增强系统技术方案

本发明专利技术涉及一种实时火灾监控图像增强系统，包括噪点清除子模型和分辨率恢复子模型；所述噪点清除子模型对原始火灾监控图像进行噪点去除，并将处理后的图像输入分辨率恢复子模型，进行分辨率的提升和图像重建。本发明专利技术提升了图像清晰度和分辨率，保证了监控质量。保证了监控质量。保证了监控质量。

【技术实现步骤摘要】
一种实时火灾监控图像增强系统


[0001]本专利技术涉及计算机视觉和消防监测
，具体涉及一种实时火灾监控图像增强系统。

技术介绍

[0002]火灾事故一直是伴随着人类生活生产而存在的潜在隐患，其发生的随机性更是现实中事故频发的关键因素之一。对于火灾事故，人为的管控难以完全控制，但采取预防性措施是必要的。火灾监控的出现填补了消防领域火灾防范的空白，成为了现代社会灾情预警的重要手段。其中，图像监控能带来更多的动态信息，是消防救灾战术制定和减少火灾损失的关键依据，但往往也容易于受火场的烟雾、环境光等干扰，带来图像信息的缺失。此外，摄像设备依靠电子元件进行光电信号转换，其性能和稳定性受火场温度影响，过热时图像往往产生大量热噪点。因此，如何对火灾监控图像进行增强是火灾摄像监控能否获取充足信息，是监控工作保质保量的关键所在。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种实时火灾监控图像增强系统，实现了对火灾监控图像中噪点和烟雾的去除，提升了图像清晰度和分辨率，保证了监控质量。
[0004]为实现上述目的，本专利技术采用如下技术方案：一种实时火灾监控图像增强系统，包括噪点清除子模型和分辨率恢复子模型；所述噪点清除子模型对原始火灾监控图像进行噪点去除，并将处理后的图像输入分辨率恢复子模型，进行分辨率的提升和图像重建。
[0005]进一步的，所述噪点清除子模型包括编解码器；所述编解码器采用对称的卷积神经网络，网络内设置有16层不同卷积核的卷积层、16层批量归一化层和16层激活层。
[0006]进一步的，所述编解码器的前8层卷积层各自使用空间注意力模块下的跳跃连接，余下卷积层为直达式跳跃连接。
[0007]进一步的，所述空间注意力模块是采用卷积神经网络，激活函数为sigmod函数，输出结果为信息流的增强或者抑制的权重。
[0008]进一步的，所述分辨率恢复子模型包括多段分辨率增强模块和集成小型神经网络的信息流堆栈模块。
[0009]进一步的，所述多段分辨率增强模块采用对称编解码结构连接的5个卷积神经网络，每个卷积神经网络包括14层不同卷积核的卷积层、14层批量归一化层和14层激活层。
[0010]进一步的，所述多段分辨率增强模块前3层卷积层各自使用空间注意力下的跳跃连接，余下卷积层为直达式跳跃连接。
[0011]进一步的，所述集成小型神经网络的信息流堆栈模块包括：嵌套的网络损失函数和重复计算的信息流结构。
[0012]本专利技术与现有技术相比具有以下有益效果：
本专利技术通过建立噪点清除子模型和分辨率恢复子模型，实现了对火灾监控图像中噪点和烟雾的去除。其中子模型使用的空间注意力模块技术有效过滤了噪点数据，而跳跃连接技术弥补了模型的信息强度弱化问题，多段分辨率增强技术与信息流堆栈技术则是细化了分辨率重建工作。这些技术和模型结构最终提升了模型的工作效能，保证了火灾监控图像增强的质量。
附图说明
[0013]图1是本专利技术的模型架构示意图；图2是本专利技术噪点清除子模型的结构示意图；图3是本专利技术空间注意力模块的结构示意图；图4是本专利技术分辨率恢复子模型的结构示意图；图5是噪点清除效果示意图；图6是多段分辨率增强效果示意图。
具体实施方式
[0014]下面结合附图及实施例对本专利技术做进一步说明。
[0015]请参照图1，本专利技术提供一种实时火灾监控图像增强系统，包括噪点清除子模型和分辨率恢复子模型；所述噪点清除子模型对原始火灾监控图像进行噪点去除，并将处理后的图像输入分辨率恢复子模型，进行分辨率的提升和图像重建。
[0016]在本实施例中，参考图2，噪点清除子模型以带噪点的图像为输入，经过16层的编码器进行模型噪声数据识别和过滤。编码器每层都是相似结构：卷积层、批量归一化层、激活层。在编码器处理图像信息流的最后，信息流成为隐变量，待解码器对信息进行数据空间映射，即降噪过程。解码器为结构对应于编码器的16层上采样层组成，每层结构显示：反卷积层、批量归一化层、激活层。编解码器层与层之间进行信息流短接，并仅在前8层结构的短接中使用空间注意力模块，以实现信息流的补强和过滤。
[0017]在本实施例中，空间注意力模块是个小型轻量化的卷积神经网络。通过对输入的信息流进行卷积处理，进而能够得到对应每个数据的权重，即尺寸与信息流匹配的权重图。经过特殊的激活函数sigmod函数的激活处理，该权重图会限制在0
‑
1的范围。权重图和信息流的点乘加权，能够有效的对信息流的每个数据进行增强或抑制。
[0018]在本实施例中，分辨率恢复子模型集成的多个卷积神经网络类似于噪点清除子模型的网络结构，同样具有编解码结构和空间注意力下的跳跃连接。多个网络间的信息流动是相互承接的，并且每个网络只负责小幅度的分辨率重建工作。因此在最后一个网络中，信息流的恢复效能是叠加的。
[0019]图5示出了噪点清除效果示意图，通过模拟噪点的方式，以高斯分布对火灾图像进行随机加噪，噪点类型分别是白色、黒色和杂色噪点。噪点样本即图中最左侧一列图像，中间一列图像为加噪前的图像，右列图像则是噪点清除子模型输出的去噪点图像。从直观观察下，可以看出该子模型对图像噪点去除的强大能力。
[0020]图6示出了多段分辨率增强效果示意图，通过模拟烟雾模糊火焰的方式，使用高斯模糊对火灾图像分辨率进行缺损。图最左为该子模型输入，图中间的多段分辨率图像是模
型处理图像的中间量，可以看出分辨率的逐步重建。最右分别为模型最终输出和模糊前的图像，两张图像在视觉上高度接近，体现该子模型对图像分辨率重建有效和稳定。
[0021]本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD
‑
ROM、光学存储器等）上实施的计算机程序产品的形式。
[0022]本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
[0023]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
[0024]这些计算机程序指令也可装载到计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时火灾监控图像增强系统，其特征在于，包括噪点清除子模型和分辨率恢复子模型；所述噪点清除子模型对原始火灾监控图像进行噪点去除，并将处理后的图像输入分辨率恢复子模型，进行分辨率的提升和图像重建。2.根据权利要求1所述的一种实时火灾监控图像增强系统，其特征在于，所述噪点清除子模型包括编解码器；所述编解码器采用对称的卷积神经网络，网络内设置有16层不同卷积核的卷积层、16层批量归一化层和16层激活层。3.根据权利要求2所述的一种实时火灾监控图像增强系统，其特征在于，所述编解码器的前8层卷积层各自使用空间注意力模块下的跳跃连接，余下卷积层为直达式跳跃连接。4.根据权利要求3所述的一种实时火灾监控图像增强系统，其特征在于，所述空间注意力模块是采用卷积神经网络，激活函数为sigmod函数，输出结果为...

【专利技术属性】
技术研发人员：陈铭，余龙星，黄萍，刘春祥，林夏军，谢进祥，
申请(专利权)人：福州大学，
类型：发明
国别省市：