一种基于深度学习的火灾智能监控系统及其方法技术方案

本发明专利技术公开一种基于深度学习的火灾智能监控系统及其方法，包含：图像采集模块，通过双目摄像头进行实时监控；图像分析模块，利用深度学习模型对监控视频图像中的火焰实时检测；报警模块，提醒监控人员观察监控视频图像中的火情；火焰定位模块，接收深度学习模型检测到的火焰像素位置信息，利用双目立体视觉定位算法将火焰像素位置信息映射到空间，得到火焰空间位置信息；定点灭火模块，在报警模块无应答而导致持续报警的条件下，经过预设的间隔时间，接收火焰空间位置信息。本发明专利技术将深度学习和摄像头定位算法结合用于火焰识别，并提出新的卷积核模块，特征提取能力更强，还能在测到火焰时报警，在监控人员无反应情况自动对火焰区域定点灭火。

【技术实现步骤摘要】
一种基于深度学习的火灾智能监控系统及其方法
本专利技术涉及图像识别与计算机视觉领域，特别涉及一种基于深度学习的火灾智能监控系统及其方法。
技术介绍
火灾是最常见的灾害之一，如果不能在早期及时控制，进一步引起大面积火灾的发生，将会造成不可挽回的生命财产损失。尤其是在一些特殊的禁烟场所，如汽车站、加油站、物流仓库等，一旦因为人为吸烟或其他因素引起火灾，后果非常严重。因此对吸烟行为的监控和火灾的早期探测十分有必要。火焰是火灾早期的物理现象，早期火焰探测技术主要有感温、感烟和感光三种，现已得到了广泛的应用，但依然存在灵敏度低、易受环境因素干扰、检测范围有限等技术缺陷，难以适应大空间或复杂环境的火焰探测要求。图像型火焰探测技术是一种新型火焰探测技术，改善了早期火焰探测技术的缺陷，有效提高了火焰检测的准确度，减少了漏报和误报。图像型火焰检测技术主要利用模式识别的方法，需要人工设计火焰的特征提取器，但由于火焰的多变性、复杂性，往往提取到的特征不具有代表性，难以对小目标火焰和多类型火焰进行检测。中国专利申请CN201510319446.5提出了“基于北斗系统的火灾监控系统”，其旨在保护生态环境，能够对森林火灾险情进行有效监控。但监控系统中的图像处理单元依然采用人工提取火焰的形态学特征和颜色特征作为分类依据，难以对室内场所、禁烟场所小型火灾的发生做出有效监控。综上所述，如何克服现有图像型火焰检测技术的不足以及提出一套完整的基于深度学习的火灾智能监控系统十分有必要。
技术实现思路
本专利技术的目的在于提供一种基于深度学习的火灾智能监控系统及其方法，将深度学习和摄像头定位算法进行结合用于火焰识别，进一步提出了新的卷积核模块，具有特征提取能力更强的优势，同时还设计了完整的禁烟场所火灾智能监控系统，能够在检测到火焰时报警，并在监控人员没有反应的情况下自动对火焰区域进行定点灭火。为了达到上述目的，本专利技术通过以下技术方案实现：一种基于深度学习的火灾智能监控系统，包含：图像采集模块，通过双目摄像头在不同场所下进行实时监控，采集监控视频图像的数据；图像分析模块，利用训练好的深度学习模型对所述监控视频图像中的火焰进行实时检测，判断是否出现火焰，若出现火焰，确定火焰区域，将所述火焰区域通过边界框方式进行标注，并将边界框点作为匹配点，得到火焰像素位置信息；火焰定位模块，接收所述深度学习模型检测到的火焰像素位置信息，利用双目定位映射方法将所述火焰像素位置信息映射到空间，得到火焰空间位置信息，最终找到火焰位置。优选地，所述双目定位映射方法进一步包含：对于空间上的任意一火焰点P，所述火焰点P在第一摄像机C1下拍摄的图像平面上的投影是点CL，所述火焰点P在第二摄像机C2下拍摄的图像平面上的投影是点CR，其中，点C1和点CL相连的直线为l1，点C2和点CR相连的直线为l2，则火焰点P是直线l1和直线l2的交点，即空间的火焰点P的位置信息唯一确定。优选地，当检测到火焰时，通过触发监控室的报警器，提醒监控人员观察所述监控视频图像中的火情。优选地，所述的火灾智能监控系统进一步包含定点灭火模块，所述定点灭火模块在所述报警器无人应答而导致持续报警的条件下，经过预设的间隔时间，接收所述火焰空间位置信息，通过控制器控制消防系统来实现定点灭火。优选地，所述深度学习模型为MaskR-CNN模型。优选地，所述深度学习模型包含：特征提取层，提取目标图像的特征信息并生成多尺度的特征图；候选区域生成网络，用于生成目标图像的候选区域；全连接层，用于目标分类和边界框回归；RoIAlign层，其将得到的所述候选区域映射到特征图上的相对应区域，并对该区域进行下采样处理得到固定维度的特征向量，再将所述特征向量传入所述全连接层进行信息整理，最终实现目标分类和边界框回归。优选地，所述特征提取层采用特征金字塔网络，所述特征金字塔网络由ResNet卷积神经网络搭建而成，所述ResNet卷积神经网络采用并行连接和跳远连接相结合的方式。优选地，所述深度学习模型在所述RoIAlign层后增添一掩码分支，用于生成目标图像的分割掩码。本专利技术还提供了一种基于如上文所述的火灾智能监控系统的火灾智能监控方法，该方法包含以下过程：通过双目摄像头在不同场所下进行实时监控，采集监控视频图像数据，并将采集的所述监控视频图像数据传入服务器上训练好的深度学习模型；利用训练好的深度学习模型对所述监控视频图像数据中的火焰进行实时检测，判断是否出现火焰，若出现火焰，确定火焰区域，将所述火焰区域通过边界框方式进行标注，并将边界框点作为匹配点，得到火焰像素位置信息；采用双目定位映射方法将所述火焰像素位置信息映射到空间得到火焰空间位置信息；将所述火焰空间位置信息传递到一控制器，所述控制器控制消防系统来实现定点灭火。优选地，所述的火灾智能监控方法进一步包含：当检测到火焰时，通过触发监控室报警器，提醒监控人员观察监控视频中火情并进行处理；当无人应答所述报警器而导致持续报警时，经过预设的间隔时间，接收所述火焰空间位置信息，实现定点灭火。与现有技术相比，本专利技术的有益效果为：(1)本专利技术提出了基于深度学习模型MaskR-CNN的火焰检测方法，改善了传统模式识别的方法提取特征不全、提取的特征不具有代表性、难以对多变的火焰进行识别的状况；并创新性地提出了结合现有ResNet和现有Inception特性的新卷积模块，相对单独的Inception卷积模块具有防止网络因层数过深出现过拟合的优点；相对单独的ResNet卷积模块，因为采用了并行连接网络的思想，用不同尺寸卷积核提取特征再进行通道融合，具有特征提取能力更强的优势；(2)本专利技术提出了基于深度学习的匹配算法，将深度学习模型和双目立体视觉算法结合，基于对传统立体匹配算法难以兼顾匹配精度和匹配速度的考虑，使用深度学习模型检测框的坐标进行立体匹配，在保证匹配精度的基础上，兼顾匹配速度，而传统定位方法找匹配点很重要，在背景复杂的情况下很难有效的找到匹配点，过程复杂且耗时；(3)本专利技术设计了完整的火灾智能监控系统，该系统不仅能够在检测到火焰时报警，而且能够在监控人员没有反应的情况下自动对火焰区域进行定点灭火。附图说明图1为本专利技术的基于深度学习的火灾智能监控系统总体设计示意图；图2为本专利技术的深度学习模型结构示意图；图3为本专利技术的改进ResNet网络结构示意图；图4为本专利技术的loss变化示意图；图5为本专利技术的双目摄像头定位原理示意图；图6为本专利技术的摄像头捕捉到的含有火焰的图像示意图；图7为本专利技术的深度学习模型检测到火焰的图像示意图；图8a为本专利技术第一个摄像头视角的火焰检测框像素坐标信息的示意图；图8b为本专利技术第二个摄像头视角的火焰检测框像素坐标信息的示意图。具体实施方式为了使本专利技术更加明显易懂，以下结合附图和具体实施方式对本专利技术做进一步说明。如图1所示，本专利技术公开了一种基于深度学习的火灾智能监控系统，主要包含图像采集模块、图像分析模块、报警模块、火焰定位模块和定点灭火模块这五个模块。所述图像采集模块通过双目摄像头在不同场所下进行实时监控，采集监控视频图像数据；所述图像分析模块主要是利用训练好的深度学习模型MaskR-CNN对监控视频图像数据中的火焰进行实时检测，并得到火焰像素位置信息；在所述报警模块中，一旦检本文档来自技高网...

【技术保护点】
1.一种基于深度学习的火灾智能监控系统，其特征在于，包含：图像采集模块，通过双目摄像头在不同场所下进行实时监控，采集监控视频图像的数据；图像分析模块，利用训练好的深度学习模型对所述监控视频图像中的火焰进行实时检测，判断是否出现火焰，若出现火焰，确定火焰区域，将所述火焰区域通过边界框方式进行标注，并将边界框点作为匹配点，得到火焰像素位置信息；火焰定位模块，接收所述深度学习模型检测到的火焰像素位置信息，利用双目定位映射方法将所述火焰像素位置信息映射到空间，得到火焰空间位置信息，最终找到火焰位置。

【技术特征摘要】
1.一种基于深度学习的火灾智能监控系统，其特征在于，包含：图像采集模块，通过双目摄像头在不同场所下进行实时监控，采集监控视频图像的数据；图像分析模块，利用训练好的深度学习模型对所述监控视频图像中的火焰进行实时检测，判断是否出现火焰，若出现火焰，确定火焰区域，将所述火焰区域通过边界框方式进行标注，并将边界框点作为匹配点，得到火焰像素位置信息；火焰定位模块，接收所述深度学习模型检测到的火焰像素位置信息，利用双目定位映射方法将所述火焰像素位置信息映射到空间，得到火焰空间位置信息，最终找到火焰位置。2.如权利要求1所述的火灾智能监控系统，其特征在于，所述双目定位映射方法进一步包含：对于空间上的任意一火焰点P，所述火焰点P在第一摄像机C1下拍摄的图像平面上的投影是点CL，所述火焰点P在第二摄像机C2下拍摄的图像平面上的投影是点CR，其中，点C1和点CL相连的直线为l1，点C2和点CR相连的直线为l2，则火焰点P是直线l1和直线l2的交点，即空间的火焰点P的位置信息唯一确定。3.如权利要求1所述的火灾智能监控系统，其特征在于，进一步包含：当检测到火焰时，通过触发监控室的报警器，提醒监控人员观察所述监控视频图像中的火情。4.如权利要求3所述的火灾智能监控系统，其特征在于，进一步包含定点灭火模块，所述定点灭火模块在所述报警器无人应答而导致持续报警的条件下，经过预设的间隔时间，接收所述火焰空间位置信息，通过控制器控制消防系统来实现定点灭火。5.如权利要求1所述的火灾智能监控系统，其特征在于，所述深度学习模型为MaskR-CNN模型。6.如权利要求1或5所述的火灾智能监控系统，其特征在于，所述深度学习模型包含：特征提取层，提取目标图像的特征信息并生成多...

【专利技术属性】
技术研发人员：安超，魏海军，刘竑，武燊，梁麒立，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：上海,31