一种基于混合颜色模型与神经网络的火灾图像检测方法技术

本发明专利技术公开了一种基于混合颜色模型与神经网络的火灾图像检测方法。本发明专利技术方法首先对监控视频图像进行帧间差分法获得运动前景区域；接着通过混合颜色模型提取符合火焰颜色特征的区域，同时进行二次颜色区域扩展得到颜色模型过滤出的候选区域；将运动前景区域与颜色候选区域取并集得到疑似火焰区域；最后，构建密集连接卷积神经网络，通过训练好的网络模型与二次混合颜色模型综合判断疑似火焰区域是否出现火情。本发明专利技术方法通过运动检测和混合颜色模型获得了精度较高的火焰候选区域，检测速度快，深度神经网络则保证了火焰检测准确率以及泛化能力，可以广泛部署于实际的智能安防系统中，预警火情减少火灾带来的损失。

A Fire Image Detection Method Based on Hybrid Color Model and Neural Network

【技术实现步骤摘要】
一种基于混合颜色模型与神经网络的火灾图像检测方法
本专利技术属于图像处理和目标检测
，具体涉及一种基于混合颜色模型与神经网络的火灾图像检测方法。
技术介绍
现代社会中，火灾事故的频发威胁了人们的生命财产安全，如何实时准确的检测到火灾的发生一直是智能监控安防工程关注的重点领域，也是图像识别领域的一个重要课题。随着计算机视觉技术的不断进步，对于火灾这一具有显著视觉信息的灾害事故，通过监控视频实时检测到火灾的发生已成为可能。现有的火灾检测技术分为传统火灾识别传感器检测以及基于视频图像的火灾检测，其中传统火灾探测器有感光器型探测器、气体型探测器、感温型传感器以及感烟型传感器，他们大多利用火灾发生时的物理变化特性来识别是否出现火焰，但其都或多或少存在检测范围小、易受外界干扰、检测速度慢等缺点，尤其是检测范围的限制导致其只能部署在狭小室内，无法覆盖大片区域。而基于视频图像的火灾检测又分为基于颜色、形态等人工定义特征的方法与基于深度学习目标检测的方法，对于利用人工选定特征的火灾检测方法，其优点是检测速度快，但由于其特征不完善存在易误检、泛化能力差等缺点，对于颜色或形态相近的物体难以与火焰严格区分。随着深度学习技术的不断发展，采用卷积神经网络检测火焰的方法在检测精度方面得到了较大的提升，卷积神经网络通过已有标签的训练图像，在迭代学习的过程中自动获得火焰的图像的特征，且合理利用正则化和dropout方法，神经网络的提取特征的泛化能力大大优于手工提取的特征。但对于火灾检测工程而言，难以获得大型目标检测网络所需的带标签的训练样本，且由于这些算法的运算量很大，难以保证可以在监控环境下进行实时检测。
技术实现思路
本专利技术的目的是针对现有技术不能很好的应用于实际工程中，提供一种基于混合颜色模型与神经网络的火灾图像检测方法，混合颜色模型能快速的识别出并精确定位可能存在火焰的区域，过滤视频帧中大量非火焰信息，在通过卷积神经网络精确地判断出是否出现火灾。本专利技术方法的具体步骤如下：步骤(1).利用帧间差分法获得监控视频帧的运动前景目标：(1-1).通过对比视频中前后两帧图像的差异度，来识别是否存在运动物体，运动前景的前景掩膜的表达式为：其中，fmask(x,y)为前后帧图像的差分图像，即运动前景掩膜，255表示将运动目标在灰度图上设置为白色，0代表非运动区域设置为黑色，It和It-1分别表示原图像在t和t-1时刻的图像，T表示设定的阈值，即当差分出来的图像中非0点个数大于T时，则获取运动区域将差分图像二值化，二值化后的白色区域即表示运动区域；(1-2).取得前景后，对其进行形态学操作以过滤细微抖动带来的噪声；(1-3).将每n帧的前景掩膜累加，构成一个融合n帧运动信息的掩膜。步骤(2).每隔n帧对图像采用混合颜色模型提取火焰的候选区域：(2-1).为了实现监控视频实时检测的功能，加快程序运行效率，每n帧进行混合颜色模型提取火焰候选区域；将源监控视频RGB图像生成备份，并转换成HSV颜色空间，对两个颜色空间添加相应颜色模型约束，获取初步颜色候选区域，得到疑似火焰区域对应的掩膜cmask，具体约束条件如下：Hmin＜H＜Hmax，(S1min＜S＜S1max)∪(S2min＜S＜S2max)，Vmin＜V＜Vmax，R＞RT，R≥G＞B，S≥((255-R)×ST/RT)，(abs(R-G)＞T1)∪(abs(G-B)＞T2)，abs(R-B)+abs(G-B)＞15；其中H、S、V分别为像素的色调、饱和度、明度，R、G、B分别为像素的红色、绿色、蓝色分量，Hmin和Hmax为色调分量的区间阈值，S1min和S1max为饱和度分量的一组区间阈值，S2min和S2max为饱和度分量的另一组区间阈值，Vmin和Vmax是明度的区间阈值，RT为红色分量阈值，ST为饱和度自适应阈值，T1和T2为RGB空间经验阈值；(2-2).对颜色掩膜cmask进行二次区域扩展，补全疑似火焰区域的中心空洞：首先将源监控图像分成10×10等尺寸区域，统计每个区域的掩膜像素平均明度VA：然后获取每个区域的扩展颜色掩膜，当区域内像素的明度大于VA时，将该像素加入扩展颜色掩膜csup：最终的颜色掩膜cmask为：cmask＝cmask∪csup。步骤(3).通过运动候选区域fmask与颜色候选区域cmask得到候选火焰区域：将得到颜色候选区域cmask与运动前景区域fmask进行对比得到火焰候选区域掩膜Mask：Mask＝fmask∩cmask；对掩膜Mask进行形态学操作，并获取其最小外接矩形，从源监控图像中截取出来构成候选火焰图像集Frpn。步骤(4).准备训练神经网络所需的训练图片集以及测试图片集：准备的训练数据包括带火焰图像的正样本和非火焰图像的负样本；正样本的构成包括人工截取的火焰图像和通过上述混合颜色模型获取的视频帧图像共同构成，数量大于10000张；通过设置在路口和室内的监控，获取真实应用场景下的视频，将不存在火焰的视频帧构成负样本；正负样本张数比例为1:0.8～1.2。步骤(5).通过密集连接卷积神经网络对候选火焰图像进行分类：(5-1).构建密集连接卷积神经网络：密集连接卷积神经网络是一种深度神经网络。网络层数共有121层，包括前置的1个卷积层和最大池化操作，接着交替进行4个密集连接块与3个过渡层的操作，后进行全局平均池化，最后接1层全连接层与激活函数softmax进行分类操作，具体网络构成如下：将训练集中的图像大小固定为224×224尺寸，作为输入层。第1层为卷积层，卷积核大小3×3，步长为2；进行批归一化后，采用Relu函数激活，最后进行最大池化操作，核函数大小为3×3，步长为2；最大池化将特征图不重叠地分割成多个同样大小的小块，每个小块只取最大的数字，舍弃小块中其他节点，保持原有的平面结构，起到降采样的作用；第2层到第13层为第一个密集连接块，该密集连接块由6个卷积结构组成，每个卷积结构由批归一化加上Relu激活函数再加上卷积核大小为1×1，步长为1的卷积层，接上一组批归一化加上Relu激活函数加上卷积核大小为3×3，步长为1的卷积层的复合结构构成；由于采用密集连接的方式，每个卷积结构的输入由之前所有卷积结构的输出组合而成；第14层为过渡层，由批归一化操作、Relu激活函数以及1个卷积核大小1×1，步长为1的卷积层构成，然后进行平均池化操作，核函数大小为2×2，步长为2；第15层到第38层为第二个密集连接块，该密集连接块由12个卷积结构组成。第39层为过渡层；第40层到第87层为第三个密集连接块，该密集连接块由24个卷积结构组成；第88层为过渡层；第89层到第120层为第四个密集连接块，该密集连接块由16个卷积结构组成；第121层为全连接层，先进行2维自适应平均池化，核函数大小为1×1，即将之前的特征张量转换成全连接层所需的一维神经元；然后进行一层全连接层操作，输出的神经元个数为分类器类别的个数2，即火焰或非火焰；最后进行softmax操作，获得类别概率；为了防止过拟合，在每个密集连接块之间添加了dropout操作来增加模型的泛化能力；(5-2).通过训练集对网络进行训练：采用的损失函数为交叉熵损失函数：优化器设置为随机梯度下降，并在每本文档来自技高网...

【技术保护点】
1.一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于，该方法的具体步骤如下：步骤(1).利用帧间差分法获得监控视频帧的运动前景目标：(1‑1).通过对比视频中前后两帧图像的差异度，来识别是否存在运动物体，运动前景的前景掩膜的表达式为：

【技术特征摘要】
1.一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于，该方法的具体步骤如下：步骤(1).利用帧间差分法获得监控视频帧的运动前景目标：(1-1).通过对比视频中前后两帧图像的差异度，来识别是否存在运动物体，运动前景的前景掩膜的表达式为：其中，fmask(x,y)为前后帧图像的差分图像，即运动前景掩膜，255表示将运动目标在灰度图上设置为白色，0代表非运动区域设置为黑色，It和It-1分别表示原图像在t和t-1时刻的图像，T表示设定的阈值，即当差分出来的图像中非0点个数大于T时，则获取运动区域将差分图像二值化，二值化后的白色区域即表示运动区域；(1-2).取得前景后，对其进行形态学操作以过滤细微抖动带来的噪声；(1-3).将每n帧的前景掩膜累加，构成一个融合n帧运动信息的掩膜；步骤(2).每隔n帧对图像采用混合颜色模型提取火焰的候选区域：(2-1).每n帧进行混合颜色模型提取火焰候选区域；将源监控视频RGB图像生成备份，并转换成HSV颜色空间，对两个颜色空间添加相应颜色模型约束，获取初步颜色候选区域，得到疑似火焰区域对应的掩膜cmask，具体约束条件如下：Hmin＜H＜Hmax，(S1min＜S＜S1max)∪(S2min＜S＜S2max)，Vmin＜V＜Vmax，R＞RT，R≥G＞B，S≥((255-R)×ST/RT)，(abs(R-G)＞T1)∪(abs(G-B)＞T2)，abs(R-B)+abs(G-B)＞15；其中H、S、V分别为像素的色调、饱和度、明度，R、G、B分别为像素的红色、绿色、蓝色分量，Hmin和Hmax为色调分量的区间阈值，S1min和S1max为饱和度分量的一组区间阈值，S2min和S2max为饱和度分量的另一组区间阈值，Vmin和Vmax是明度的区间阈值，RT为红色分量阈值，ST为饱和度自适应阈值，T1和T2为RGB空间经验阈值；(2-2).对颜色掩膜cmask进行二次区域扩展，补全疑似火焰区域的中心空洞：首先将源监控图像分成10×10等尺寸区域，统计每个区域的掩膜像素平均明度VA：然后获取每个区域的扩展颜色掩膜，当区域内像素的明度大于VA时，将该像素加入扩展颜色掩膜csup：最终的颜色掩膜cmask为：cmask＝cmask∪csup；步骤(3).通过运动候选区域fmask与颜色候选区域cmask得到候选火焰区域：将得到颜色候选区域cmask与运动前景区域fmask进行对比得到火焰候选区域掩膜Mask：Mask＝fmask∩cmask；对掩膜Mask进行形态学操作，并获取其最小外接矩形，从源监控图像中截取出来构成候选火焰图像集Frpn；步骤(4).准备训练神经网络所需的训练图片集以及测试图片集：准备的训练数据包括带火焰图像的正样本和非火焰图像的负样本；正样本的构成包括人工截取的火焰图像和通过上述混合颜色模型获取的视频帧图像共同构成；通过设置在路口和室内的监控，获取真实应用场景下的视频，将不存在火焰的视频帧构成负样本；步骤(5).通过密集连接卷积神经网络对候选火焰图像进行分类：(5-1).构建密集连接卷积神经网络：密集连接卷积神经网络是一种深度神经网络；网络层数共有121层，包括前置的1个卷积层和最大池化操作，接着交替进行4个密集连接块与3个...

【专利技术属性】
技术研发人员：何志伟，吴凡，高明煜，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33