基于数字图像和卷积特征的火焰目标检测方法技术

由于基于图像特征的火焰检测模型泛化性不强，而深度神经网络模型对训练样本数量要求较高，本专利提出了一种基于数字图像和卷积特征的火焰目标检测方法，首先制作包含视频动态特征的数据集；然后将经典的Faster R‑CNN中VGG16的标准卷积替换为深度可分离卷积，并减少卷积层数；接着根据RPN产生的候选框从原图裁剪出256个图像块，对每个图像块提取LBP特征；再通过卷积缩减ROI池化层输出特征图尺寸以及全连接层神经元数量，进一步减少网络参数；最后将提取的LBP特征，数据集中的动态特征与池化后平铺的特征向量合并，送入全连接层进行分类和回归。本专利构建的火焰目标检测模型具有较高的检测精度，便于针对测试结果的不足进行改进，灵活性高。

Flame target detection method based on digital image and convolution feature

【技术实现步骤摘要】
基于数字图像和卷积特征的火焰目标检测方法
本专利技术涉及火焰的检测方法。
技术介绍
火焰的快速检测对火灾的预警和及时处理具有重要意义，火灾监控视频系统是预防火灾的重要手段，而火焰是火灾发生的重要视觉标志，因此，基于图像特征的火焰识别方法已成为防火领域的热点。基于图像特征的火焰识别方法主要分为火焰静态特征和动态特征两类。火焰静态特征主要有边缘、颜色空间信息等，乔建强等提出了基于边缘特征的火焰检测方法，对图像提取边缘特征信息，从而进行火焰识别；陈天炎等提出基于YCbCr颜色空间阈值分割的方法，利用火焰在颜色空间中的特征提取火焰区域。火焰动态特征包括混合高斯背景模型、帧差等，如李庆辉等利用一种自适应混合高斯模型检测视频序列中的运动目标，然后采用聚类算法分割疑似火焰区域与非火区域；Stadler等使用加权帧间差分法提取火焰候选区域，通过高闪烁频率区分火焰和非火焰，将阈值滤波和高通滤波器应用于强度变化从而提高识别率。由于火焰的外焰具有运动的特征，而焰心的运动特征并不是很明显，因此，采用常见的基于颜色、边缘、纹理等静态图像的特征，难以区分火焰和与火焰颜色、纹理相似的红花或光照等干扰对象，基于动态特征的检测方法又会使得焰心区域被错误地判断为背景。深度卷积神经网络可以学习归纳图像特征，具有更强的辨别能力和泛化能力，在图像处理领域的应用也越来越广泛。Girshick等提出了FasterR-CNN用于目标检测，先产生候选区域再分类和回归；Redmon等提出了YOLO，只用一次评价直接从输入的整幅图像预测边框和类别概率，相对于FasterR-CNN精度降低但具有较高的检测速度；Liu等提出的SSD与YOLO同属于单次检测器，同时借鉴了FasterR-CNN的锚点框机制，在不损失精度的情况下保持了快速的特性。深度卷积神经网络的训练对数据集的容量具有较高要求，虽然在中小数据集上用迁移学习有时也能达到良好的效果，但火焰与当前公有数据集里的对象相似性极小，迁移学习的效果微乎其微。
技术实现思路
本专利技术的目的是提供一种卷积层数少、网络参数少、灵活性高的基于数字图像和卷积特征的火焰目标检测方法，该方法提取火焰时空特征，与深度卷积神经网络相结合，即能较全面地提取目标特征，又保证模型具有一定的泛化性。为达到上述目的，本专利技术所述的基于数字图像和卷积特征的火焰目标检测方法，包括以下步骤：1)、将待检测视频分为若干视频块，每个视频块包含31帧图像，读取视频块数据并从每个视频块中提取动态特征：火焰面积变化特征，形状相似性特征和闪烁频率特征；2)、从视频块中随机抽取一张图像并对其进行图像规整化；3)、对规整化后的图像进行卷积产生特征图；4)、在卷积得到的特征图上采用FasterR-CNN的RPN网络生成256个候选区域，通过候选区域坐标从规整化图像裁剪出相应的图像块，对每个图像块提取LBP特征；5)、将各候选区域所对应的特征图ROI池化到固定的大小，再通过卷积降维并展平到固定维度的特征向量；6)将网络分为两支，一支用来修正边框坐标，另一支对特征向量降维后合并动态特征和LBP特征，以softmax分类器进行火焰识别。作为对所述的火焰目标检测方法的进一步改进，步骤2)中，进行图像规整化时，设定图像短边不超过300像素，图像长边不超过500像素，对超出限定的图像进行等比缩放。作为对所述的火焰目标检测方法的进一步改进，步骤3)中，卷积网络第1层为标准卷积，之后11层为深度可分离卷积；其中卷积网络第3、5、7、11层的卷积步长为2，这样卷积每次将特征图的长宽各缩小一半，最终将特征图长宽各缩为规整化图像的1/16。作为对所述的火焰目标检测方法的进一步改进，步骤5)中，将各候选区域所对应的特征图分别ROI池化到固定的5×5×512大小，再经过步长为2的卷积，缩小特征图尺寸，降低展平后的特征向量维数，展平后特征向量尺寸为256×2048。作为对所述的火焰目标检测方法的进一步改进，步骤1)中，对视频图像提取疑似火焰区域，利用像素点数量的变化来表示火焰面积的变化，视频帧中火焰的面积变化率如下：式中，St和St-1分别表示视频序列中第t帧和第t-1帧疑似火焰区域内的像素点个数，ΔAt表示疑似火焰区域像素点总数的变化率，即为疑似火焰区域面积变化率；每个视频块有31帧图像，共提取30维火焰面积变化特征向量。火焰形状相似度ξt计算公式如下：其中，bt(x,y)和bt+3(x,y)分别为第t帧和第t+3帧图像序列，Ω为疑似火焰区域，(x,y)为图像序列点的坐标。每个视频块提取10维形状相似性特征向量。火焰闪烁频率作为森林火灾火焰识别的一个重要判据。考虑到视频块大小固定，所以用疑似火焰区域边缘像素变化来间接的反映火焰闪烁频率特征,公式如下：ΔPt＝|Pt-Pt-3|其中，Pt和Pt-3表示视频序列中第t帧和第t-3帧疑似火焰区域边缘像素点；ΔPt表示边缘像素变化；每个视频块提取10维闪烁频率特征向量；合并火焰面积变化、形状相似性和闪烁频率特征，每个视频块提取50维动态特征向量。作为对所述的火焰目标检测方法的进一步改进，步骤4)中，对每个图像块的RGB三通道分别提取59维的LBP特征向量，总共177维的LBP特征向量。作为对所述的火焰目标检测方法的进一步改进，步骤6)中，类别预测网络先用一层全连接层将特征向量降维到256×512，然后与之前提取的256×177的LBP特征向量以及从视频数据中提取的256×50的动态特征向量合并为256×739的新特征向量，再由两层全连接层生成维数等于类别总数个数的特征向量)，最后由softmax分类器得到分类结果。本专利技术的有益效果：本专利针对由于基于图像特征的火焰检测模型泛化性不强，而深度神经网络模型对训练样本数量要求较高，且难以针对测试结果进行改进的问题，本文构建了一种结合火焰时空特征的改进的FasterR-CNN模型，用于火焰目标检测。首先制作包含视频动态特征的数据集；然后将经典的FasterR-CNN中VGG16的标准卷积替换为深度可分离卷积，并减少卷积层数；接着根据RPN产生的候选框从原图裁剪出256个图像块，对每个图像块提取LBP特征；再通过卷积缩减ROI池化层输出特征图尺寸以及全连接层神经元数量，进一步减少网络参数；最后将提取的LBP特征，数据集中的动态特征与池化后平铺的特征向量合并，送入全连接层进行分类和回归。本专利构建的火焰目标检测模型具有较高的检测精度，并便于针对测试结果的不足进行改进，具有较高的灵活性。因此，本文构建了一种结合火焰时空特征的改进的FasterR-CNN模型，用于火焰目标检测。时空特征包括FasterR-CNN深度卷积神经网络没法提取到的时序动态特征(包括火焰面积变化、形状相似性和闪烁频率特征等动态特征)和提取不明显的空间纹理特征，并与FasterR-CNN深度卷积神经网络相结合，即能较全面地提取目标特征，又保证模型具有一定的泛化性。本文档来自技高网...

【技术保护点】
1.基于数字图像和卷积特征的火焰目标检测方法，其特征是：它包括以下步骤：/n1)、将待检测视频分为若干视频块，每个视频块包含31帧图像，读取视频块数据并从每个视频块中提取动态特征：火焰面积变化特征，形状相似性特征和闪烁频率特征；/n2)、从视频块中随机抽取一张图像并对其进行图像规整化；/n3)、对规整化后的图像进行卷积产生特征图；/n4)、在卷积得到的特征图上采用Faster R-CNN的RPN网络生成256个候选区域，通过候选区域坐标从规整化图像裁剪出相应的图像块，对每个图像块提取LBP特征；/n5)、将各候选区域所对应的特征图ROI池化到固定的大小，再通过卷积降维并展平到固定维度的特征向量；/n6)、将网络分为两支，一支用来修正边框坐标，另一支对特征向量降维后合并动态特征和LBP特征，以softmax分类器进行火焰识别。/n

【技术特征摘要】
1.基于数字图像和卷积特征的火焰目标检测方法，其特征是：它包括以下步骤：
1)、将待检测视频分为若干视频块，每个视频块包含31帧图像，读取视频块数据并从每个视频块中提取动态特征：火焰面积变化特征，形状相似性特征和闪烁频率特征；
2)、从视频块中随机抽取一张图像并对其进行图像规整化；
3)、对规整化后的图像进行卷积产生特征图；
4)、在卷积得到的特征图上采用FasterR-CNN的RPN网络生成256个候选区域，通过候选区域坐标从规整化图像裁剪出相应的图像块，对每个图像块提取LBP特征；
5)、将各候选区域所对应的特征图ROI池化到固定的大小，再通过卷积降维并展平到固定维度的特征向量；
6)、将网络分为两支，一支用来修正边框坐标，另一支对特征向量降维后合并动态特征和LBP特征，以softmax分类器进行火焰识别。


2.如权利要求1所述的火焰目标检测方法，其特征是：步骤2)中，进行图像规整化时，设定图像短边不超过300像素，图像长边不超过500像素，对超出限定的图像进行等比缩放。


3.如权利要求2所述的火焰目标检测方法，其特征是：步骤3)中，卷积网络第1层为标准卷积，之后11层为深度可分离卷积；其中卷积网络第3、5、7、11层的卷积步长为2，这样卷积每次将特征图的长宽各缩小一半，最终将特征图长宽各缩为规整化图像的1/16。


4.如权利要求1所述的火焰目标检测方法，其特征是：步骤5)中，将各候选区域所对应的特征图分别ROI池化到固定的5×5×512大小，再经过步长为2的卷积，缩小特征图尺寸，降低展平后的特征向量维数，展平后特征向量尺寸为256×2048。

...

【专利技术属性】
技术研发人员：赵亚琴，卢鹏，丁志鹏，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：江苏;32