基于MaskRCNN的视频火灾识别方法及系统技术方案

本发明专利技术提供一种基于MaskRCNN的视频火灾识别方法及系统，采用了MaskRCNN深度学习模型来检测视频图像中的烟雾和火焰等目标，将视频流中的图像传输到训练好的MaskRCNN模型中，经过一系列的卷积、池化等操作，可以充分提取出图像中的特征信息，可以准确地输出预测到的烟雾和火焰等目标的坐标信息和得分结果。MaskRCNN模型具有较高的准确性和可靠性，但是也存在少量的误报现象，为了进一步降低误报，本实施例使用了基于帧差的动态能量检测方法对MaskRCNN的检测结果进行过滤，可以去除掉绝大部分的静态物体误报现象。最后，本实施例采用深度神经网络对检测到的物体对应的图像区域进行最后的分类决策，进一步地降低了误报率。

【技术实现步骤摘要】
基于MaskRCNN的视频火灾识别方法及系统
本专利技术涉及火灾识别
，具体来说是一种基于MaskRCNN的视频火灾识别方法及系统。
技术介绍
目前，现有火灾检测方法大致可以分为两类：基于传统图像处理的火灾检测方法，基于深度学习的火灾检测方法。基于传统图像处理的火灾检测方法一般从图像的视觉特性出发，早期学者提出对图像中颜色信息进行建模，来提取出疑似的火焰区域，这种方法的实时性较高，但是只考虑到了颜色特征，因此面临着准确率较低的问题。随后，研究人员提出通过动态背景建模的方法来检测出视频中的动态区域，再通过颜色模型来获取候选区域，最后再通过一些形态、纹理等形状特征来完成最终的筛选。该方法比单纯的颜色模型性能要高许多，同时动态背景建模的方法大幅度降低了静态物体的误报现象。以上这些基于传统图像处理的火灾检测方法或多或少都涉及到颜色特征的使用，然而在部分现实场景中，摄像头的偏色、过曝和光照等因素的影响，都会导致算法的可靠性大幅度的降低。后续学者们，把支持向量机、人工神经网络等机器学习算法引入到了火灾识别中，在提取出疑似区域的图像特征后，使用机器学习本文档来自技高网...

【技术保护点】
1.基于MaskRCNN的视频火灾识别方法，其特征在于：包括以下步骤：/nS01.训练MaskRCNN网络，得到目标MaskRCNN网络；/nS02.将视频流中的图像传输到目标MaskRCNN网络中，提取图像中的特征信息，得到图像分类数据集；/nS03.构建EfficientNet网络，并对网络的权重进行初始化，使用步骤S02中构建好的图像分类数据集进行训练，得到目标EfficientNet网络；/nS04.使用目标MaskRCNN网络检测视频中烟火目标，得到疑似烟雾、火焰的目标框坐标、概率值和类别；/nS05.帧差能量判断，针对步骤S04中得到的目标框通过帧差能量判断，过滤静态物体误报现象；...

【技术特征摘要】
1.基于MaskRCNN的视频火灾识别方法，其特征在于：包括以下步骤：
S01.训练MaskRCNN网络，得到目标MaskRCNN网络；
S02.将视频流中的图像传输到目标MaskRCNN网络中，提取图像中的特征信息，得到图像分类数据集；
S03.构建EfficientNet网络，并对网络的权重进行初始化，使用步骤S02中构建好的图像分类数据集进行训练，得到目标EfficientNet网络；
S04.使用目标MaskRCNN网络检测视频中烟火目标，得到疑似烟雾、火焰的目标框坐标、概率值和类别；
S05.帧差能量判断，针对步骤S04中得到的目标框通过帧差能量判断，过滤静态物体误报现象；
S06.分类网络最终决策，针对通过帧差能量判断后保留的目标框，采用EfficientNet网络进行分类。


2.根据权利要求1所述的基于MaskRCNN的视频火灾识别方法，其特征在于：所述目标MaskRCNN网络构建模块中训练MaskRCNN网络具体为：收集火灾图像样本，进行样本标注，构建训练数据集，需要标注出图像中烟雾和火焰等目标的坐标、类别，并对数据集进行数据增强；构建MaskRCNN网络，并对MaskRCNN网络的权重进行初始化，使用构建好的训练集来训练MaskRCNN网络，得到目标MaskRCNN网络；所述样本标注具体为：标注出烟雾和火焰物体的左上角坐标(x1，y1)和右下角坐标(x2，y2)，对图像数据集中的样本进行数据增强操作包括随机裁剪、随机亮度抖动、随机饱和度抖动、随机对比度抖动、随机hue抖动、mixup操作，Mixup的处理公式如下：






其中，λ～Beta(1.5,1.5)；
其中xi表示待融合的图像i，xj表示待融合的图像j，yi和yj分别表示图像i和图像j的标注信息；
所述MaskRCNN网络的训练过程为：
步骤S011，使用在COCO数据集上训练好的网络参数对MaskRCNN网络进行参数初始化；
步骤S012：将训练数据集中图像样本缩放到1024x1024后，然后利用MaskRCNN中的ResNet101+FPN网络来提取训练样本图像的整体特征图；
步骤S013：将上述整体特征图输入RPN网络中，预测出ROI区域，再根据候选区域目标框和标注目标框的重叠比挑选正负样本；
步骤S014：对正负样本对应特征图上的ROI区域进行ROIAlign池化计算，以得到固定尺寸的候选区域特征图；
ROIAlign池化计算时，首先将ROI区域目标框映射到特征图上，再根据最小外接矩形算法，得到特征图像ROI区域，将ROI区域划分成m×m个网格，每个网格选取特征图上4个点进行双线性差值，最后得到尺寸为m×m的特征图；
步骤S015：对ROIAlign计算后的ROI区域特征图进分类和目标框的回归计算；
步骤S016：计算MaskRCNN的损失函数，通过随机梯度下降算法对所述损失函数进行梯度计算，并更新MaskRCNN网络的权重；
步骤S017：重复以上步骤S012到S016，直到达到预设迭代次数，停止训练，保存MaskRCNN网络。


3.根据权利要求2所述的基于MaskRCNN的视频火灾识别方法，其特征在于：所述步骤S02中具体为：使用目标MaskRCNN网络对大量视频数据和图像数据进行检测，裁剪出检测到疑似烟雾和火焰目标，构建出包括烟雾、火焰、概率值3种类别的图像分类数据集。


4.根据权利要求1所述的基于MaskRCNN的视频火灾识别方法，其特征在于：所述步骤S03具体为：使用ImageNet数据集上训练好的EfficientNet分类网络参数对EfficientNet网络进行参数初始化，输入图像分类数据集，进行端到端的训练，通过Adam优化算法对分类损失函数进行梯度计算，并更新EfficientNet网络参数，完成设定轮训练后，停止训练，得到目标EfficientNet网络。


5.根据权利要求1所述的基于MaskRCNN的视频火灾识别方法，其特征在于：所述步骤S04具体为：从视频流中获取图像，视频图像缩放到1024x1024尺寸后，输入目标MashRCNN网络中，预测得到疑似烟雾、火焰的目标框坐标、概率值和类别；对预测到的所有目标进行NMS非极大值抑制，滤除重叠的无效目标框。


6.根据权利要求1所述的基于MaskRCNN的视频火灾识别方法，其特征在于：所述步骤S05具体为：根据所述目标框，裁剪出最近相邻N帧中每一帧中目标框对应的...

【专利技术属性】
技术研发人员：陈锐，钱廷柱，刘洪奎，郭云正，
申请(专利权)人：合肥科大立安安全技术有限责任公司，
类型：发明
国别省市：安徽;34