本发明专利技术涉及一种于Mask R‑CNN模型的火灾夜间场景复原方法，通过训练Mask‑RCNN模型对火焰进行实例分割，将夜晚的起火位置的火焰初期的区域分割出来融合到白天的监控视频上，定位起火的具体位置，在实例分割的后续操作中，利用图像混合叠加算法，将分割出的火焰区域叠加到白天的监控视频图像上，从而实现火灾场景的复原并辅助定位起火位置，为火灾成因认定奠定了坚实的基础。
Fire Night Scene Restoration Method Based on Mask R-CNN Neural Network
【技术实现步骤摘要】
基于MaskR-CNN神经网络的火灾夜间场景复原方法
本专利技术涉及图像处理与计算机视觉领域，特别涉及一种基于MaskR-CNN神经网络的火灾夜间场景复原方法，将夜间起火位置火焰融合到白天的监控视频上，实现夜晚火灾场景的复原。
技术介绍
在当今社会中，火灾一直是人类面临的主要灾害之一，严重的火灾事故不仅会造成大量的人员伤亡，还会危及生命。避免火灾不仅需要在火灾发生前及时监测、预警火灾事故，还需要在火灾发生后精准地调研分析火灾发生的原因、定位起火位置。火焰是火灾发生的重要视觉标志之一，火焰的研究对火灾的准确监控具有重要作用。传统的火灾事故调查主要以现场勘查并收集证据为主要手段，在进行火灾原因认定时，往往根据现场残留的火灾痕迹、残留物并结合证人询问笔录，通过逻辑推理得到认定结论，这种传统火灾原因调查方法具有很大的主观性和局限性。随着数字图像处理技术的发展，安防监控设备已经遍布了各大场所，这些监控视频图像已经可以客观具体地反映现场情况，对认定火灾原因发挥了良好的作用。但是由于一些客观元素限制，比如火灾发生在夜间，那么只通过监控视频，火调人员无从确定起火的具体位置，目前仍然没有很好的复原夜间火灾场景的方法。
技术实现思路
鉴于现有技术的状况及存在的不足，为了便于火灾调查人员确定夜间火灾起火位置，本专利技术提出一种基于MaskR-CNN模型的火灾夜间场景复原方法，通过训练Mask-RCNN模型对火焰进行实例分割，将夜晚的起火位置的火焰初期的区域分割出来融合到白天的监控视频上，定位起火的具体位置，在实例分割的后续操作中，利用图像混合叠加算法，将分割出的火焰区域叠加到白天的监控视频图像上，从而实现火灾场景的复原并辅助定位起火位置，为火灾成因认定奠定了坚实的基础。本专利技术为实现上述目的，采用的技术方案是：基于MaskR-CNN神经网络的火灾夜间场景复原方法，利用计算机作为平台，其特征在于，步骤如下：⑴、建立火焰检测样本库：为了使用Mask-RCNN对火焰区域进行准确的提取分割，采集主要包括夜间各种场景下的火灾监控图片，经过标定处理，作为训练数据集，完成对Mask-RCNN网络的训练；⑵、图像的预处理：输入需要复原的火灾夜间场景视频帧，对于每一帧图像进行形态学滤波，图像随机翻转，裁剪，像素归一化，图像增强，可以去除噪声和图片尺寸因素的影响，便于网络的训练与推理；⑶、MaskR-CNN模型训练：MaskR-CNN继承于FasterR-CNN，在FasterR-CNN上面加了一个MaskPredictionBranch，并且改良了RoIPooling，提出了RoIAlign，是FasterR-CNN和FCN的结合，同时完成了目标检测、目标分类、像素级目标分割三类任务，MaskR-CNN训练主要分为两个阶段，第一阶段训练区域生成网络RPN,第二阶段使用RoIAlign将RPN层生成的RoI映射featuremap对应位置，将映射后的区域生成固定大小的特征图进行分类、坐标回归和输出一个二值Mask，在训练MaskR-CNN模型时，采用如下的损失函数：L=Lcls+Lbox+Lmask其中，L表示总的误差，Lcls代表分类误差，Lbox表示回归误差，Lmask表示分割误差；Lbox和Lmask是对正样本才会起作用的，MaskR-CNN中的正样本被定义成了与Groundtruth的IoU大于0.5的预测框，在mask分支中对每个RoI的输出是K*m*m，表示k个尺寸为m*m的二值mask，k是物体类别数目；MaskR-CNN没有采用FCN中的Softmaxloss进行分类，而是通过输出K个mask预测图，每一类都输出一个mask，通过逐像素的Sigmoid计算得到，代价函数为Sigmoid对应的交叉熵损失函数，利用BinaryLoss代替MultinomialLoss，消除了不同类别的mask之间的竞争，生成了准确的二值mask；⑷、MaskR-CNN模型推理：将预处理后的夜间监控视频帧输入到训练好的MaskR-CNN模型中进行推理时，主要分为以下四个步骤：第一步：特征图FeatureMap的生成，处理后的图片输入到MaskR-CNN模型的主干网络ResNeXt-101+FPN中，产生不同尺寸的FeatureMap；第二步：候选区域生成网络RPN，RPN用来生成高质量的火焰候选区域框，它是一个全卷积神经网络，在所有FeatureMap上通过候选区域生成网络RPN提取火焰候选区域RoI，并对提取出的候选区域进行打分，给出置信度，然后进行非极大值抑制NMS操作，并给出最终的火焰候选区域，与火焰检测网络共享卷积特征；本方法采用3种不同大小Anchor，即128×128，256×256，512×512，用3种长宽比1∶1，1∶2，2∶1进行缩放滑动窗口，因此共用9种类型的Anchor对火焰候选区域进行预测，将每个滑动窗口映射成一个低维特征向量，将这些特征作为两个全连接层，即分类层和边界回归层的输入，分类层给出火焰候选区域中的物体是火焰和非火焰的概率，边界回归层给出火焰候选区域的坐标，由于提取的火焰候选区域有很多交叉重叠，因此根据非极大值抑制原则选取前300个候选区域框作为最终的火焰候选区域；第三步：RoIAlign操作，RoIAlign使用双线性插值的方法，可以消除在池化操作时的误差，更好的提升分割效果，任意一个火焰候选区域经过ＲoI池化层映射到FeatureMap的相应位置上，将FeatureMap上的ROI区域进行ROIAlign操作得到固定尺寸的特征图，然后对每个输入的特征图通过全连接层提取一个固定维度的特征向量；第四步：将FeatureMap输入到三个同级的输出层，一是Softmax分类层，判断目标是否是火焰；二是边界回归层，实现RoI坐标预测功能；三是Mask生成层，主要是对每一个RoI特征图进行FCN全卷积神经网络操作，得到分割后的火焰前景图像；⑸、火焰前景区域的智能融合：采用智能融合算法，将提取到的夜间火焰前景区域智能融合到白天的监控视频上，从而实现夜间火场景的复原，辅助火调人员分析火灾场景分析。本专利技术的有益效果是：传统的火焰检测采用HSV颜色模型提取疑似火焰区域，排除与火焰颜色相近的干扰物，然后利用高斯混合模型（GMM）检测运动目标，由于提取特征不够全面，当出现与火焰纹理相似的区域时，误检率较高，且不能准确定位火灾发生位置。使用深度卷积神经网络对火焰进行检测，提高了准确率，但是深度卷积神经网络需要固定的输入尺寸，因此对输入数据进行归一化操作时，导致了图像的失真，造成准确率的下降，利用搜索选择方法进行候选区域的提取，造成过多冗余区域框的产生，效率降低。本专利技术使用RPN提取高质量的火焰候选区域，便于火焰目标的提取与分割，使用卷积神经网络提取抽象特征，能够更加全面地描述火焰，ROIAlign操作使用双线性插值操作很好地解决了ROIPooling操作中两次量化造成的区域不匹配(mis-alignment)的问题，能够精确的把火灾的位置映射到特征图的位置上。代价函数为Sigmoid对应的交叉熵损失函数，利用BinaryLoss代替MultinomialLoss，消除了不同类别的mask之间的竞争，生成了准确的二值mask，对不同场景本文档来自技高网...
【技术保护点】
1.一种基于Mask R‑CNN神经网络的火灾夜间场景复原方法，利用计算机作为平台，其特征在于，步骤如下：⑴、建立火焰检测样本库：为了使用Mask‑RCNN对火焰区域进行准确的提取分割，采集主要包括夜间各种场景下的火灾监控图片，经过标定处理，作为训练数据集，完成对Mask‑RCNN网络的训练；⑵、图像的预处理：输入需要复原的火灾夜间场景视频帧，对于每一帧图像进行形态学滤波，图像随机翻转，裁剪，像素归一化，图像增强，可以去除噪声和图片尺寸因素的影响，便于网络的训练与推理；⑶、Mask R‑CNN模型训练：Mask R‑CNN 继承于Faster R‑CNN，在Faster R‑CNN上面加了一个Mask Prediction Branch，并且改良了RoI Pooling，提出了RoI Align，是Faster R‑CNN和FCN的结合，同时完成了目标检测、目标分类、像素级目标分割三类任务，Mask R‑CNN训练主要分为两个阶段，第一阶段训练区域生成网络RPN,第二阶段使用RoI Align将RPN层生成的RoI映射feature map对应位置，将映射后的区域生成固定大小的特征图进行分类、坐标回归和输出一个二值Mask，在训练Mask R‑CNN模型时，采用如下的损失函数：L=Lcls+Lbox+Lmask其中，L表示总的误差，Lcls代表分类误差，Lbox表示回归误差，Lmask表示分割误差；Lbox和Lmask是对正样本才会起作用的，Mask R‑CNN中的正样本被定义成了与Ground truth的IoU大于0.5的预测框，在mask分支中对每个RoI的输出是K*m*m，表示k个尺寸为m*m的二值mask，k是物体类别数目；Mask R‑CNN没有采用FCN中的Softmaxloss进行分类，而是通过输出K个mask预测图，每一类都输出一个mask，通过逐像素的Sigmoid计算得到，代价函数为Sigmoid对应的交叉熵损失函数，利用Binary Loss代替Multinomial Loss，消除了不同类别的mask之间的竞争，生成了准确的二值mask；⑷、Mask R‑CNN模型推理：将预处理后的夜间监控视频帧输入到训练好的Mask R‑CNN模型中进行推理时，主要分为以下四个步骤：第一步：特征图Feature Map的生成，处理后的图片输入到Mask R‑CNN模型的主干网络ResNeXt‑101+FPN中，产生不同尺寸的Feature Map；第二步：候选区域生成网络RPN，RPN用来生成高质量的火焰候选区域框，它是一个全卷积神经网络，在所有 Feature Map 上通过候选区域生成网络RPN提取火焰候选区域RoI，并对提取出的候选区域进行打分，给出置信度，然后进行非极大值抑制NMS操作，并给出最终的火焰候选区域，与火焰检测网络共享卷积特征；本方法采用 3 种不同大小Anchor，即128×128，256×256，512×512，用 3 种长宽比1 ∶1，1 ∶2，2 ∶1进行缩放滑动窗口，因此共用 9 种类型的 Anchor 对火焰候选区域进行预测，将每个滑动窗口映射成一个低维特征向量，将这些特征作为两个全连接层，即分类层和边界回归层的输入，分类层给出火焰候选区域中的物体是火焰和非火焰的概率，边界回归层给出火焰候选区域的坐标，由于提取的火焰候选区域有很多交叉重叠，因此根据非极大值抑制原则选取前 300 个候选区域框作为最终的火焰候选区域；第三步：RoIAlign操作，RoIAlign使用双线性插值的方法，可以消除在池化操作时的误差，更好的提升分割效果，任意一个火焰候选区域经过ＲoI池化层映射到Feature Map的相应位置上，将Feature Map上的ROI区域进行ROIAlign操作得到固定尺寸的特征图，然后对每个输入的特征图通过全连接层提取一个固定维度的特征向量；第四步：将Feature Map输入到三个同级的输出层，一是Softmax分类层，判断目标是否是火焰；二是边界回归层，实现RoI坐标预测功能；三是Mask生成层，主要是对每一个RoI特征图进行FCN全卷积神经网络操作，得到分割后的火焰前景图像；⑸、火焰前景区域的智能融合：采用智能融合算法，将提取到的夜间火焰前景区域智能融合到白天的监控视频上，从而实现夜间火场景的复原，辅助火调人员分析火灾场景分析。...
【技术特征摘要】
1.一种基于MaskR-CNN神经网络的火灾夜间场景复原方法，利用计算机作为平台，其特征在于，步骤如下：⑴、建立火焰检测样本库：为了使用Mask-RCNN对火焰区域进行准确的提取分割，采集主要包括夜间各种场景下的火灾监控图片，经过标定处理，作为训练数据集，完成对Mask-RCNN网络的训练；⑵、图像的预处理：输入需要复原的火灾夜间场景视频帧，对于每一帧图像进行形态学滤波，图像随机翻转，裁剪，像素归一化，图像增强，可以去除噪声和图片尺寸因素的影响，便于网络的训练与推理；⑶、MaskR-CNN模型训练：MaskR-CNN继承于FasterR-CNN，在FasterR-CNN上面加了一个MaskPredictionBranch，并且改良了RoIPooling，提出了RoIAlign，是FasterR-CNN和FCN的结合，同时完成了目标检测、目标分类、像素级目标分割三类任务，MaskR-CNN训练主要分为两个阶段，第一阶段训练区域生成网络RPN,第二阶段使用RoIAlign将RPN层生成的RoI映射featuremap对应位置，将映射后的区域生成固定大小的特征图进行分类、坐标回归和输出一个二值Mask，在训练MaskR-CNN模型时，采用如下的损失函数：L=Lcls+Lbox+Lmask其中，L表示总的误差，Lcls代表分类误差，Lbox表示回归误差，Lmask表示分割误差；Lbox和Lmask是对正样本才会起作用的，MaskR-CNN中的正样本被定义成了与Groundtruth的IoU大于0.5的预测框，在mask分支中对每个RoI的输出是K*m*m，表示k个尺寸为m*m的二值mask，k是物体类别数目；MaskR-CNN没有采用FCN中的Softmaxloss进行分类，而是通过输出K个mask预测图，每一类都输出一个mask，通过逐像素的Sigmoid计算得到，代价函数为Sigmoid对应的交叉熵损失函数，利用BinaryLoss代替MultinomialLoss，消除了不同类别的mask之间的竞争，生成了准确的二值mask；⑷、MaskR-CNN模型...
【专利技术属性】
技术研发人员：王鑫，陈钦佩，鲁志宝，
申请(专利权)人：应急管理部天津消防研究所，
类型：发明
国别省市：天津,12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。