结合易混目标排除的基于视频分析的火焰检测方法技术

本发明专利技术提供了一种结合易混目标排除的基于视频分析的火焰检测方法，首先利用训练好的火焰目标检测深度模型判别出初选火焰目标区域；然后将训练好的车灯检测深度模型应用于初选火焰目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真实火焰目标区域外；经过车灯检测深度模型筛选留下的初选火焰目标区域被最终标记为终选火焰目标区域；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。本发明专利技术的有益效果是：将易混的夜间车灯排除，有利于减少误判，提高火焰检测的准确度。

Flame Detection Method Based on Video Analysis Combined with Mixed Object Elimination

The present invention provides a flame detection method based on video analysis, which combines the elimination of confusing targets. Firstly, the trained flame target detection depth model is used to identify the primary flame target area, and then the trained vehicle lamp detection depth model is applied to the primary flame target area. If a primary flame target area is determined as a vehicle lamp, it is excluded from the real flame. Outside the target area, the primary flame target area left after the selection of vehicle lamp detection depth model is finally marked as the final flame target area. Finally, the real flame target area is selected from the final flame target area by using the motion characteristics of the flame. The invention has the beneficial effect of eliminating the confusing night lamp, reducing misjudgement and improving the accuracy of flame detection.

【技术实现步骤摘要】
结合易混目标排除的基于视频分析的火焰检测方法
本专利技术涉及火焰检测方法，尤其涉及一种结合易混目标排除的基于视频分析的火焰检测方法。
技术介绍
火焰的监测具有重要的意义，正确的火焰监测可帮助人们及早发现室内外的火灾，有效减小生命财产的损失。基于视频分析的火焰检测方法对实时传入的视频序列进行分析和判断，自动确定出具有火焰的图像帧。基于视频分析的火焰检测方法可分为传统的依赖特征的方法与利用深度学习网络的方法。依赖特征的方法需要利用专门的算法从视频序列或图像帧中抽取特定的特征，然后利用专门的分类器进行火焰和非火焰的二分类。利用深度学习网络的方法不需要任何其他算法抽取特征，而是由网络自动提取出对火焰判识最有效的特征，并在此基础上判断特征所对应图像区域是否为火焰。上述两类方法都存在如下问题：夜间的车灯很容易被误判为火焰，我们的统计分析显示，超过70％的火焰目标的误报由于夜间的车灯引起；假如通过调高或调低阈值的方式来减少此类误判，则很可能导致真正的火焰目标被漏报(即把真正的火焰目标判定为非火焰目标)的情况。
技术实现思路
为了解决现有技术中的问题，本专利技术提供了一种结合易混目标排除的基于视频分析的火焰检测方法。本专利技术提供了一种结合易混目标排除的基于视频分析的火焰检测方法，首先利用训练好的火焰目标检测深度模型判别出初选火焰目标区域；然后将训练好的车灯检测深度模型应用于初选火焰目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真实火焰目标区域外；经过车灯检测深度模型筛选留下的初选火焰目标区域被最终标记为终选火焰目标区域；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。作为本专利技术的进一步改进，将训练好的车灯检测深度模型对初选火焰目标区域进行甄别，找出其中的车灯目标，并将与车灯目标区域存在重叠或二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域，经此步骤后留下的初选火焰目标区域被确定为终选火焰目标区域。作为本专利技术的进一步改进，所述车灯检测深度模型的训练方式如下：对每一个正例或反例图像，同时将图像本身与对应的XML文件作为网络的输入，XML文件给出图像中所有夜间车灯区域的矩形框位置，对包括夜间车灯图像的正例数据的训练目标为使网络计算得出的夜间车灯的矩形定位框与真实的夜间车灯矩形框的位置差异最小化，反例图像为不包括夜间车灯的图像，反例图像的XML文件中“夜间车灯区域”矩形定位框的所有顶点坐标位置全部定义为(0,0)。作为本专利技术的进一步改进，该车灯检测深度模型完成训练后的应用方式如下：将一个初选火焰目标区域的1.2倍作为该车灯检测深度模型的输入，网络按照训练好的参数运行，然后标出其中的夜间车灯矩形框及矩形框为夜间车灯的概率，将概率大于0.6的夜间车灯矩形框作为真实的夜间车灯目标。作为本专利技术的进一步改进，对终选火焰目标区域进行运动特性分析，过程如下：假设当前图像帧中包含终选火焰目标区域，则计算该终选火焰目标区域与前两帧图像的相应区域的差值图像，如果两个差值图像矩阵的范数均小于阈值μ，则判定该终选火焰目标区域为非真实的火焰目标区域；而所有通过了该步骤的筛选的终选火焰目标区域被判定为真实火焰目标区域。作为本专利技术的进一步改进，假设终选火焰目标区域的图像矩阵为I，而前两帧图像的相应区域的图像矩阵分别为I1,I2，I与I1,I2的差值图像矩阵分别为Q1(m,n)＝I(m,n)-I1(m,n)，Q2(m,n)＝I(m,n)-I2(m,n)，符号(m,n)用来指定图像矩阵中的第m行、第n列的像素，Q1的范数定义为本专利技术的有益效果是：将易混的夜间车灯排除，有利于减少误判，提高火焰检测的准确度。附图说明图1是本专利技术一种结合易混目标排除的基于视频分析的火焰检测方法的流程图。图2是本专利技术一种结合易混目标排除的基于视频分析的火焰检测方法的最近距离示意图。具体实施方式下面结合附图说明及具体实施方式对本专利技术作进一步说明。如图1所示，一种结合易混目标排除的基于视频分析的火焰检测方法，使用双深度模型，首先利用训练好的火焰目标检测深度模型判别出火焰目标区域(称为初选火焰目标区域)；然后将训练好的车灯检测深度模型应用于这些目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真正的火焰目标区域外；经过车灯检测深度模型筛选的初选火焰目标区域被最终标记为火焰目标区域(称为终选火焰目标区域)；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。完整火焰目标区域检测的流程如图1所示。分析判别出夜间车灯为第一大火焰误判对象，并提出合理的结合易混的夜间车灯排除的火焰检测思路与方法为本专利技术的重要创新点。由于夜间车灯为最主要的火焰误报来源，所以提出建立专门的模型对初选火焰目标区域进行甄别，找出其中的车灯目标，并将与车灯目标区域存在重叠或二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域，经此步骤后留下的初选火焰目标区域被确定为终选火焰目标区域。将与车灯目标区域存在重叠的初选火焰目标区域判定为非真实火焰目标区域的合理性显而易见。而将与车灯目标区域二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域的物理意义如下：由于本专利技术只对初选火焰目标区域进行是否为车灯目标的判识，因此，一个车灯目标区域肯定位于一个初选火焰目标区域内，检测出车灯目标区域后，覆盖其的初选火焰目标区域一定为虚假火焰目标。但与此同时，与该车灯目标区域距离很近的初选火焰目标区域也大概率为虚假火焰目标，因此也应该设置规则将其排除在外。阈值r通过基于大量视频的实验确定。图2形象给出了初选火焰目标区域与车灯目标区域间最近距离的示例。图2初选火焰目标区域与车灯目标区域间最近距离的示例。图中两个矩形框分别代表一个初选火焰目标区域与一个车灯目标区域。图中的水平短实线的长度即为这两个目标区域间的最近距离，而其他连接两个矩形框边缘的线段的长度都大于该距离。本专利技术所指夜间车灯特指夜晚天气条件下，启用了照明灯源的车灯，具体包括轿车、货车、单人骑行的电动助力车、警车等的夜间车灯。此前尚没有人专门对夜间车灯进行基于深度模型的判识。基于夜间车灯为最主要的火焰误报来源的发现，本专利技术专门对夜间车灯进行数据采集与检测。数据采集包括夜间车灯图像数据(即正例数据)与其他所有非夜间车灯图像数据(即反例数据)的采集。正例数据与反例数据的适宜比例为1:5左右，以恰当反映反例数据大大多于正例数据的现实。正例数据与反例数据都具有较大的多样性，且正例数据一共来自5000多图像帧，反例数据一共来自25000多图像帧。深度网络结构设置为32层的网络，其中网络的主要部分为依次进行的包括卷积层、池化层与正则化层的10个网络子层(合计30层)以及后续的两个全连接层。该深度网络的训练方式如下：对每一个正例或反例图像，同时将图像本身与对应的XML文件作为网络的输入，XML文件给出图像中所有夜间车灯区域的矩形框位置(如果存在夜间车灯)。对包括夜间车灯图像的正例数据的训练目标为使网络计算得出的夜间车灯的矩形定位框与真实的夜间车灯矩形框的位置差异最小化。反例图像(即不包括夜间车灯的图像)的XML文件中“夜间车灯区域”矩形定位框的所有顶点坐标位置全部定义为(0,0)。该深度网络完成训练后的应用方式如下：将一个本文档来自技高网...

【技术保护点】
1.一种结合易混目标排除的基于视频分析的火焰检测方法，其特征在于，首先利用训练好的火焰目标检测深度模型判别出初选火焰目标区域；然后将训练好的车灯检测深度模型应用于初选火焰目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真实火焰目标区域外；经过车灯检测深度模型筛选留下的初选火焰目标区域被最终标记为终选火焰目标区域；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。

【技术特征摘要】
1.一种结合易混目标排除的基于视频分析的火焰检测方法，其特征在于，首先利用训练好的火焰目标检测深度模型判别出初选火焰目标区域；然后将训练好的车灯检测深度模型应用于初选火焰目标区域，若某个初选火焰目标区域被判定为车灯，则将其排除在真实火焰目标区域外；经过车灯检测深度模型筛选留下的初选火焰目标区域被最终标记为终选火焰目标区域；最后利用火苗的运动特性从终选火焰目标区域中筛选出真实火焰目标区域。2.根据权利要求1所述的结合易混目标排除的基于视频分析的火焰检测方法，其特征在于：将训练好的车灯检测深度模型对初选火焰目标区域进行甄别，找出其中的车灯目标，并将与车灯目标区域存在重叠或二者间最近距离小于r的初选火焰目标区域判定为非真实火焰目标区域，经此步骤后留下的初选火焰目标区域被确定为终选火焰目标区域。3.根据权利要求1所述的结合易混目标排除的基于视频分析的火焰检测方法，其特征在于：所述车灯检测深度模型的训练方式如下：对每一个正例或反例图像，同时将图像本身与对应的XML文件作为网络的输入，XML文件给出图像中所有夜间车灯区域的矩形框位置，对包括夜间车灯图像的正例数据的训练目标为使网络计算得出的夜间车灯的矩形定位框与真实的夜间车灯矩形框的位置差异最小化，反例图像为不包括夜间车灯的图像，反例图像的XML文件中“夜间车灯区域...

【专利技术属性】
技术研发人员：徐勇，刘川意，
申请(专利权)人：哈尔滨工业大学深圳，深圳云安宝科技有限公司，
类型：发明
国别省市：广东,44