基于可见光和热成像的火焰检测方法、系统及存储介质技术方案

本发明专利技术提供一种基于可见光和热成像的火焰检测方法、系统及存储介质，属于视觉识别技术领域。所述火焰检测方法包括：获取现场的可见光图像；采用训练好的目标检测模型根据所述可见光图像确定火焰的位置以得到第一火焰检测区域；获取现场的红外热图像；采用自适应图像分割方法和朴素贝叶斯方法根据所述红外热图像确定火焰的位置以得到第二火焰检测区域；采用图像配准方法对所述可见光图像和所述红外热图像进行匹配计算；采用综合决策策略根据所述第一火焰检测区域、所述第二火焰检测区域以及所述匹配计算的结果确定现场是否发生火警。该火焰检测方法、系统及存储介质能够根据机器人拍摄的图像来确认现场是否发生火警并进一步得到发生火警的具体位置。

Flame detection method, system and storage medium based on visible light and thermal imaging

【技术实现步骤摘要】
基于可见光和热成像的火焰检测方法、系统及存储介质
本专利技术涉及视觉识别
，具体地涉及一种基于可见光和热成像的火焰检测方法、系统及存储介质。
技术介绍
随着计算机视觉的发展，基于计算机视觉的火焰检测技术得到了大量的研究。相较于传统的烟雾等定点传感器，从图像中检测火焰更加迅速，可以在火灾的初期检测到火焰，从而对火灾进行提前预警。目前，基于机器视觉的火焰检测方法主要分为基于人工设计的图像特征与基于卷积神经网络提取的深度特征两大类。在基于深度特征的方法中，一种广泛使用的方法是将卷积神经网络作为分类器应用于火焰检测，这种方法仅能判断出图像中是否存在火焰，而无法给出火焰所在的位置，因此仅能用于火灾的预警。而对于一些项目中的消防机器人，首先需要确定火焰的位置，才能进一步计算与火焰之间的距离，从而能够计算并调整喷射装置的角度并扑灭火焰。
技术实现思路
本专利技术实施方式的目的是提供一种基于可见光和热成像的火焰检测方法、系统及存储介质。该火焰检测方法、系统及存储介质能够根据机器人拍摄的图像来确认现场是否发生火警并进一步得到发生火警的具体位置。为了实现上述目的，本专利技术实施方式提供一种基于可见光和热成像的火焰检测方法，所述火焰检测方法可以包括：获取现场的可见光图像；采用训练好的目标检测模型根据所述可见光图像确定火焰的位置以得到第一火焰检测区域；获取现场的红外热图像；采用自适应图像分割方法和朴素贝叶斯方法根据所述红外热图像确定火焰的位置以得到第二火焰检测区域；采用图像配准方法对所述可见光图像和所述红外热图像进行匹配计算；采用综合决策策略根据所述第一火焰检测区域、所述第二火焰检测区域以及所述匹配计算的结果确定现场是否发生火警。可选地，采用训练好的目标检测模型根据所述可见光图像确定火焰的位置以得到第一火焰检测区域具体包括：采用多个第一卷积层提取所述可见光图像中的深度特征；采用多个第二卷积层对所述深度特征进行上采样和特征拼接操作；采用多个第三卷积层根据所述深度特征和特征拼接操作后的所述可见光图像预测火焰的位置以得到所述第一火焰检测区域。可选地，采用多个第二卷积层对所述深度特征进行上采样和特征拼接操作具体包括：仅执行一次上采样操作。可选地，所述目标检测模型包括YOLOV3网络，所述多个第一卷积层为Darknet-53网络中的卷积层。可选地，采用自适应图像分割方法和朴素贝叶斯方法根据所述红外热图像确定火焰的位置以得到第二火焰检测区域具体包括：将所述红外热图像转换为灰度图；分析所述灰度图的直方图，根据第一阈值对所述灰度图进行分割；提取分割后的所述灰度图中的感兴趣区域的图像特征；采用朴素贝叶斯算法根据所述图像特征判断各个感兴趣区域是否包括火焰以得到所述第二火焰检测区域。可选地，所述自适应图像分割方法包括Ostu算法，所述图像特征为均匀模式LBP特征。可选地，采用图像配准方法对所述可见光图像和所述红外热图像进行匹配计算具体包括：采用Canny算法提取所述第一火焰检测区域和所述第二火焰检测区域的边缘特征；采用SURF算法计算所述第一火焰检测区域和所述第二火焰检测区域中的特征点以进行所述匹配计算；根据匹配计算成功的特征点计算所述第一火焰检测区域和所述第二火焰检测区域的仿射矩阵。可选地，采用综合决策策略根据所述第一火焰检测区域、所述第二火焰检测区域以及所述匹配计算的结果确定现场是否发生火警具体包括：使用所述仿射矩阵将所述第二火焰检测区域映射到所述可见光图像上或将所述第一火焰检测区域映射到所述红外热图像上以计算交并比；判断所述交并比是否大于第二阈值；在判断所述交并比大于第二阈值的情况下，确认现场发生火警；在判断所述交并比小于或等于第二阈值的情况下，确认现场未发生火警。另一方面，本专利技术还提供一种基于可见光和热成像的火焰检测系统，所述火焰检测系统包括处理器，所述处理器用于执行如上述任一所述的火焰检测方法。再一方面，本专利技术还提供一种存储介质，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行上述任一所述的火焰检测方法。通过上述技术方案，本专利技术提供的基于可见光和热成像的火焰检测方法、系统及存储介质通过同时采用可见光图像和红外热图像来判断现场是否发生火警，并进一步确定该火警的位置，解决了现有技术中神经网络无法确定火警位置的技术问题。本专利技术实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本专利技术实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施方式，但并不构成对本专利技术实施方式的限制。在附图中：图1是根据本专利技术的一个实施方式的基于可见光和热成像的火焰检测方法的流程图；图2是根据本专利技术的一个实施方式的基于可见光和热成像的火焰检测方法的部分流程图；图3是根据本专利技术的一个实施方式的基于可见光和热成像的火焰检测方法的部分流程图；以及图4是根据本专利技术的一个实施方式的基于可见光和热成像的火焰检测方法的部分流程图。具体实施方式以下结合附图对本专利技术实施方式的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术实施方式，并不用于限制本专利技术实施方式。在本专利技术实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。另外，若本专利技术实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。如图1所示是根据本专利技术的一个实施方式的基于可见光和热成像的火焰检测方法的流程图。在图1中，该火焰检测方法可以包括：在步骤S10中，获取现场的可见光图像。在该实施方式中，该可见光图像可以是例如通过机器人通过摄像机拍摄获得。在步骤S11中，采用训练好的目标检测模型根据可见光图像确定火焰的位置以得到第一火焰检测区域。在该实施方式中，该目标检测模型可以是例如YOLOV3网络，包括串联的多个第一卷积层(可以为Darknet-53网络中的卷积层，且该第一卷积层的层数可以为53)、多个第二卷积层和多个第三卷积层。相应地，该步骤S11则可以包括采用多个第一卷积层提取可见光图像中的深度特征；采用多个第二卷积层对深度特征进行上采样和特征拼接操作；采用多个第三卷积层根据深度特征和特本文档来自技高网...

【技术保护点】
1.一种基于可见光和热成像的火焰检测方法，其特征在于，所述火焰检测方法包括：/n获取现场的可见光图像；/n采用训练好的目标检测模型根据所述可见光图像确定火焰的位置以得到第一火焰检测区域；/n获取现场的红外热图像；/n采用自适应图像分割方法和朴素贝叶斯方法根据所述红外热图像确定火焰的位置以得到第二火焰检测区域；/n采用图像配准方法对所述可见光图像和所述红外热图像进行匹配计算；/n采用综合决策策略根据所述第一火焰检测区域、所述第二火焰检测区域以及所述匹配计算的结果确定现场是否发生火警。/n

【技术特征摘要】
1.一种基于可见光和热成像的火焰检测方法，其特征在于，所述火焰检测方法包括：
获取现场的可见光图像；
采用训练好的目标检测模型根据所述可见光图像确定火焰的位置以得到第一火焰检测区域；
获取现场的红外热图像；
采用自适应图像分割方法和朴素贝叶斯方法根据所述红外热图像确定火焰的位置以得到第二火焰检测区域；
采用图像配准方法对所述可见光图像和所述红外热图像进行匹配计算；
采用综合决策策略根据所述第一火焰检测区域、所述第二火焰检测区域以及所述匹配计算的结果确定现场是否发生火警。


2.根据权利要求1所述的火焰检测方法，其特征在于，采用训练好的目标检测模型根据所述可见光图像确定火焰的位置以得到第一火焰检测区域具体包括：
采用多个第一卷积层提取所述可见光图像中的深度特征；
采用多个第二卷积层对所述深度特征进行上采样和特征拼接操作；
采用多个第三卷积层根据所述深度特征和特征拼接操作后的所述可见光图像预测火焰的位置以得到所述第一火焰检测区域。


3.根据权利要求2所述的火焰检测方法，其特征在于，采用多个第二卷积层对所述深度特征进行上采样和特征拼接操作具体包括：
仅执行一次上采样操作。


4.根据权利要求2所述的火焰检测方法，其特征在于，所述目标检测模型包括YOLOV3网络，所述多个第一卷积层为Darknet-53网络中的卷积层。


5.根据权利要求1所述的火焰检测方法，其特征在于，采用自适应图像分割方法和朴素贝叶斯方法根据所述红外热图像确定火焰的位置以得到第二火焰检测区域具体包括：
将所述红外热图像转换为灰度图；
分析所述灰度图的直方图，根据第一阈值对所述灰度图进行分割；

【专利技术属性】
技术研发人员：黄杰，尚伟伟，董翔宇，朱俊，高云，杨波，汪太平，李永熙，刘元园，巢夏晨语，张飞，
申请(专利权)人：国网安徽省电力有限公司检修分公司，国网安徽省电力有限公司，
类型：发明
国别省市：安徽;34