一种基于可见光和红外特征融合网络的火焰检测方法技术

本发明专利技术公开了一种基于可见光和红外特征融合网络的火焰检测方法，包括：建立火焰数据集、以DETR模型为基础模型，改造提取特征的主干网络为对称结构、在特征提取网络和编码解码结构之间添加特征融合网络得到第一Fire‑DETR模型、将处理好的训练集输入第一Fire‑DETR模型进行训练优化得到第二Fire‑DETR模型、将测试图像输入第二Fire‑DETR模型得到预测结果。称的特征提取网络使检测模型可以同时提取到可见光和红外两种特征信息用以预测，扩展了火焰特征图的多样性。添加的特征融合网络能够考虑通道间关系和空间信息，使得提取到的不同特征可以有选择性地进行融合。与现有的目标检测深度卷积网络相比，改进后的Fire‑DETR模型对小面积火焰和噪音的鲁棒性更强，且火焰的检测精度更高。

【技术实现步骤摘要】

本专利技术涉及深度学习、目标检测及多模态识别领域，更具体的，涉及一种基于可见光和红外特征融合网络的火焰检测方法。

技术介绍

0、背景

1、火灾是现实生活中最常见、最突出、危害最大的一种灾难，火灾按照种类可以分为：建筑火灾、森林火灾，这些火灾的产生必然和建筑物、自然植物等有着紧密联系。城市和工厂发生火灾时，绝大多数开始于建筑物内或建筑物附近的易燃物，森林突发火灾时通常起始于植物茂密的环境，因此火灾直接关系到了自然环境与人身安全。据统计，每年都会因为火灾造成严重的生态破坏与人员伤亡，及时探测到火灾火焰并进行处理是非常关键的。

2、基于图像的火焰检测是该领域广泛应用的技术，在深度学习模型出现之前，传统的机器学习方法通常用于对火焰进行分类。传统的分类器由手工制作的特征和分类器组成，首先提取指定的火焰特征，如火焰颜色特征、光谱特征、动态特征等，然后将这些特征与一组被归类为包含火焰的标准特征进行比较。传统的火灾探测方法的精度主要取决于手动特性。由于火焰探测任务的复杂性，手工特征可能是冗余的或不完整的，因此传统的方法渐渐被深度学习模型所替代。...

【技术保护点】

1.一种基于可见光和红外特征融合网络的火焰检测方法，其特征在于，包括：

2.根据权利要求1所述的，所述建立的火焰数据集，每一份数据包括一张RGB图像和IR图像，所述的RGB图像和IR图像必须是由可见光相机和红外相机在同一时刻采集同一区域内所得。因此，所述的火焰数据集每一份包含一张RGB图像和一张IR图像。

3.根据权利要求1所述的，一种基于可见光和红外特征融合网络的火焰检测算法，其特征在于，其所述的特征提取网络为一种对称的卷积神经网络，该特征网络用于并行提取所述的可见光图像和红外图像的特征信息。该特征提取网络可以共享参数，以减轻所述Fire-DETR的参数量。通过...

【技术特征摘要】

1.一种基于可见光和红外特征融合网络的火焰检测方法，其特征在于，包括：

2.根据权利要求1所述的，所述建立的火焰数据集，每一份数据包括一张rgb图像和ir图像，所述的rgb图像和ir图像必须是由可见光相机和红外相机在同一时刻采集同一区域内所得。因此，所述的火焰数据集每一份包含一张rgb图像和一张ir图像。

3.根据权利要求1所述的，一种基于可见光和红外特征融合网络的火焰检测算法，其特征在于，其所述的特征提取网络为一种对称的卷积神经网络，该特征网络用于并行提取所述的可见光图像和红外图像的特征信息。该特征提取网络可以共享参数，以减轻所述fire-detr的参数量。通过该特征提取网络提取到第一rgb特征图和第一ir特征图。

4.根据权利要求1所述的，一种基于可见光和红外特征融合...

【专利技术属性】
技术研发人员：宋荆洲，刘静国，李晓川，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：