基于深度分离和目标感知的早期野火烟雾检测方法和装置制造方法及图纸

本发明专利技术公开了一种基于深度分离和目标感知的早期野火烟雾检测方法，其包括以下步骤：将样本图像和目标图像分别输入目标感知深度网络得到第一深度特征矩阵和第二深度特征矩阵；通过深度可分离网络将第一深度特征矩阵分离为第一分离特征矩阵和第二分离特征矩阵；将第一分离特征矩阵与第二深度特征矩阵进行卷积操作，得到区域响应矩阵；将第二分离特征矩阵与区域响应矩阵进行卷积操作，得到烟雾响应矩阵；获取烟雾响应矩阵的最大值，根据最大值得到烟雾位置。本发明专利技术还公开了一种基于深度分离和目标感知的早期野火烟雾检测装置。本发明专利技术应用深度可分离网络内嵌入目标感知网络框架，提升野火烟雾的实时检测速度。

Detection method and device of early wildfire smoke based on depth separation and target perception

【技术实现步骤摘要】
基于深度分离和目标感知的早期野火烟雾检测方法和装置
本专利技术涉及图像处理
，尤其涉及一种基于深度分离和目标感知的早期野火烟雾检测方法和装置。
技术介绍
在森林火灾检测中，烟雾发生于明火之前，早期火灾检测中，烟雾检测有非常重要的意义，而且森林火灾受复杂背景和气候，环境，海拔等多种因素的制约，烟雾实时检测往往难以实现。针对深度学习预训练模型需要大量数据集，但受小样本烟雾数据集以及烟雾本身特性的局限性，同时现实场景中烟雾目标可能是任意形式下的任意类型，场景不受限制，目标形式各样等诸多条件限制的限制，很难直接应用深度学习网络检测森林火灾烟雾对象。特定数据集往往是有限场景下的数据扩充，即使用数据采集设备对部分场景采集视频数据集，并对数据集采取加校验、高斯噪声、水平或垂直图像翻转、图像旋转、尺度缩放、裁剪、平移变换等的方法做数据增广，意味着应用特定图像数据集训练的深度特征不能完美的表征实时现实场景下的烟雾对象。由于小样本烟雾目标的特殊性，传统的图像处理方法以及模式识别方法在深林烟雾检测中表现出很高的误报率和极低的检测精度。近年来，研究者们提出多种烟雾检测方法，其中基于深度学习的检测方法得到广泛应用。由于烟雾特征受气候等环境因素的影响会出现特征提取不稳定，烟雾的颜色会伴随林火的蔓延逐渐由浅变深，同时会随风不断运动，以及光照变化和图像采集设备的分辨率影响，因此深度学习模型提取深度特征更能表征烟雾特征。基于深度学习的烟雾检测方法不同于传统的图像处理方法，应用深度学习算法能提取多类深度特征，这类特征不同于一种或两种的典型的图像处理特征，在全连接卷积神经网络(FullyConvolutionalNetwork，FCN)应用于早期火灾检测中，全连接卷积网络应用于烟雾语义分割，构建烟雾分割网络，该网络训练大量的烟雾照片构建烟雾分割掩模达到分割模糊烟雾图像的目的。传统的基于视觉的烟雾视频检测方法将烟雾视频帧分割成固定大小的小块，进而一区稳定的基于分块的图像特征，以分类烟与非烟。然而，这些方法所取得的显著性能往往依赖于鲁棒的视觉目标，这些视频目标能容易的从显著的背景差异中区分，这样就提升了硬件成本的要求。牺牲经济成本以换取高性能要求，经济行难以保证；与此同时，森林野火的发生往往伴随着复杂的背景影响和模糊的实时视频帧数据，野外环境中很难保证高分辨率的高清烟雾火灾视频图像帧；现今的技术很难采集大量的小样本数据。因此，用有限的图像集训练不完备的预训练深度特征学习建模模型，很难将不可预测的形式任意的目标从复杂环境中区分出来。
技术实现思路
为了克服现有技术的不足，本专利技术的目的在于提供一种基于深度分离和目标感知的早期野火烟雾检测方法和装置，其应用深度可分离网络内嵌入目标感知网络框架，在满足解决烟雾视频帧检测中各类复杂场景下实时变化的烟雾对象对于高准确率、低误报率和高速度的要求的情况下，提升野火烟雾的实时检测速度。第一方面，本专利技术实施例公开了一种基于深度分离和目标感知的早期野火烟雾检测方法，其包括以下步骤：将样本图像和目标图像分别输入目标感知深度网络得到第一深度特征矩阵和第二深度特征矩阵；通过深度可分离网络将第一深度特征矩阵分离为第一分离特征矩阵和第二分离特征矩阵；将第一分离特征矩阵与第二深度特征矩阵进行卷积操作，得到区域响应矩阵；将所述第二分离特征矩阵与所述区域响应矩阵进行卷积操作，得到烟雾响应矩阵；获取烟雾响应矩阵的最大值，如果所述最大值小于预设阈值，则所述目标图像未检测到野火烟雾；如果所述最大值大于或等于预设阈值，则以所述最大值对应的目标图像位置为烟雾中心点，得到烟雾位置。作为一种实施方式，将样本图像输入目标感知深度网络得到第一深度特征矩阵；包括：将样本图像输入预训练的VGG-16网络输出第一初始特征矩阵；第一初始特征矩阵通过训练好的目标感知网络输出第一深度特征矩阵，所述第一深度特征矩阵为M1×N1×(A1+A2)×B，其中，M1和N1分别为样本图像长和宽经过卷积池化后的结果值；A1为通道最优的深度特征；A2为尺度敏感的深度特征；B为构建的多个尺度。作为一种实施方式，将目标图像输入目标感知深度网络得到第一深度特征矩阵；包括：将目标图像输入预训练的VGG-16网络输出第二初始特征矩阵；第二初始特征矩阵通过训练好的目标感知网络输出第二深度特征矩阵，所述第二深度特征矩阵为M2×N2×(A1+A2)，其中，M2和N2分别为目标图像长和宽经过卷积池化后的结果值。作为一种实施方式，通过深度可分离网络将第一深度特征矩阵分离为第一分离特征矩阵和第二分离特征矩阵，包括：通过深度分离网络将卷积核分离为深度稀疏卷积核和逐点卷积核，将所述第一深度特征矩阵基于深度稀疏卷积核和逐点卷积核分别形成第一分离特征矩阵和第二分离特征矩阵，所述第一分离特征矩阵为M1×N1×1×B，所述第二分离特征矩阵为1×1×(A1+A2)×B。作为一种实施方式，以所述最大值对应的目标图像位置为烟雾中心点，得到烟雾位置，包括：设定预选框，将所述预选框的中点与所述烟雾中心点重叠；所述预选框选中的目标图像的区域即为烟雾位置。第二方面，本专利技术实施例公开了一种基于深度分离和目标感知的早期野火烟雾检测装置，其包括：获取模块，用于将样本图像和目标图像分别输入目标感知深度网络得到第一深度特征矩阵和第二深度特征矩阵；分离模块，用于通过深度可分离网络将第一深度特征矩阵分离为第一分离特征矩阵和第二分离特征矩阵；卷积模块，用于将第一分离特征矩阵与第二深度特征矩阵进行卷积操作，得到区域响应矩阵；将所述第二分离特征矩阵与所述区域响应矩阵进行卷积操作，得到烟雾响应矩阵；检测模块，用于获取烟雾响应矩阵的最大值，如果所述最大值小于预设阈值，则所述目标图像未检测到野火烟雾；如果所述最大值大于或等于预设阈值，则以所述最大值对应的目标图像位置为烟雾中心点，得到烟雾位置。作为一种实施方式，所述获取模块包括第一获取单元，用于将样本图像输入预训练的VGG-16网络输出第一初始特征矩阵；第一初始特征矩阵通过训练好的目标感知网络输出第一深度特征矩阵，所述第一深度特征矩阵为M1×N1×(A1+A2)×B，其中，M1和N1分别为样本图像长和宽的池化值；A1为通道最优的深度特征；A2为尺度敏感的深度特征；B为构建的多个尺度。作为一种实施方式，所述获取模块包括第二获取单元，用于将目标图像输入预训练的VGG-16网络输出第二初始特征矩阵；第二初始特征矩阵通过训练好的目标感知网络输出第二深度特征矩阵，所述第二深度特征矩阵为M2×N2×(A1+A2)，其中，M2和N2分别为目标图像长和宽经过卷积池化后的结果值。作为一种实施方式，所述分离模块包括：深度分离单元，用于通过深度分离网络将卷积核分离为深度稀疏卷积核和逐点卷积核，将所述第一深度特征矩阵基于深度稀疏卷积核和逐点卷积核分别形成第一分离特征矩阵和第二分离特征矩阵，所述第一分离特征矩阵为M1×N1×1×B，所述第二分离特本文档来自技高网...

【技术保护点】
1.一种基于深度分离和目标感知的早期野火烟雾检测方法，其特征在于，其包括以下步骤：/n将样本图像和目标图像分别输入目标感知深度网络得到第一深度特征矩阵和第二深度特征矩阵；/n通过深度可分离网络将第一深度特征矩阵分离为第一分离特征矩阵和第二分离特征矩阵；/n将第一分离特征矩阵与第二深度特征矩阵进行卷积操作，得到区域响应矩阵；将所述第二分离特征矩阵与所述区域响应矩阵进行卷积操作，得到烟雾响应矩阵；/n获取烟雾响应矩阵的最大值，如果所述最大值小于预设阈值，则所述目标图像未检测到野火烟雾；如果所述最大值大于或等于预设阈值，则以所述最大值对应的目标图像位置为烟雾中心点，得到烟雾位置。/n

【技术特征摘要】
1.一种基于深度分离和目标感知的早期野火烟雾检测方法，其特征在于，其包括以下步骤：
将样本图像和目标图像分别输入目标感知深度网络得到第一深度特征矩阵和第二深度特征矩阵；
通过深度可分离网络将第一深度特征矩阵分离为第一分离特征矩阵和第二分离特征矩阵；
将第一分离特征矩阵与第二深度特征矩阵进行卷积操作，得到区域响应矩阵；将所述第二分离特征矩阵与所述区域响应矩阵进行卷积操作，得到烟雾响应矩阵；
获取烟雾响应矩阵的最大值，如果所述最大值小于预设阈值，则所述目标图像未检测到野火烟雾；如果所述最大值大于或等于预设阈值，则以所述最大值对应的目标图像位置为烟雾中心点，得到烟雾位置。


2.如权利要求1所述的基于深度分离和目标感知的早期野火烟雾检测方法，其特征在于，将样本图像输入目标感知深度网络得到第一深度特征矩阵；包括：
将样本图像输入预训练的VGG-16网络输出第一初始特征矩阵；第一初始特征矩阵通过训练好的目标感知网络输出第一深度特征矩阵，所述第一深度特征矩阵为M1×N1×(A1+A2)×B，其中，M1和N1分别为样本图像长和宽经过卷积池化后的结果值；A1为通道最优的深度特征；A2为尺度敏感的深度特征；B为构建的多个尺度。


3.如权利要求2所述的基于深度分离和目标感知的早期野火烟雾检测方法，其特征在于，将目标图像输入目标感知深度网络得到第一深度特征矩阵；包括：
将目标图像输入预训练的VGG-16网络输出第二初始特征矩阵；第二初始特征矩阵通过训练好的目标感知网络输出第二深度特征矩阵，所述第二深度特征矩阵为M2×N2×(A1+A2)，其中，M2和N2分别为目标图像长和宽经过卷积池化后的结果值。


4.如权利要求2所述的基于深度分离和目标感知的早期野火烟雾检测方法，其特征在于，通过深度可分离网络将第一深度特征矩阵分离为第一分离特征矩阵和第二分离特征矩阵，包括：
通过深度分离网络将卷积核分离为深度稀疏卷积核和逐点卷积核，将所述第一深度特征矩阵基于深度稀疏卷积核和逐点卷积核分别形成第一分离特征矩阵和第二分离特征矩阵，所述第一分离特征矩阵为M1×N1×1×B，所述第二分离特征矩阵为1×1×(A1+A2)×B。


5.如权利要求1-4任一项所述的基于深度分离和目标感知的早期野火烟雾检测方法，其特征在于，以所述最大值对应的目标图像位置为烟雾中心点，得到烟雾位置，包括：
设定预选框，将所述预选框的中点与所述烟雾中心点重叠；所述预选框选中的目标图像...

【专利技术属性】
技术研发人员：赵运基，张海波，张楠楠，周梦林，魏胜强，刘晓光，
申请(专利权)人：河南理工大学，
类型：发明
国别省市：河南;41