一种基于光谱视频的化工气体泄漏检测方法及系统技术方案

本申请提供了一种基于光谱视频的化工气体泄漏检测方法，包括：对采集到的化工气体的光谱视频进行图像层面的预处理；将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；将短时时序增强特征和全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。本申请可以高效地、实时地检测并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息。扩散趋势等信息。扩散趋势等信息。

【技术实现步骤摘要】
一种基于光谱视频的化工气体泄漏检测方法及系统


[0001]本申请涉及气体检测
，特别涉及一种基于光谱视频的化工气体泄漏检测方法及系统。

技术介绍

[0002]及时发现和控制化工气体泄漏是工业现场安全运转的前提和重中之重，然而由气体泄漏引发的火灾、爆炸和中毒等事故在世界范围内仍屡见不鲜。以光谱视频技术为核心的气体检测手段以其远距离、大范围等优势可以有效预警化工气体泄漏。
[0003]然而目前并没有成熟的具有针对性的分类识别算法应用在光谱视频气体检测领域。一方面，传统的运动检测算法，无法高效区分泄漏气体与其他运动目标，而且在实际应用中，泄漏气体云团主体往往与各种噪声杂糅，难以对气体泄漏进行精准有效的甄别。另一方面，气体泄漏云团主体缺乏明显的形态特征，在图像对比度低，气体泄漏浓度低，气体云团分布快速变化等情形下，需要连续多帧图像才能勉强定位云团位置，而目前基于传统计算机视觉的目标检测任务非常依赖人工设计的特征，在人工设计特征的过程中，往往会忽略气体泄漏图像的部分内在特征，这将会导致大量的误报漏报；与此同时，深度学习在运动检测领域并没有很好的应用，目前已有的卷积神经网络（CNN）架构也难以胜任气体泄漏这种无明显特征的目标识别与分割任务。
[0004]因此，如何能够高效地提取化工气体泄漏云团的时空形态变化特征，精准地实现对气体泄漏云团的检测和可视化，实时地对气体云团的浓度分布和扩散趋势等信息进行分析，适配视频级的检测任务，是亟待解决的技术问题。

技术实现思路

[0005]有鉴于此，本申请提出一种基于光谱视频的化工气体泄漏检测方法及系统，可以高效地、实时地检测并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息。
[0006]第一方面，本申请提供了一种基于光谱视频的化工气体泄漏检测方法，包括：对采集到的化工气体的光谱视频进行图像层面的预处理；将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；将所述短时时序增强特征和所述全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。
[0007]由上，本方法通过采用两种不同形式的特征增强模块，实现对化工气体泄漏云团的外观信息和运动信息的采集，并通过残差连接并入到主网络中，可以高效地、实时地检测
并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息，同时，采用差分运算，能够显著提升模型的运动建模能力并大幅度降低计算损耗，适配视频级的目标检测任务对算法时间复杂度的较高要求。
[0008]可选的，所述对采集到的化工气体的光谱视频进行图像层面的预处理的步骤之后还包括：利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将所述光谱视频中发生动态变化的像素进行显示提取，并提出预选框。
[0009]由上，通过背景建模能够对复杂场景光谱视频中的运动物体进行识别，并通过预选框形式进行提取显示。
[0010]可选的，还包括：利用聚类算法将提出的所述预选框进行聚类，并将在可见光波段的光谱视频和红外波段的光谱视频中同时出现的聚类进行去除。
[0011]由上，通过利用基于密度的噪声应用空间聚类（Density
‑
Based Spatial Clustering of Application with Noise，DBSCAN）算法将提出的预选框进行聚类，如果其他任意一个预选框与该邻域拓展框的IoU（重叠面积与两个框各自面积比）大于设定的阈值，那么就将这两个预选框合并，在此基础上，还可将在可见光波段光谱视频图像和红外波段光谱视频图像同时出现的聚类直接去除。
[0012]可选的，所述图像层面的预处理包括图像去噪、图像增强和图像对齐中的一种或多种。
[0013]由上，在图像去噪部分，尽可能滤除光谱视频中的噪声干扰；在图像增强部分，利用图像增强算法在降噪的同时保持气体云团目标检测的完整性；在图像对齐算法部分，当使用的光谱视频中不同谱段的信息来源于多个成像设备时，针对性的图像对齐算法为光谱视频跨模态、多谱段信息融合奠定了基础。
[0014]可选的，所述将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征包括：将所述光谱视频划分为持续时间相同的T个片段，在每个片段中随机采样一个视频帧得到 ；将所述视频帧输入到二维卷积模型中，提取每个视频帧的隐藏层中的特征表示得到
ꢀꢀ
。
[0015]由上，通过将光谱视频按照时序划分为持续时间相同的多个片段，并在每个片段中随机提取一个视频帧，并将提取的视频帧输送到CNN中提取帧特征，可以降低运算量的同时，能够保留光谱视频中气体云团的外观特征和运动特征。
[0016]可选的，所述通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征包括：以视频帧为中心，在其所属片段中提取多个相邻视频帧的光谱图像差分得到，并将多个光谱图像差分在通道维度上进行叠加；采用卷积神经网络对叠加的所述光谱图像差分
ꢀꢀ
进行运算，提取得到相邻视频帧的
局部运动信息 ，所述运算包括：;其中，所述为利用平均池化层对光谱图像差分进行下采样，所述为利用二维提取运动特征，所述为对所述运动特征进行上采样以匹配特征； 通过将所述视频帧的特征与所述局部运动信息进行叠加得到所述视频帧的短时时序增强特征，所述叠加包括： 由上，通过在每个视频帧的原始特征中融合其相邻视频帧的局部运动，能够使每个视频帧的特征表示中能够包含局部运动信息，能够更好的描述局部时间窗口。
[0017]可选的，所述通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征包括：将所述短时时序增强特征划分为两组，分别为分辨率为增强特征分辨率一半的大帧组以及分辨率和增强特征分辨率保持一致的小帧组；利用BLVNet视频架构，将所述两组短时时序增强特征分别输入到大小分支，以便每个分支从不同的帧获得补充信息，则其输出可以表示为：其中， 表示在第t帧的输入输出特征层， 和是BLVNet中的大分支和小分支， 是模型参数， 表示一个附加的残差模块应用在融合两个分支的特征输出来增强特征表示；利用加权逐通道的集成方法融合每一个视频帧的时序信息，得到每个视频帧的全局时序增强特征：其中，表示第t帧的激活输出， 表示逐通道的乘法，其具体可定义为对于向量和，V=， 表示时序。
[0018]由上，视频帧的原始特征经过短时时序差分增强后，采用移位和加权逐通道的集成融合每个视频帧的时序信息，从而得到视频帧的全局时序特征。
[0019]第二方面，本申请提供了一种基于光谱视频的化工气体泄漏检测系统，包括：图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光谱视频的化工气体泄漏检测方法，其特征在于，包括：对采集到的化工气体的光谱视频进行图像层面的预处理；将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；将所述短时时序增强特征和所述全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。2.根据权利要求1所述的方法，其特征在于，所述对采集到的化工气体的光谱视频进行图像层面的预处理的步骤之后还包括：利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将所述光谱视频中发生动态变化的像素进行显示提取，并提出预选框。3.根据权利要求2所述的方法，其特征在于，还包括：利用聚类算法将提出的所述预选框进行聚类，并将在可见光波段的光谱视频和红外波段的光谱视频中同时出现的聚类进行去除。4.根据权利要求1所述的方法，其特征在于，所述图像层面的预处理包括图像去噪、图像增强和图像对齐中的一种或多种。5.根据权利要求1所述的方法，其特征在于，所述将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征包括：将所述光谱视频划分为持续时间相同的T个片段，在每个片段中随机采样一个视频帧得到；将所述视频帧输入到二维卷积模型中，提取每个视频帧的隐藏层中的特征表示得到。6.根据权利要求5所述的方法，其特征在于，所述通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征包括：以视频帧为中心，在其所属片段中提取多个相邻视频帧的光谱图像差分得到，并将多个光谱图像差分在通道维度上进行叠加；采用卷积神经网络对叠加的所述光谱图像差分进行运算，提取得到相邻视频帧的局部运动信息，所述运算包括：;其中，所述为利用平均池化层对光谱图像差分进行下采样，所述为利用二维提取运动特征，所述为对所述运动特征进行上采样以匹配特征；通过将所述视频帧的特征与所述局部运动信息进行叠加得到所述视频帧的
短时时序增强特征，所述叠加包括：。7.根据权利要求6所述的方法，其特征在于，所述通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征包括：将所述短时时序增强特征划分为两组，分别为分辨率为增强特征分辨率一半的大帧组以及分辨率和增强特征分辨率保持一致的小帧组；利用BLVNet视频架构，将所述两组短时时序增强特征分别输入到大小分支，以便每个分支从不同的帧获得补充信息，则其输出 可以表示为：其中，表示在第t帧的输入输出特征层，和是BLVNet中的大分支和小分支，是模型参数，表示一个附加的残差模块应用在融合两个分支的特征输出来增强特征表示；利用加权逐通道的集成方法融合每一个视频帧的时序信息，得到每个视频帧的全局时序增强特征：；其中，表示第t帧的激活输出，表示逐通道的乘法，其具体可定义为对于向量和，V=，表示时序。8.一种基于光谱视频的化工气体泄漏检测系统，其特征在于，包括：图像预处理模块，用于对采集到的化工气体的光谱视频进行图像层面的预处理；稀疏采样...

【专利技术属性】
技术研发人员：曹汛，吕涛，周凯来，陈林森，李昀谦，
申请(专利权)人：南京智谱科技有限公司，
类型：发明
国别省市：