基于一致性正则化和分布对齐的半监督视频火灾检测方法技术

本发明专利技术提供了一种基于一致性正则化和分布对齐的半监督视频火灾检测方法，属于图像处理技术领域，该方法首先结合一致性正则化与伪标签，对于无标注数据，模型预测其弱增强样本并保留高于阈值的伪标签，同时在对应的强增强样本上进行训练以预测这些伪标签，以学习更加鲁棒的特征表示；再通过对抗分布对齐利用标注和无标注数据生成视频交叉集增强样本，在扩展训练样本的同时减轻了标注数据与无标注数据的抽样经验分布差异所带来的影响；最后引入公平性损失以鼓励模型在训练期间为输入样本做出不同的预测，以解决火灾分类场景中由于有限标注数据导致的非火灾类置信度过高的问题

【技术实现步骤摘要】
基于一致性正则化和分布对齐的半监督视频火灾检测方法


[0001]本专利技术涉及图像处理
，特别是涉及一种基于一致性正则化和分布对齐的半监督视频火灾检测方法
。

技术介绍

[0002]火灾由于其快速的传播能力以及强大的破坏力被认为是最危险的灾害之一
。
火灾不仅可能导致人员伤亡，还可能造成财产损失
、
环境污染和社会影响等一系列问题
。
每年全球都会发生大量的火灾事件，其中许多都是由于一些人为或自然原因引起的
。
根据一项
2021
年的研究报告，从
2001
年到
2022
年印度中部地区的森林火灾次数高达
77000
余次，反复发生的火灾对附近的患有呼吸性疾病的居民构成了极大的健康威胁，对当地的生态环境以及经济建设造成了严重的影响
。
另外，建筑火灾的发生频率要远比森林火灾高得多，根据一项报告称，仅
2017
年全球
18
个城市记录在案的建筑火灾事件共发生了
23535
起，
2013
年至
2017
年全球
44
个城市发生了
6581
起火灾伤亡事件，而电气火灾是引起世界各地区发生建筑火灾的主要原因之一
。
大多数情况下，及时地发现火灾能够很大程度地减少人员伤亡和财产损失，而基于各种形式的火灾早期检测方法是可能的
。r/>[0003]近年来，研究者们将深度学习技术应用于火灾检测场景，在火焰图像分割
、
火情检测以及火灾图像分类实现了相较于物理传感器更加敏锐的火情检测模型
。
对于烟雾火情检测，
FireNet
开发了一个具有物联网
(IoT)
功能的火灾探测单元，有效地减少物理传火灾探测器错误触发和延迟触发的相关问题
。Barmpoutis
等人首先使用
Faster R
‑
CNN
检测候选区域，再通过线性动态系统
(LDS)
分析空间特征，验证检测到的火灾区域
。Fire HRR
通过对建筑火灾外部烟气行为的监测实现实时的热释放速率预测，从而识别建筑火灾的发展过程，具有更高的完全性和稳定性
。EdgeFireSmoke
结合边缘计算设备和
CNN
进行图像处理，并及时发生火灾警报，反应时间大约为
30ms
，准确率可达
98.97
％
。Li
等人使用
FastRCNN、RFCN、SSD
和
YOLOv3
来开发图像火灾探测算法，并确定基于
YOLOv3
的算法具有更强的检测性能鲁棒性，其精度达到
83.7
％
。
对于火灾图像分类，
Sharma
等人探索了
CNN
在不平衡火灾数据下的表现，使用预训练的
VGG16
与
ResNet50
在具有挑战性的数据上提高了分类精度
。DFAN
关注计算成本与准确性之间的平衡，通过元启发方式去除冗余的参数并采用空间注意力在火灾图像分类中取得了有希望的结果
。Jandhyala
等人结合
Inception
‑
V3
与
Single Shot Detector(SSD)
对火焰或烟雾的航空图像分类准确率达到
88
％
。EFDNet
提取多尺度特征丰富空间细节，使用通道注意机制选择性地强调不同特征映射之间的贡献
。Jabnouni
等人在广泛的深度学习模型上利用迁移学习对火情图像进行分类，其中
ResNet
‑
50
在精心设计的数据集上达到了最优的表现
。
上述火情检测方案多依赖与有标记的图像数据提升模型对于火焰的检测能力
。
然而，在实际应用中数据标注成本极高特别是视频标注更加费时费力
。
因此，研究基于半监督学习的火情分类模型具有重要意义
。
[0004]随着深度学习在计算机视觉中的发展，相较于监督学习半监督学习由于其对标签数据的弱依赖性而被学者们广泛研究
。
伪标签
(PL)
在半监督学习中已十分成熟，其核心思
想是通过标记样本训练一个初始模型对未标记样本据进行预测，最后将预测结果作为未标记样本的标签重新训练
。
例如，
Pseudo
‑
Label
将未标记数据的伪标签作为真正的标签训练模型
。Meta Pseudo Labels
中的教师网络不断地根据学生在标记数据集上的表现反馈并进行调整以生产更好的伪标签
。UPS
认为
PL
表现不佳的原因是错误的高置信度导致的，并通过一种不确定性感知的伪标签选择方式大幅降低训练中的噪声来提高伪标签的准确性
。Zhang
等人建议使用聚类共识估计连续训练代之间的伪标签相似性，通过时间传播和集成的伪标签改进伪标签以消除噪声
。
一致性正则化作为
SSL
的经典方法其假设对未标记的数据添加一些扰动，其预测结果不应该发生显著变化也就是具有输出一致性
。
例如，
MixMatch
混合了标记数据与无标记数据作为增强数据，并为这些无标签增强数据设置低熵标签
。ReMixMatch
通过分布对齐鼓励未标记数据的边际分布接近真实，并利用增强锚匹配多个增强版本数据接近其弱增强的预测
。FixMatch
鼓励模型对弱增强数据生成高置信度的伪标签，并以伪标签训练同一图像的强增强版本
。FlexMatch
从无标记数据的阈值入手，提出课程伪标记
(CPL)
旨在灵活调整不同类别的阈值以传递有信息的未标记数据及其伪标签
。FreeMatch
引入了一个自适应类公平正则化惩罚，根据模型的学习状态自适应地调整伪标签的置信度阈值
。SoftMatc
证明了带有阈值的伪标记方法存在数量
‑
质量权衡问题，通过对置信度样本进行加权在训练过程中保持高数量且高质量的伪标签
。SimMatch
将一致性正则化应用于语义级与实例级，鼓励同一实例的不同增强视图对于其他实例具有相同的类别预测与相似关系
。SelfMatch
结合对比自监督预训练与一致性正则化的半监督微调，缩小了监督学习与半监督学习间的差距
。
[0005]视频火灾检测的目前所存在的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于一致性正则化和分布对齐的半监督视频火灾检测方法，其特征在于，包括以下步骤：通过数据源端提取视频图像，并获取目标视频数据集，所述目标视频数据集包括标注数据和无标注数据；利用
3D CNN
网络对所述标注数据进行特征提取，并根据提取结果训练得到一个分类器以及一个预测头；对所述无标注数据进行强增强和弱增强，得到强增强样本和弱增强样本；利用共享权重的
3D CNN
网络对所述强增强样本和所述弱增强样本分别进行特征提取，利用所述预测头对提取结果进行预测值输出，并利用一致性正则化方法将所述共享权重的
3D CNN
网络与强增强的预测值及弱增强的自适应伪标签进行匹配；通过对抗分布对齐方法，利用所述标注数据和所述无标注数据生成插值的视频交叉集增强样本，并利用匹配好的共享权重的
3D CNN
网络对所述视频交叉集增强样本进行模型训练，且在所述模型训练的过程中引入公平性损失对所述匹配好的共享权重的
3D CNN
网络进行优化，以得到火灾半监督模型；利用所述火灾半监督模型对获取的检测数据进行处理，得到火灾检测结果
。2.
根据权利要求1所述的一种基于一致性正则化和分布对齐的半监督视频火灾检测方法，其特征在于，所述标注数据的表示为：所述无标注数据的表示为：其中，
B
代表批量大小，
μ
代表与相对大小的超参数；
x
b
∈R
C
×
T
×
W
×
H
代表有标注样本，
u
b
∈R
C
×
T
×
W
×
H
代表无标注样本，
C∈N
+
代表通道数量，
T∈N
+
代表时序，
W,H∈N
+
代表每一帧下的宽度与高度；
y
b
∈{0,1,
…
,N}
代表真值标签，
N
表示分类的类别数
。3.
根据权利要求2所述的一种基于一致性正则化和分布对齐的半监督视频火灾检测方法，其特征在于，所述无标注数据在前期迭代训练的结果中生成对应的伪标签：
y
′
b
∈{0,1,
…
,N}
其中，
N
表示为分类的类别数
。4.
根据权利要求1所述的一种基于一致性正则化和分布对齐的半监督视频火灾检测方法，其特征在于，对所述无标注数据在进行强增强和弱增强时，包括使用
Ω
(
·
)
表示强增强，并基于
RandAugment
作为数据帧的强增强的策略，得到所述强增强样本
su
b
＝
{
Ω
(ux
t
),t∈(1,...,T)}
，其中，
ux
t
代表视频帧，
T
为帧总数
。5.
根据权利要求4所述的一种基于一致性正则化和分布对齐的半监督视频火灾检测方法，其特征在于，对所述无标注数据进行强增强和弱增强时，还包括：使用
w(
·
)
表示弱增强，将所述无标记样本
u
b
表示为
u
b
＝
{ux
t
,t∈(1,...,T)}
，通过正则化技术中的翻转策略，得到所述弱增强样本
wu
b
＝

【专利技术属性】
技术研发人员：李佐勇，林清华，周晓光，樊好义，曾坤，
申请(专利权)人：闽江学院，
类型：发明
国别省市：