一种基于高层语义与噪声抑制的烟雾语义分割方法及系统技术方案

本发明专利技术公开了一种基于高层语义与噪声抑制的烟雾语义分割系统及方法，该方法利用高层语义信息的全局感知能力指导底层特征重构，纠正底层烟雾特征偏移并抑制噪声。编码器首先生成包含空间细节信息和全局抽象语义信息的层级特征。然后基于渐进式解码对层级特征进行解码，得到最终特征输出。解码时，为解决底层烟雾特征偏移并抑制背景噪声，采用高层语义信息构建全局语义注意力指导底层空间信息重构。渐进式融合底层空间信息会引入新的噪声影响分割结果。为此，基于多头注意力构建了一种高效的特征融合机制，多头注意力针对不同位置产生不同的可学习权重，通过该权重矩阵实现渐进式解码噪声抑制。最后，通过归一化函数实现烟雾语义分割。义分割。义分割。

【技术实现步骤摘要】
一种基于高层语义与噪声抑制的烟雾语义分割方法及系统


[0001]本专利技术涉及机器视觉及深度学习
，特别涉及一种基于高层语义与噪声抑制的烟雾语义分割方法及系统。

技术介绍

[0002]在各种灾害中，火灾是最频繁、最普遍的威胁公众安全和社会发展的主要灾害之一，不仅严重威胁着人们的生命财产安全，而且大规模的火灾会严重破坏生态平衡。及时而准确地发现火灾，能够为救援人员争取宝贵的扑救时间，减轻火灾的危害。由于烟雾可以提供比火焰更早的线索，基于烟雾的火灾探测可以更有效地减少火灾造成的损失，因此，许多研究人员致力于烟雾检测的研究。
[0003]语义分割在烟雾检测中被广泛使用，传统的烟雾语义分割需手工设计特征来进行检测。但是，由于不同场景下烟雾的外观差异大，手工设计特征非常复杂、繁琐，并且在天气和光线变化的情况下，手工设计的特征非常不稳定。最近，基于深度学习的方法在烟雾语义分割中取得了显著成果。然而，现有方法无法有效捕获具有强表示能力的高层语义信息，导致部分光线不明显或背景与烟雾类似的场景分割效果较差。渐进式地融合底层特征能够大幅度提升烟雾语义分割空间细节信息的恢复。简单的特征融合会进一步引入附加噪声，通过为融合特征的每个位置产生可学习的权重可以有效抑制附加噪声的影响。另外，底层特征由于只能关注到局部空间，从而会有大量的噪声影响烟雾边缘分割结果。高层语义信息具有全局感知能力，能够有效抑制噪声的干扰。值得说明的是，通过高层语义信息还能够纠正底层烟雾特征的偏移，从而进一步优化烟雾语义分割结果。基于这些思想，本专利技术引入了基于图像金字塔的高层语义信息增强模块，构建了基于高层上下文信息的全局语义注意力模块，基于多头注意力机制设计了一种高效的特征融合模块，最后引入通道注意力机制改善了解码特征内部差异，提升了烟雾语义分割性能。

技术实现思路

[0004]本专利技术的目的在于克服现有烟雾语义分割方法存在的技术缺陷，提出了基于高层语义与噪声抑制的烟雾语义分割方法，该方法能够有效纠正底层烟雾特征偏移并抑制底层特征中的噪声，此外，对于解码过程中引入的附加噪声也能起到良好的抑制作用。基于该方法，能够得到较好的烟雾语义分割结果，实现精准的烟雾定位。
[0005]为了实现上述目的，本专利技术提出了一种基于高层语义与噪声抑制的烟雾语义分割方法；所述方法包括：
[0006]步骤1)数据预处理，将训练集按预设数量进行随机分组；
[0007]步骤2)随机读取一组图片，由具有n层结构的编码器对输入图像进行多层次特征提取，得到分别包含空间细节信息和全局抽象语义信息的多尺度特征f
i
，i∈[1,n]；
[0008]步骤3)将步骤2)编码器中最后一层高层语义特征f
n
输入至语义特征金字塔模块进行处理，捕获多尺度语义信息，增强高层语义特征的全局上下文信息表示能力，该多尺度
语义信息可以表示为f
′
n
；
[0009]步骤4)将基于多尺度高层语义信息f
′
n
构建全局注意力机制并将其作用于编码器各个阶段的输出f
i
，i∈[1,n
‑
1]；所述全局注意力机制将高层语义信息f
′
n
与不同层次编码特征f
i
进行融合得到交叉语义信息并通过多头注意力机制实现特征重构；所述全局注意力机制能够有效缓解烟雾特征偏移并抑制底层特征中包含的噪声。
[0010]步骤5)将基于多头注意力机制构建高效的特征融合模块；所述特征融合模块首先将解码器第i层解码后的输出f
id
(i∈[1,n
‑
1])进行2倍上采样得到特征f
id'
并与步骤4输出的交叉语义特征进行融合，渐进式地聚合多尺度高级上下文信息和底层空间细节信息，然后通过多头注意力重构得到噪声经大幅度抑制的融合特征最后由通道注意力模块对进行处理，增强特征的内部相关性，得到解码器第i+1层的输出特征图
[0011]其中，第一层解码器的输入为步骤3)得到的多尺度高层语义信息f
′
n
，并直接经由双线性插值和通道注意力模块处理得到输出f
1d
；
[0012]步骤6)对所述解码器最后一层的输出f
nd
进行上采样，得到与原始输入图像相同分辨率的输出特征；
[0013]步骤7)对输出特征进行特征映射并采用交叉熵计算预测结果与真实值之间的损失，并采用梯度下降法对模型中的参数进行更新；反复迭代，直至训练出最优参数组合；
[0014]步骤8)基于最优参数模型实现烟雾语义分割。在上述技术方案的基础上，所述步骤1)具体包括：
[0015]步骤1
‑
1)采用双线性插值的方法对输入图片进行裁剪，使得其满足模型输入所需大小224
×
224
×
3；
[0016]步骤1
‑
2)将所有图片按每组16张进行随机划分成N个组。
[0017]在上述技术方案的基础上，所述语义特征金字塔模块包括4个分支，第一分支为卷积核大小为1*1，膨胀率为0的空洞卷积层；第二分支为卷积核大小为3*3，膨胀率为3的空洞卷积层；第三分支为卷积核大小为3*3，膨胀率为5的空洞卷积层；第四分支为卷积核大小为3*3，膨胀率为7的空洞卷积层；
[0018]所述步骤3)具体包括：
[0019]步骤3
‑
1)将编码器最后一层输出的层级语义特征f
n
分别经过语义特征金字塔模块的4个分支进行运算，得到对应的4组特征图；
[0020]步骤3
‑
2)将所述4组特征图进行级联，得到多尺度特征f
′
n
，计算公式如下：
[0021]f
′
n
＝concat[dc0(f
n
),dc3(f
n
),dc5(f
n
),dc7(f
n
)][0022]其中，dc
r
表示膨胀率为r的空洞卷积函数。
[0023]在上述技术方案的基础上，所述步骤4)具体包括：
[0024]步骤4
‑
1)将编码器第i层输出特征f
i
经过第一卷积层处理得到同时将所述多尺度高层语义特征f
′
n
经过第二卷积层处理后，再进行上采样，得到
[0025]其中，通过双线性插值运算实现上采样，计算过程如下：
[0026]f(x,y)＝p(x,y)/((x2‑
x1)*(y2‑
y1))
[0027]p(x,y)＝f(Q
11
)*T(x2,y2)
‑
f(Q
21
)*T(x1,y2)
‑
f(Q
12
)*T(x2,y1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高层语义与噪声抑制的烟雾语义分割方法，所述方法包括：步骤1)数据预处理，将训练集按预设数量进行随机分组；步骤2)随机读取一组图片，由具有n层结构的编码器对输入图像进行多层次特征提取，得到分别包含空间细节信息和全局抽象语义信息的层级特征f
i
，i∈[1,n]；步骤3)将步骤2)编码器中最后一层高层语义特征f
n
输入至语义特征金字塔模块进行处理，捕获多尺度语义信息，增强高层语义特征的全局上下文信息表示能力，该多尺度高层语义信息可以表示为f
′
n
；步骤4)将基于多尺度高层语义信息f
′
n
构建全局注意力机制并将其作用于编码器各个阶段的输出f
i
，i∈[1,n
‑
1]；所述全局注意力机制将高层语义信息f
′
n
与不同层次编码特征f
i
进行融合得到交叉语义信息f
icc
并通过多头注意力机制实现特征重构；所述全局注意力机制通过具有全局感知能力的高层语义信息纠正底层烟雾特征偏移并抑制底层特征中包含的噪声；步骤5)将基于多头注意力机制构建高效的特征融合模块；所述特征融合模块首先将解码器第i层解码后的输出f
id
(i∈[1,n
‑
1])进行2倍上采样得到特征f
id
′
并与步骤4输出的交叉语义特征进行融合，渐进式地聚合多尺度高级上下文信息和底层空间细节信息，然后通过多头注意力重构，得到噪声经大幅度抑制的融合特征最后由通道注意力模块对进行处理，增强特征的内部相关性，得到解码器第i+1层的输出特征图其中，第一层解码器的输入为步骤3)得到的多尺度高层语义信息f
n
'，并直接经由双线性插值和通道注意力模块处理得到输出f
1d
；步骤6)对所述解码器最后一层的输出f
nd
进行上采样，得到与原始输入图像相同分辨率的输出特征；步骤7)对输出特征进行特征映射并采用交叉熵计算预测结果与真实值之间的损失，并采用梯度下降法对模型中的参数进行更新；反复迭代，直至训练出最优参数组合；步骤8)基于最优参数模型实现烟雾语义分割。2.根据权利要求1所述的方法，其特征在于，所述语义特征金字塔模块包括4个分支，第一分支为卷积核大小为1*1，膨胀率为0的空洞卷积层；第二分支为卷积核大小为3*3，膨胀率为3的空洞卷积层；第三分支为卷积核大小为3*3，膨胀率为5的空洞卷积层；第四分支为卷积核大小为3*3，膨胀率为7的空洞卷积层；所述步骤3)具体包括：步骤3
‑
1)将编码器最后一层输出的层级语义特征f
n
分别经过语义特征金字塔模块的4个分支进行运算，得到对应的4组特征图；步骤3
‑
2)将所述4组特征图进行级联，得到多尺度特征f
′
n
，计算公式如下：f
′
n
＝concat[dc0(f
n
),dc3(f
n
),dc5(f
n
),dc7(f
n
)]其中，dc
r
表示膨胀率为r的空洞卷积函数。3.根据权利要求1所述的方法，其特征在于，所述步骤4)具体包括：步骤4
‑
1)将编码器第i层输出特征f
i
经过第一卷积层处理得到同时将所述多尺度高层语义特征f
′
n
经过第二卷积层处理后，再进行上采样，得到
其中，通过双线性插值运算实现上采样，计算过程如下：f(x,y)＝p(x,y)/((x2‑
x1)*(y2‑
y1))p(x,y)＝f(Q
11
)*T(x2,y2)
‑
f(Q
21
)*T(x1,y2)
‑
f(Q
12
)*T(x2,y1)+f(Q
22
)*T(x1,y1)T(x
i
,y
i
)＝(x
i
‑
x)*(y
i
‑
y),i,j∈{1,2}其中x
i
,y
i
代表与像素(x,y)相邻的像素位置，f(Q
ij
)＝f(x
i
,y
j
)；4
‑
2)将所述与进行级联后，经第三卷积层处理得到交叉语义特征f
icc
；步骤4
‑
3)将所述f
icc
经多头注意力机制运算，得到包含烟雾特征优化和噪声抑制在内的重构矩阵W；其中，多头注意力机制的计算过程如下：MHA(Q,K,V)＝C(head1,head2,...,head
n
)Whead
i
＝Attn(QW
iQ
,KW
iK
,VW
iV
)其中，head
i
代表多头注意力的第i个头，QW
iQ
，KW
iK
,VW
iV
分别代表Q、K、...

【专利技术属性】
技术研发人员：李松斌，晏黔东，刘鹏，张遥，
申请(专利权)人：中国科学院声学研究所南海研究站，
类型：发明
国别省市：