一种基于深度可分离卷积的多尺度融合烟雾分割方法技术

本发明专利技术公开了一种基于深度可分离卷积的多尺度融合烟雾分割方法，包括：获取待分割的烟雾图像；将待分割的烟雾图像输入预训练好的烟雾分割网络模型，得到输出的烟雾分割结果图；其中所述烟雾分割网络模型包括编码模块和解码模块，所述编码模块包括基于采用深度可分离卷积的改进Xception的骨干网络和改进的ASPP_SE模块；所述解码模块包括通道特征增强模块、多尺度特征融合模块、卷积和上采样。卷积和上采样。卷积和上采样。

【技术实现步骤摘要】
一种基于深度可分离卷积的多尺度融合烟雾分割方法


[0001]本专利技术涉及图像处理和神经网络
，尤其是涉及一种基于深度可分离卷积的多尺度融合烟雾分割方法。

技术介绍

[0002]在各种灾害中，火灾是最普遍威胁公众安全和社会发展的主要灾害之一。在火灾初期，烟雾往往先于火焰产生，因此烟雾检测对于预防火灾和保障人民安全意义重大。传统的烟雾检测技术通常基于传感器感烟、感温或颗粒浓度等，但存在延迟，这会导致火势迅速蔓延而无法控制，且需安装在火灾发生点附件，这就限制了传感器适合应用于小型室内空间。此外，传感器不能提供火灾初始位置、传播方向、规模、增长速度等信息。随着计算机视觉的不断发展，基于图像处理技术的烟雾检测技术取得了很大的进步，从图像中监测定位烟雾，比传统的传感器更加快速准确，且更适用于开阔、野外场景中的烟雾探测。传统图像处理技术需要借助专业知识人工提取特征，然而得到的烟雾特征只局限于颜色、边缘和简单纹理。
[0003]近年来，基于深度学习的烟雾检测技术得到迅速发展，以深度卷积神经网络代替人工操作提取目标特征，按照输出形式可分为两类：一是通过目标检测的方法，输出矩形框实现对烟雾区域识别和标注；二是通过语义分割的方法，针对图像中所有像素点类别判定并输出分割图。语义分割法能更好地提取烟雾的本质特征，以检测对象边缘为界限区分不同目标区域，实现精细化识别分割。全卷积网络(FCN)是语义分割领域的开山之作，利用卷积层替代全连接层，输出二维图像。此后出现了编码解码器架构，研究者们利用该架构进行烟雾分割取得了较理想的效果。但是，现有的烟雾分割方法同样面临诸多挑战：(1)很难同时捕获足够的上下文信息和不同层级特征图的细节信息；(2)烟雾具有尺度多变、边缘模糊和半透明等特性，使得精确分割烟雾的难度显著增加。现有的烟雾分割方法没有特别关注到多变和模糊边缘的纹理细节信息带来的挑战。

技术实现思路

[0004]为解决现有技术存在的问题，本专利技术提出了一种基于深度可分离卷积的多尺度融合烟雾分割方法，结合烟雾形态特点和工程应用的需求，搭建了一个适用于烟雾分割的高效网络模型。以采用深度可分离卷积的改进Xception为骨干网络，与基于空洞卷积的金字塔构型(atrous spatial pyramid pooling,ASPP)组成分割模型编码模块，并在其中应用了通道注意力来增强模型的特征表达能力，采用通道特征增强模块、多尺度特征融合模块、卷积和上采样组成解码模块，能够较为精确的分割烟雾。
[0005]本专利技术解决其技术问题所采用的技术方案是：
[0006]第一方面，本专利技术提供一种基于深度可分离卷积的多尺度融合烟雾分割方法，包括：
[0007]获取待分割的烟雾图像；
[0008]将待分割的烟雾图像输入预训练好的烟雾分割网络模型，得到输出的烟雾分割结果图；
[0009]其中所述烟雾分割网络模型包括编码模块和解码模块，所述编码模块包括基于采用深度可分离卷积的改进Xception的骨干网络和改进的ASPP_SE模块；所述解码模块包括通道特征增强模块、多尺度特征融合模块、卷积和上采样。
[0010]所述烟雾分割网络模型的训练方法包括：
[0011]步骤S1、获取烟雾图像，对烟雾图像进行分割标注预处理，构建原始烟雾数据集；
[0012]步骤S2、利用数据增强技术对原始烟雾数据集进行数据增强处理，得到增强处理后的数据集，并分为训练集和测试集；
[0013]步骤S3、搭建烟雾分割网络，以采用深度可分离卷积的改进Xception为骨干网络，与改进的ASPP_SE模块组成编码模块，采用通道特征增强模块、多尺度特征融合模块、卷积和上采样组成多层次结构的解码模块；
[0014]步骤S4、设置网络训练环境和参数，利用训练集对搭建好的烟雾分割网络进行训练优化，使用测试集对训练好的网络进行测试，获得网络模型权重文件，得到训练好的烟雾分割网络模型。
[0015]在一些实施例中，步骤S1中，利用网站爬虫或分帧截取烟雾视频获得不同场景下的烟雾图像，进行筛选将烟雾图像统一为能进行网络训练的规格，并分割标注图像。
[0016]在一些实施例中，步骤S2中，利用数据增强技术对原始烟雾数据集进行数据增强处理，包括：对原始烟雾数据集进行随机旋转、裁剪、翻转和缩放以及随机亮度、饱和度和对比度变化操作进行数据增强，扩充烟雾数据集。
[0017]在一些实施例中，步骤S3中，编码模块采用改进的Xception作为骨干网络，初始图像输入到编码模块，经输入流、中间流和输出流卷积运算，生成分辨率为初始图像1/16的特征向量；中间流是主要特征学习模块，由8个重复的分离卷积模块DSCM直连组成，每个分离卷积模块由3个728通道的深度分离卷积以残差结构连接；采用残差连接的中间流结构，用1
×
1卷积把输入通道数降为600后，将8个分离卷积模块均分成4组，每组以残差连接再次使用1
×
1卷积把通道数恢复为728，得到骨干网络提取的采样率为2的第一特征张量、采样率为4的第二特征张量、采样率为8的第三特征张量、采样率为16的第四特征张量；
[0018]将骨干网络提取的第四特征张量输入改进的ASPP_SE模块，改进的ASPP_SE模块包括第一个支路、第二个支路、第三个支路、第四个支路、第五个支路；第一个支路是1
×
1标准卷积，用于保持原有的感受野；第二至四个支路是r＝6、r＝12、r＝18，3种不同扩张率的深度可分离卷积，用于特征提取来获得不同的感受野；第五个支路是全局平均池化，用于获取全局特征；在第五个分支将输入特征图经过全局平均池化后加入两个全连接层以及Sigmoid函数，生成通道注意力权重向量；分别对第一个支路、第二个支路、第三个支路、第四个支路的特征图采用通道注意力权重向量进行加权；将第一个支路、第二个支路、第三个支路、第四个支路、第五个支路输出的特征图在通道维度上堆叠，经过1
×
1标准卷积融合不同尺度的信息；并将该输出与骨干网络提取的第四特征张量相乘，作为编码模块输出的特征张量。
[0019]在一些实施例中，步骤S3中，解码模块采用通道特征增强模块、多尺度特征融合模块、卷积和上采样，通过上采样恢复图像尺寸并完成烟雾图像分割；
[0020]对来自编码模块输出的特征张量通过双线性插值2倍上采样得到第一特征图；
[0021]对来自骨干网络的第一特征张量、第二特征张量、第二特征张量采用通道特征增强模块进行通道特征增强分别得到第一通道注意力特征图、第二通道注意力特征图、第三通道注意力特征图；
[0022]采用多尺度特征融合模块将第一通道注意力特征图和第一特征图进行特征融合得到第一融合特征图，第一融合特征图经过2倍上采样后与第二通道注意力特征图进行特征融合得到第二融合特征图；第二融合特征图经过2倍上采样后与第三通道注意力特征图进行特征融合得到第三融合特征图；
[0023]将第三融合特征图进行3
×
3卷积后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，包括：获取待分割的烟雾图像；将待分割的烟雾图像输入预训练好的烟雾分割网络模型，得到输出的烟雾分割结果图；其中所述烟雾分割网络模型包括编码模块和解码模块，所述编码模块包括基于采用深度可分离卷积的改进Xception的骨干网络和改进的ASPP_SE模块；所述解码模块包括通道特征增强模块、多尺度特征融合模块、卷积和上采样。2.根据权利要求1所述的基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，所述烟雾分割网络模型的训练方法包括：步骤S1、获取烟雾图像，对烟雾图像进行分割标注预处理，构建原始烟雾数据集；步骤S2、利用数据增强技术对原始烟雾数据集进行数据增强处理，得到增强处理后的数据集，并分为训练集和测试集；步骤S3、搭建烟雾分割网络，以采用深度可分离卷积的改进Xception为骨干网络，与改进的ASPP_SE模块组成编码模块，采用通道特征增强模块、多尺度特征融合模块、卷积和上采样组成多层次结构的解码模块；步骤S4、设置网络训练环境和参数，利用训练集对搭建好的烟雾分割网络进行训练优化，使用测试集对训练好的网络进行测试，获得网络模型权重文件，得到训练好的烟雾分割网络模型。3.根据权利要求2所述的基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，步骤S1中，利用网站爬虫或分帧截取烟雾视频获得不同场景下的烟雾图像，进行筛选将烟雾图像统一为能进行网络训练的规格，并分割标注图像。4.根据权利要求2所述的基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，步骤S2中，利用数据增强技术对原始烟雾数据集进行数据增强处理，包括：对原始烟雾数据集进行随机旋转、裁剪、翻转和缩放以及随机亮度、饱和度和对比度变化操作进行数据增强，扩充烟雾数据集。5.根据权利要求2所述的基于深度可分离卷积的多尺度融合烟雾分割方法，其特征在于，步骤S3中，编码模块采用改进的Xception作为骨干网络，初始图像输入到编码模块，经输入流、中间流和输出流卷积运算，生成分辨率为初始图像1/16的特征向量；中间流是主要特征学习模块，由8个重复的分离卷积模块DSCM直连组成，每个分离卷积模块由3个728通道的深度分离卷积以残差结构连接；采用残差连接的中间流结构，用1
×
1卷积把输入通道数降为600后，将8个分离卷积模块均分成4组，每组以残差连接再次使用1
×
1卷积把通道数恢复为728，得到骨干网络提取的采样率为2的第一特征张量、采样率为4的第二特征张量、采样率为8的第三特征张量、采样率为16的第四特征张量；将骨干网络提取的第四特征张量输入改进的ASPP_SE模块，改进的ASPP_SE模块包括第一个支路、第二个支路、第三个支路、第四个支路、第五个支路；第一个支路是1
×
1标准卷积，用于保持原有的感受野；第二至四个支路是r＝6、r＝12、r＝18，3种不同扩张率的深度可分离卷积，用于特征提取来获得不同的感受野；第五个支路是全局平均池化，用于获取全局特征；在第五个分支将输入特征图经过全局平均池化后加入两个全连接层以及Sigmoid函数，生成通道注意力权重向量；分别对第一个支路、第二个支路、第三个支路、第四个支路
的特征图采用通道注意力权重向量进行加...

【专利技术属性】
技术研发人员：王开正，周顺珍，付一桐，谭义章，王帅旗，俞瑞龙，孔德照，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：