轻量级多尺度特征融合的实时图像语义分割方法及系统技术方案

本发明专利技术提出一种轻量级多尺度特征融合的实时图像语义分割方法，包括：构建包括初始化模块、分离

【技术实现步骤摘要】
轻量级多尺度特征融合的实时图像语义分割方法及系统


[0001]本专利技术涉及计算机视觉
，更具体地，涉及一种轻量级多尺度特征融合的实时图像语义分割方法及系统。

技术介绍

[0002]随着计算机视觉技术的发展，图像语义分割在自动驾驶、智能医疗和机器人等领域的应用也越来越深入和广泛。图像语义分割是将图片中每个像素点分类到对应的类别，并找到每个类别对象在图片中的位置，对图像进行精确分割，提供精确的对象边界信息。随着深度学习的发展和计算机硬件性能的不断提升，基于深度卷积神经网络的图像语义分割算法取得了不错的效果。
[0003]现有的许多基于深度卷积神经网络的图像语义分割模型通常是通过使用更深的卷积层和更大的特征通道来实现更高的精度，具有大量的超参数。例如，PSPNet（Pyramid Scene Parsing Network）引入了一个金字塔池模块，在Cityscapes测试集上实现80.2%的mIoU，然而该模型却有6570万参数，推理时间远低于实时性的标准，难以部署在移动电话、汽车系统、可穿戴设备和物联网设备等硬件终端。
专本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.轻量级多尺度特征融合的实时图像语义分割方法，其特征在于，包括以下步骤：S1：构建图像语义分割网络，所述图像语义分割网络包括初始化模块、分离
‑
提取
‑
合并瓶颈模块、分区
‑
融合通道注意力模块、特征融合模块和多尺度注意力解码器；所述分离
‑
提取
‑
合并瓶颈模块包括若干个依次连接的分离
‑
提取
‑
合并瓶颈结构；S2：将待处理图像输入所述图像语义分割网络，图像语义分割网络输出图像语义分割结果；其中，所述初始化模块对待处理图像进行特征提取，得到待处理图像的初始特征图；所述分离
‑
提取
‑
合并瓶颈模块采用分离特征通道提取初始特征图的多尺度特征，得到多尺度特征图；所述分区
‑
融合通道注意力模块提取并融合初始特征图的全局通道信息和局部通道信息，得到通道信息特征图；所述特征融合模块将多尺度特征图、通道信息特征图和原始的待处理图像进行特征融合，得到融合特征图；所述多尺度注意力解码器基于融合特征图进行图像精度恢复，得到图像语义分割结果。2.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在于，所述初始化模块对待处理图像进行特征提取，得到待处理图像的初始特征图的步骤包括：将待处理图像经过卷积层进行卷积操作，得到第一特征图；将所述第一特征图与原始的待处理图像进行并行拼接，将拼接结果经过一个1
×
1卷积层进行卷积操作后，得到第二特征图。3.根据权利要求2所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在于，所述分离
‑
提取
‑
合并瓶颈模块采用分离特征通道提取初始特征图的多尺度特征，得到多尺度特征图的步骤包括：将第二特征图输入第一个分离
‑
提取
‑
合并瓶颈结构，所述第二特征图经过一个3
×
3的标准卷积层进行卷积操作后，将卷积操作结果通过通道分离生成两个特征图分别经过一个3
×
3的深度可分离卷积层和经过一个3
×
3的深度可分离空洞卷积层进行卷积操作；将两个卷积操作结果进行合并，然后将合并结果经过一个3
×
3的标准卷积层进行卷积操作后与输入当前分离
‑
提取
‑
合并瓶颈结构的特征图进行特征映射，将特征映射结果输入下一个分离
‑
提取
‑
合并瓶颈结构进行处理；经过若干个分离
‑
提取
‑
合并瓶颈结构处理后，得到多尺度特征图。4.根据权利要求3所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在于，在一个分离
‑
提取
‑
合并瓶颈结构中，所述3
×
3的标准卷积层、3
×
3的深度可分离卷积层和3
×
3的深度可分离空洞卷积层的输出端均依次连接有PReLU激活层和BN层。5.根据权利要求3所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在于，所述分区
‑
融合通道注意力模块包括全局注意力生成支路和局部注意力融合支路；所述分区
‑
融合通道注意力模块提取并融合初始特征图的全局通道信息和局部通道信息，得到通道信息特征图的步骤包括：将所述分离
‑
提取
‑
合并瓶颈模块中第一个分离
‑
提取
‑
合并瓶颈结构输出的特征图A输入分区
‑
融合通道注意力模块后分别进入全局注意力生成支路和局部注意力融合支路；对输入全局注意力生成支路的特征图A1进行全局平均池化并学习特征图A1的通道权值，得到学习特征图A1的全局通道信息；
对输入局部注意力融合支路的特征图A2进行分区处理，将特征图A2分为k个区域；对特征图A2的k个区域分别进行全局平均池化并学习k个区域的平均池化值，得到特征图A2的局部通道信息；将所述全局通道信息和所述局部通道信息进行加权融合，根据加权融合结果对输出特征图进行特征提取，得到通道信息特征图。6.根据权利要求5所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在于，所述特征融合模块将多尺度特征图、通道信息特征图和原始的待处理图像进行特征融合，得到融合特征图的步骤模块的步骤包括：所述特征融合模块对多尺度特征图、通道信息特征图和原始的待处理图像进行通道方向上的拼接，将拼接结果经过一个1
×
1卷积层进行卷积操作，得到融合特征图。7.根据权利要求2所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在于，将待处理图像经过卷积层进行卷积操作，得到第一特征图的步骤包括：将待处理图像输入初始化模块，待处理图像经过一个步长为2的3
×
3的标准卷积层进行卷积操作，然后将卷积操作连续经过两个3
×
3的标准卷积层进行卷积操作，得到第一特征图。8.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在于，所述分离
‑
提取
‑
合并瓶颈模块包括第一分离
‑
提取
‑
合并瓶颈模块和第二分离
‑
提取
‑
合并瓶颈模块；所述分区
‑
融合通道注意力模块包括第一分区
‑
融合通道注意力模块和第二分区<...

【专利技术属性】
技术研发人员：石敏，沈佳林，易清明，骆爱文，戴国帅，
申请(专利权)人：暨南大学，
类型：发明
国别省市：