基于注意力机制指导特征融合的图像语义分割方法技术

本发明专利技术公开一种基于注意力机制指导特征融合的图像语义分割方法，包括如下步骤：(10)编码器基础网络构建：使用改进后的ResNet‑101生成一系列由高分辨率低语义到低分辨率高语义变化的特征；(20)解码器特征融合模块构建：采用基于三层卷积操作的金字塔结构模块，提取强一致性约束的高层语义，再向低层阶段特征逐层加权融合，得到初步分割热图；(30)辅助损失函数构建：向解码阶段的每个融合输出追加辅助监督，再与热图上采样后的主监督损失叠加，强化模型的分层训练，得到语义分割图。本发明专利技术的基于注意力机制指导特征融合的图像语义分割方法，准确性高、边界轮廓清楚。

Image Semantic Segmentation Based on Attention Mechanism Guiding Feature Fusion

【技术实现步骤摘要】
基于注意力机制指导特征融合的图像语义分割方法
本专利技术属于静态图像识别
，特别是一种准确性高、边界轮廓清楚的基于注意力机制指导特征融合的图像语义分割方法。
技术介绍
语义分割即像素级别的图像理解，是计算机视觉领域的重要基石之一，有着非常广泛的应用场景。其通过细粒度分割的方式，赋予了机器将视觉画面的不同区域以像素级别剥离开来的能力。语义分割将图像中属于同一目标的像素区域划分到一起，从而扩展其应用领域。语义分割在进行像素级预测的同时将对象分类和目标定位两个问题结合在一起解决，如何在高层抽象的对象分类和低层精确的目标定位这两个相互约束的问题之间取得平衡是当前语义分割方法所要面对的核心问题。语义分割方法可以大致分为两类。第一种，通过人工提取特征生成图像中各个对象的语义，这种方法往往需要细致的特征工程手段，再输入分类器进行像素级别的分类。第二种是基于深度学习方法，通过构建端到端系统将特征提取与分类器合在一起从而直接为每个像素分配一个语义标签。大多数传统的方法都是依赖于手工提取特征并与分类器相结合的机器学习方法，如Shotton等人的Boost方法，Johnson等人的随机森林，Soatto等人的支持向量机。这些方法通过整合来自上下文和结构化预测技术的丰富信息取得了实质性的进步。然而，由于手工提取的特征表达能力受限的影响，基于传统机器学习方法的图像语义分割系统性能逐渐饱和，无法突破瓶颈，其在分割准确率性能上仍有很大的提升空间。近些年，深度学习革命让相关领域发生了翻天覆地的变化，包括语义分割在内的许多计算机视觉问题都开始使用深层架构来解决。基于深度卷积神经网络提出的全卷积网络方法，以卷积层代替全连接层构造全卷积网络应用到语义分割上，生成了密集的逐像素标记输出，获得了更高的分割精度。Zhao等人提出金字塔场景解析网络方法，利用金字塔池化模块，通过不同区域的上下文聚合来利用全局上下文信息，利用全局先验有效地产生了高质量的分割结果。Li等人通过先对浅层阶段区域进行分类，并将更深层次的阶段重点放在少数困难区域上，以进行自适应和针对困难样例识别的学习，最终改善了分割性能。Lin等人提出了一种通用的多路径优化网络方法，明确利用下采样过程中的所有可用信息，以实现使用远程残留连接的高分辨率像素级预测。然而，现有技术存就语义分割效果而言，仍存在两个主要问题：1、在基于深度全卷积网络的图像语义分割中，使用卷积网络进行特征提取时，由于卷积、最大池化和下采样操作的重复组合引起特征分辨率逐渐降低，导致上下文信息丢失，使得导致分割结果中出现外观复杂目标的局部区域误识别以及多尺度对象中小目标识别错误等语义不一致；2、卷积网络的成功部分归因于其对图像局部变换的内在不变性，该不变性增强了网络学习分层抽象的能力，这恰恰是对象分类等高层视觉任务所需的。而语义分割在解决分类问题的同时还需要面对分割中定位对象的边界轮廓等空间细节问题，单纯的像素分类任务经常出现分割结果中对象的边界轮廓模糊不清的现象。
技术实现思路
本专利技术的目的在于提供一种基于注意力机制指导特征融合的图像语义分割方法，准确性高、边界轮廓清楚。实现本专利技术目的的技术方案为：一种基于注意力机制指导特征融合的图像语义分割方法，包括如下步骤：(10)编码器基础网络构建：使用改进后的ResNet-101生成一系列由高分辨率低语义到低分辨率高语义变化的特征；(20)解码器特征融合模块构建：采用基于三层卷积操作的金字塔结构模块，提取强一致性约束的高层语义，再向低层阶段特征逐层加权融合，得到初步分割热图；(30)辅助损失函数构建：向解码阶段的每个融合输出追加辅助监督，再与热图上采样后的主监督损失叠加，强化模型的分层训练，得到语义分割图。与现有技术相比，本专利技术具有以下几点：1、准确性高：本专利技术方法通过实现类似金字塔结构的末端高层语义信息提取模块来融合三个不同尺度的特征，并额外引入与输出特征连接的全局池化分支做后续处理，将上下文信息与经过简单卷积操作后的原特征相乘，在不引入太多的计算的前提下能够捕获强语义一致性特征，减少对象局部区域识别出错的几率；2、边界轮廓清楚：本专利技术根据相邻特征间高层特征含有较多语义信息而低层特征含有较多空间细节信息这一特点，先连接两个层级特征生成通道注意向量，将其作为权重来选择低层特征中最具判别力的信息，利用高层特征的强语义一致性约束指导和细化其与低层特征的融合，捕获丰富的上下文，最终细化了对象的分割边界，更好地融合层级特征以恢复分割图中对象的边界细节，减少了边界轮廓模糊不清的现象。附图说明图1为本专利技术基于注意力机制指导特征融合的图像语义分割方法的主流程图。图2为图1中编码器基础网络构建步骤的流程图。图3为图1中解码器特征融合模块构建步骤的流程图。图4为末端高层语义信息提取模块示例。图5为注意力机制指导特征融合模块示例。具体实施方式如图1所示，本专利技术基于注意力机制指导特征融合的图像语义分割方法，包括如下步骤：(10)编码器基础网络构建：使用改进后的ResNet-101生成一系列由高分辨率低语义到低分辨率高语义变化的特征；如图2所示，所述(10)编码器基础网络构建步骤包括：(11)构建块的层数重部署：重新部署res-2到res-5阶段各自拥有的构建块数量，将原始ResNet-101的res-2到res-5的{3，4，23，3}构建块数量调整为{8，8，9，8}；卷积网络编码器目的是生成一系列由高分辨率低语义到低分辨率高语义变化的特征。该基础网络通常使用现有的卷积神经网络模型，如LeNet、AlexNet、VGG、GoogLeNet、ResNet等。其中ResNet-101使用了大量的残差结构，解决了层数加深的同时梯度消失的问题，其每个残差结构也为正向和反向传播提供了新的路径，因此具有极强的表达能力。本专利技术使用ResNet-101作为语义分割的编码器基础网络。在基础网络中，特征从编码器部分的每个阶段尾部提取而来，对于ResNet-101而言，分别为res-2、res-3、res-4和res-5四个阶段，其中每个阶段所含构建块数量分别为{3，4，23，3}，每个构建块由三个卷积层组成。可见，ResNet-101的前两个编码阶段只有少量的构建块，这样较浅的卷积层数使其不能提取深层的语义特征，低层特征的语义质量较差。而从res-4开始，经过大量的深层卷积之后，输出的特征拥有较强的语义。res-3和res-4两个阶段提取出的两个相邻特征之间的语义质量差距极大。为了改善低层特征的语义质量，使其更接近监督，一个直接的方法是重新部署res-2到res-5阶段各自拥有的构建块数量，平衡各个阶段的卷积层数，减少res-3和res-4两个阶段输出的特征之间的语义差异性。重新部署的各阶段构建块数量中，原始ResNet-101的res-2到res-5的{3，4，23，3}构建块数量调整为{8，8，9，8}。(12)扩大感受野：将ResNet-101基础网络结构中res-5阶段的传统卷积改为扩张率为2的空洞卷积。语义分割的输出分辨率应与输入图像一致。基于全卷积网络的语义分割方法虽然能够接受任意分辨率的输入图像，但连续的卷积和池化操作在增大感受野的同时也减小了特征的分辨率。虽然通过上采样可以将缩小的特征图还本文档来自技高网...

【技术保护点】
1.一种基于注意力机制指导特征融合的图像语义分割方法，其特征在于，包括如下步骤：(10)编码器基础网络构建：使用改进后的ResNet‑101生成一系列由高分辨率低语义到低分辨率高语义变化的特征；(20)解码器特征融合模块构建：采用基于三层卷积操作的金字塔结构模块，提取强一致性约束的高层语义，再向低层阶段特征逐层加权融合，得到初步分割热图；(30)辅助损失函数构建：向解码阶段的每个融合输出追加辅助监督，再与热图上采样后的主监督损失叠加，强化模型的分层训练，得到语义分割图。

【技术特征摘要】
1.一种基于注意力机制指导特征融合的图像语义分割方法，其特征在于，包括如下步骤：(10)编码器基础网络构建：使用改进后的ResNet-101生成一系列由高分辨率低语义到低分辨率高语义变化的特征；(20)解码器特征融合模块构建：采用基于三层卷积操作的金字塔结构模块，提取强一致性约束的高层语义，再向低层阶段特征逐层加权融合，得到初步分割热图；(30)辅助损失函数构建：向解码阶段的每个融合输出追加辅助监督，再与热图上采样后的主监督损失叠加，强化模型的分层训练，得到语义分割图。2.根据权利要求1所述的图像语义分割方法，其特征在于，所述(10)编码器基础网络构建步骤包括：(11)构建块层数重部署：重新部署res-2到res-5阶段各自拥有的构建块数量，将原始...

【专利技术属性】
技术研发人员：龚声蓉，周鹏程，
申请(专利权)人：常熟理工学院，
类型：发明
国别省市：江苏,32