基于空洞残差和注意力机制的全卷积语义分割系统及方法技术方案

本发明专利技术公开了一种基于空洞残差和注意力机制的全卷积快速语义分割方法，当检测到输入图像时，首先对图像进行预处理，提取特征信息，然后进行不同维度的池化；再提取边缘特征进行强化，并结合注意力机制，处理低层高分辨率低语义特征图像，融合处理后的低层高分辨率低语义特征图像和高层低分辨率高语义特征图像；此外，融合边缘强化模块输出、卷积输出、注意力机制模块输出；最后，进行反卷积还原，得到准确度高，速度快的语义分割结果。本发明专利技术可准确、快速完成语义分割功能，具有较高的工程价值、应用价值。

【技术实现步骤摘要】
基于空洞残差和注意力机制的全卷积语义分割系统及方法
本专利技术涉及一种基于空洞残差和注意力机制的全卷积语义分割方法，属于计算机视觉领域。技术背景语义分割技术是计算机视觉领域不可或缺的一部分，在智能驾驶、精准农业等领域应用广泛。以语义分割为基础的比亚迪、特斯拉等品牌电动汽车，可以实现自动车道保持、自动变更车道等功能；农业无人机可以根据语义分割结果进行实时除草、喷洒农药等行动。分割精度和模型推理速度是衡量语义分割技术优劣的关键，近年来，实时场景下对网络模型的实时性需求不断增加，使一些快速语义分割算法逐渐兴起，这些算法通过减少网络层数目、裁剪输入图像尺寸等方式来缩短模型架构推理时间，以达到实时性需求，虽然提高了模型推理的效率，但是分割精度往往不高。包括全卷积神经网络(FullyConvolutionalNeuralNetwork,FCN)在内的传统网络模型结构对图像的一些边缘轮廓部分识别相对模糊，像素间的空间未能紧密连接，导致分割目标整体连贯性较差，分割结果不够精细，无法同时保证较高的分割精度和模型推理速度。如何在提高模型推理速度的同时，保障分割精度，是解决语义分割技术在实时场景中应用的问题关键。
技术实现思路
本专利技术所要解决的技术问题是：在实时场景下，语义分割技术的神经网络模型有的无法满足实时性要求，有的不能实现对图像的准确、快速分割，在精准度以及实际测试速率两方面难以做到平衡。为解决上述技术问题，本专利技术提出基于空洞残差和注意力机制的全卷积语义分割系统，包括以下功能模块：<br>图像预处理卷积模块：读取原始图像后，进行一层卷积处理，通过第一层卷积(conv1)提取图像中物体形状特征；金字塔池化模块：对预处理后的图像使用金字塔池化模型进行金字塔池化；把图像分成多个子区域，每个子区域使用不同层级金字塔池化，在金字塔池化模块每一个层级后引入一个1×1的二层卷积实现通道降维；通过对应倍率的双线性插值恢复图像分辨率，得到恢复特征图像C2；边缘强化模块：对恢复特征图像进行三层卷积处理，通过残差块结构实现边缘强化(BM)，记作边缘强化模块BM1；对三层卷积处理结果进行四层卷积处理，同样根据残差块结构实现边缘强化，记作边缘强化模块BM2；注意力机制模块：将恢复特征图像C2和边缘强化模块BM2输出映射分别作为低层高分辨率低语义特征和高层低分辨率高语义特征输入“注意力机制”(Attentionmechanism，AM)融合语义特征；多特征融合模块：使用多特征融合模块(Featuregatheringmodule,FGM)融合四层卷积处理结果、边缘强化模块BM1处理结果、注意力机制处理结果进行输出；反卷积还原模块：使用由三个反卷积层级联而成的反卷积还原(DCM)模块，将融合结果还原至原始输入的分辨率大小。一种基于空洞残差和注意力机制的全卷积语义分割方法，包括以下步骤：1)图像预处理：读取原始图像后，进行一层卷积处理，通过第一层卷积(conv1)提取图像中物体形状特征；2)获取不同尺度的特征：将预处理后的图像分成数个子区域，此例为4个，使用金字塔池化模型(PPM)进行金字塔池化；3)通道降维：在金字塔池化模块每一个层级后引入一个1×1的二层卷积实现通道降维；4)恢复图像分辨率：通过对应倍率的双线性插值恢复图像分辨率，得到恢复特征图像C2；5)边缘强化：对恢复特征图像进行三层卷积处理，通过残差块结构实现边缘强化(BM)，记作边缘强化模块BM1；对三层卷积处理结果进行四层卷积处理，同样根据残差块结构实现边缘强化，记作边缘强化模块BM2；6)引入注意力机制：将步骤4)得到的二层卷积处理结果，即恢复特征图像C2和边缘强化模块BM2输出映射分别作为低层高分辨率低语义特征和高层低分辨率高语义特征输入“注意力机制”(Attentionmechanism，AM)融合语义特征；7)多特征融合：使用多特征融合模块(Featuregatheringmodule,FGM)融合四层卷积处理结果、边缘强化模块BM1处理结果、注意力机制处理结果进行输出；8)还原原始输入：使用由三个反卷积层级联而成的反卷积还原(DCM)模块，将融合结果还原至原始输入的分辨率大小。与现有技术相比，本专利技术的有益效果是：(1)本专利技术利用边缘强化模块(BM)处理图像中的低级特征如角点、锐利边缘等，有助于提取更精细的边缘细节；(2)本专利技术提出的多特征融合模块(Featuregatheringmodule,FGM)对底层边缘特征、全局特征、注意力机制处理后的特征进行融合，在保证检测准确率的同时，加快了处理速度；(3)本专利技术利用基础残差块结构和孔洞卷积相结合的方式，既保证了分辨率不变也维持了原有感受野，使底层信息得以保留，提高识别准度。附图说明图1为本专利技术的系统模块结构图；图2为本专利技术的系统运行示意图；图3为边缘强化模块示意图；图4为注意力机制模块示意图；图5为多特征融合模块示意图。具体实施方式下面结合附图对本专利技术作更进一步的说明。实施例1如图1所示，本专利技术提出的一种基于空洞残差和注意力机制的全卷积快速语义分割系统包括：图像预处理卷积模块：读取原始图像后，进行一层卷积处理，通过第一层卷积提取图像中物体形状特征；金字塔池化模块：对预处理后的图像使用金字塔池化模型进行金字塔池化；把图像分成多个子区域，每个子区域使用不同层级金字塔池化，在金字塔池化模块每一个层级后引入一个1×1的二层卷积实现通道降维；通过对应倍率的双线性插值恢复图像分辨率，得到恢复特征图像C2；边缘强化模块：对恢复特征图像进行三层卷积处理，通过残差块结构实现边缘强化，记作边缘强化模块BM1；对三层卷积处理结果进行四层卷积处理，同样根据残差块结构实现边缘强化，记作边缘强化模块BM2；注意力机制模块：将恢复特征图像C2和边缘强化模块BM2输出映射分别作为低层高分辨率低语义特征和高层低分辨率高语义特征输入“注意力机制”融合语义特征；多特征融合模块：使用多特征融合模块融合四层卷积处理结果、边缘强化模块BM1处理结果、注意力机制处理结果进行输出；反卷积还原模块：使用由三个反卷积层级联而成的反卷积还原(DCM)模块，将融合结果还原至原始输入的分辨率大小。其中图像预处理卷积模块和反卷积还原模块都是由一个卷积单元实现相应的特征压缩或还原功能，边缘强化模块、注意力机制模块、多特征融合模块则有各自的连接、组成方式。如图2所示，本专利技术的基于空洞残差和注意力机制的全卷积快速语义分割方法，具体运行流程为：1)读取原始图像后，进行一层卷积处理，通过第一层卷积(conv1)提取图像中物体形状特征，对图像进行预处理；2)对预处理后的图像使用金字塔池化模型(Pyramidpoolingmodule,PPM)进行金字塔池化；21)首先确定金字塔池本文档来自技高网...

【技术保护点】
1.一种基于空洞残差和注意力机制的全卷积语义分割系统，其特征在于：包括以下功能模块：/n像预处理卷积模块：读取原始图像后，进行一层卷积处理，通过第一层卷积提取图像中物体形状特征；/n金字塔池化模块：对预处理后的图像使用金字塔池化模型进行金字塔池化；把图像分成多个子区域，每个子区域使用不同层级金字塔池化，在金字塔池化模块每一个层级后引入一个1×1的二层卷积实现通道降维；通过对应倍率的双线性插值恢复图像分辨率，得到恢复特征图像C2；/n边缘强化模块：对恢复特征图像进行三层卷积处理，通过残差块结构实现边缘强化，记作边缘强化模块BM1；对三层卷积处理结果进行四层卷积处理，同样根据残差块结构实现边缘强化，记作边缘强化模块BM2；/n注意力机制模块：将恢复特征图像C2和边缘强化模块BM2输出映射分别作为低层高分辨率低语义特征和高层低分辨率高语义特征输入“注意力机制”融合语义特征；/n多特征融合模块：使用多特征融合模块融合四层卷积处理结果、边缘强化模块BM1处理结果、注意力机制处理结果进行输出；/n反卷积还原模块：使用由三个反卷积层级联而成的反卷积还原模块，将融合结果还原至原始输入的分辨率大小。/n

【技术特征摘要】
1.一种基于空洞残差和注意力机制的全卷积语义分割系统，其特征在于：包括以下功能模块：
像预处理卷积模块：读取原始图像后，进行一层卷积处理，通过第一层卷积提取图像中物体形状特征；
金字塔池化模块：对预处理后的图像使用金字塔池化模型进行金字塔池化；把图像分成多个子区域，每个子区域使用不同层级金字塔池化，在金字塔池化模块每一个层级后引入一个1×1的二层卷积实现通道降维；通过对应倍率的双线性插值恢复图像分辨率，得到恢复特征图像C2；
边缘强化模块：对恢复特征图像进行三层卷积处理，通过残差块结构实现边缘强化，记作边缘强化模块BM1；对三层卷积处理结果进行四层卷积处理，同样根据残差块结构实现边缘强化，记作边缘强化模块BM2；
注意力机制模块：将恢复特征图像C2和边缘强化模块BM2输出映射分别作为低层高分辨率低语义特征和高层低分辨率高语义特征输入“注意力机制”融合语义特征；
多特征融合模块：使用多特征融合模块融合四层卷积处理结果、边缘强化模块BM1处理结果、注意力机制处理结果进行输出；
反卷积还原模块：使用由三个反卷积层级联而成的反卷积还原模块，将融合结果还原至原始输入的分辨率大小。


2.一种基于空洞残差和注意力机制的全卷积语义分割方法，包括以下步骤：
1)读取原始图像后，进行一层卷积处理，通过第一层卷积提取图像中物体形状特征；
2)将预处理后的图像分成数个子区域，此例为4个，使用金字塔池化模型(PPM)进行金字塔池化；
3)在金字塔池化模块每一个层级后引入一个1×1的二层卷积实现通道降维；
4)通过对应倍率的双线性插值恢复图像分辨率，得到恢复特征图像C2；
5)对恢复特征图像进行三层卷积处理，通过残差块结构实现边缘强化，记作边缘强化模块BM1；对三层卷积处理结果进行四层卷积处理，同样根据残差块结构实现边缘强化，记作边缘强化模块BM2；
6)将步骤4)得到的二层卷积处理结果，即恢复特征图像C2和边缘强化模块BM2输出映射分别作为低层高分辨率低语义特征和高层低分辨率高语义特征输入“注意力机制”融合语义特征；
7)使用多特征融合模块融合四层卷积处理结果、边缘强化模块BM1处理结果、注意力机制处理结果进行输出；
8)使用由三个反卷积层级联而成的反卷积还原模块，将融合结果还原至原始输入的分辨率大小。


3.根据权利要求2所述的基于空洞残差和注意力机制的全卷积语义分割方法，其特征在于，在所述步骤2)中，包括以下步骤：
21)首先确定金字塔池化层数，将金字塔池化层分成多层；
22)对金字塔池化层从顶端到底端进行4路池化，分别为全局池化、1/2池化、1/4池化、1/8池化；
23)将特征图分为多个子区域，在不同位置使用不同池化层表示。


4.根据权利要求2所述的基于空洞残差和注意力机制的全卷积语义分割方法，其特征在于，在所述步骤5)中，包括以下步骤：
51)利用卷积模块(conv3)处理恢复特征图像C2，得到特征图像三C3；
52)利用卷积模块(conv4)处理特征图像C3，得到特征图像四C4；
53)使用特定卷积步长和扩张率的空洞卷积对输入边缘强化模块的图像进行处理，例如卷积步长为1，扩张率d＝2，维持空洞卷积的感受野不变，得到和输入特征图像一致分辨率的输出；所述输入边缘强化模块的图像为步骤51)得到的特征图像三C3或步骤52)得到的特征图像四C4；
54)调用非线性激活函数进行非线性建模；
55)重复53)步骤，将输出记为CB；
56)利用残差块结构，令Im表示粗糙的输入特征，令R(Im)表示残差分支，残差分支由步骤53)、步骤54)、步骤55)串联组成，定义Om＝Im+R(Im)，表示粗糙的输入特征和残差分支相加结果为边缘增强后的特征映射Om，促使残差分支学习物体边缘，保留更多底层信息；
57)分别对步骤51)中输出特征图像三C3和步骤52)中输出特征图像四C4进行步骤53)、步骤54)、步骤55)、步骤56)所述的边缘特征强化，得到强化后的强化特征图像B1和强化特征图像B2。


5.根据权利要求4所述的基于空洞残差和注意力机制的全卷积语义分割方法，其特征在于，在所述步骤53)中，感受野计算公式为：RFl＝RFl-1+(fl-1)×sl-1×dl，l为神经元的层数，RFl-1为第l-1层神经元的感受野，RFl为其最后一层感受野，fl为卷积核...

【专利技术属性】
技术研发人员：李庆武，陆秋雨，陈俊锋，丁成龙，周清楷，周亚琴，马云鹏，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32