基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统技术方案

本发明专利技术涉及基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统，其方法包括步骤：S1、获取图像，对图像进行预处理，得到输入图像；S2、构建语义分割网络，语义分割网络包含上下文信息聚合模块和两阶段可分离卷积模块；S3、对语义分割网络进行训练，得到训练后的语义分割网络；S4、利用训练后的语义分割网络对输入图像进行处理，得到语义分割结果图。本发明专利技术引入了多尺度上下文并行聚合模块，在提高少量参数量的前提下均衡地提升了单向架构在大多数类别上的分割精度，在降低尽量少的分割精度的情况下，提高了语义分割网络整体的推断效率，还引入了辅助分支损失函数提升语义分割网络训练时的收敛速度，并且该分支不影响推断过程的推断速度。程的推断速度。程的推断速度。

【技术实现步骤摘要】
基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统


[0001]本专利技术涉及图像处理
，尤其涉及基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统。

技术介绍

[0002]计算机视觉作为深度学习技术落地到现实生活中的重要应用领域之一，主要关注于如何区分一幅图像所表示的物体类别，即图像分类，或是如何分类并定位出处于同一幅图像内的多个目标，即目标识别。而随着图像数据量的大规模增长和应用复杂性的不断提高，人们要求计算机不仅能够从高层次上理解一幅图像表示了什么物体，还要能够站在低层次的角度理解每个像素分别对应了什么类别，这给计算机视觉研究提出了新的挑战。得益于硬件计算能力的飞速提高，对图像的像素级分析已经成为可能，基于深度学习技术的语义分割算法也应运而生。
[0003]通俗来说，语义分割指的是在给定一幅图像的条件下，为每个像素点赋予一个类别标签，使得属于同一个类别的像素聚类为一个独立的语义实体的过程。作为图像分割的一个子领域，可以从数学的角度将语义分割视为一类边缘分割的图像处理技术，也可以从统计学的角度将其视为一种聚类方法。但相比基于Sobel算子等传统图像处理方法的边缘检测而言，后者仅仅利用了一阶导数或二阶梯度等数学信息对像素值发生跃迁或渐变的区域进行识别，而前者在此基础上还对像素之间的信息关联进行了上下文建模，使得分割结果呈现语义化的特征，从而能够适应于现实语境下的应用场景。
[0004]现有的神经网络结构大多聚焦于如何通过加深网络层数来提高准确率，以及如何在网络深度较大的前提下对其进行有效训练，而已有的轻量级网络大多以图像分类任务作为性能指标的评估标准。由于语义分割的像素级输出非常适合作为其他下游任务的前处理步骤，所以分割模型常常需要被部署到移动端或嵌入式设备端。受制于这些端侧设备有限的计算能力与功耗瓶颈，高精度的语义分割模型很难有效落地，而通过牺牲少量精度来大幅提升计算效率的轻量级模型却能大放异彩。

技术实现思路

[0005]为解决现有技术所存在的技术问题，本专利技术提出一种基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统，引入了多尺度上下文并行聚合模块，在提高少量参数量的前提下较为均衡地提升了单向架构在大多数类别上的分割精度，提出了一种适用于编码器
‑
解码器架构的深度可分离解码器，在降低尽量少的分割精度的情况下，大幅提高了语义分割网络整体的推断效率，此外，还引入了辅助分支损失函数用于提升语义分割网络训练时的收敛速度，并且该分支不影响推断过程的推断速度。
[0006]本专利技术方法采用以下技术方案来实现：基于上下文信息聚合和辅助学习的轻量级语义分割方法，包括以下步骤：
[0007]S1、获取图像，对图像进行预处理，得到输入图像；
[0008]S2、构建语义分割网络，语义分割网络包含上下文信息聚合模块和两阶段可分离卷积模块；
[0009]S3、对语义分割网络进行训练，得到训练后的语义分割网络；
[0010]S4、利用训练后的语义分割网络对输入图像进行处理，得到语义分割结果图；
[0011]步骤S3中对语义分割网络进行训练的具体过程如下：
[0012]S31、通过对输入的训练图像进行预处理得到输入图像和真实标记图像；
[0013]S32、通过使用语义分割网络对输入图像进行特征提取和处理得到输入图像的语义分割图像；
[0014]S33、通过交叉熵损失函数对语义分割图像和真实标记图像GT进行损失计算，得到交叉熵损失；
[0015]S34、通过将下采样卷积层输出的特征图输入第一辅助分支进行加权辅助损失函数计算，得到加权的第一辅助分支损失，通过特征融合输出的特征图输入第二辅助分支进行损失函数计算，得到加权的第二辅助分支损失；
[0016]S35、根据交叉熵损失函数、第一加权辅助分支损失函数和第二加权辅助分支损失函数，得到总损失函数；
[0017]S36、通过总损失函数对语义分割网络模型进行优化。
[0018]本专利技术系统采用以下技术方案来实现：基于上下文信息聚合和辅助学习的轻量级语义分割系统，包括：
[0019]图像获取模块：用于获取图像，对图像进行预处理，得到输入图像；
[0020]语义分割网络构建模块：用于构建语义分割网络，语义分割网络包含上下文信息聚合模块和两阶段可分离卷积模块；
[0021]语义分割网络训练模块：用于对语义分割网络进行训练，得到训练后的语义分割网络；
[0022]语义分割结果图获取模块：利用训练后的语义分割网络对输入图像进行处理，得到语义分割结果图；
[0023]语义分割网络训练模块的具体训练过程如下：
[0024]通过对输入的训练图像进行预处理得到输入图像和真实标记图像；
[0025]通过使用语义分割网络对输入图像进行特征提取和处理得到输入图像的语义分割图像；
[0026]通过交叉熵损失函数对语义分割图像和真实标记图像GT进行损失计算，得到交叉熵损失；
[0027]通过将下采样卷积层输出的特征图输入第一辅助分支进行加权辅助损失函数计算，得到加权的第一辅助分支损失，通过特征融合输出的特征图输入第二辅助分支进行损失函数计算，得到加权的第二辅助分支损失；
[0028]根据交叉熵损失函数、第一加权辅助分支损失函数和第二加权辅助分支损失函数，得到总损失函数；
[0029]通过总损失函数对语义分割网络模型进行优化。
[0030]本专利技术与现有技术相比，具有如下优点和有益效果：
[0031]1、本专利技术通过对Fast
‑
SCNN轻量级语义分割网络进行改进，结合交叉熵损失和新建的第一辅助分支网络和第二辅助分支网络计算第一辅助分支损失和第二辅助分支损失，并以交叉熵损失加上权重辅助分支损失共同监督语义分割网络的训练和学习过程，保留了特征提取的优势，有效提升了单向架构网络在训练阶段的收敛速度，避免梯度消失。
[0032]2、本专利技术基于金字塔池化结构SPP提出了一种基于多尺度池化的上下文并行聚合模块，在几乎不损失推理效率的前提下提高了语义分割网络模型在特征提取阶段对特征图上下文信息的整合能力，提高了网络的推断性能。
[0033]3、本专利技术基于深度可分离卷积提出了一种适用于编码器
‑
解码器架构的深度可分离解码器模型，在牺牲了少量分割精度的前提下大幅提高了语义分割网络模型整体的推理效率。
附图说明
[0034]图1是本专利技术的方法流程图；
[0035]图2是语义分割网络训练流程图；
[0036]图3是基于多尺度的上下文信息聚合模块示意图；
[0037]图4是深度可分离解码器模块结构示意图；
[0038]图5是辅助分支损失的网络结构示意图；
[0039]图6是本专利技术的系统结构框图；
[0040]图7(a)是输入图片示意图；
[0041]图7(b)是输出的语义图像示意图；
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于上下文信息聚合和辅助学习的轻量级语义分割方法，其特征在于，包括以下步骤：S1、获取图像，对图像进行预处理，得到输入图像；S2、构建语义分割网络，语义分割网络包含上下文信息聚合模块和两阶段可分离卷积模块；S3、对语义分割网络进行训练，得到训练后的语义分割网络；S4、利用训练后的语义分割网络对输入图像进行处理，得到语义分割结果图；步骤S3中对语义分割网络进行训练的具体过程如下：S31、通过对输入的训练图像进行预处理得到输入图像和真实标记图像；S32、通过使用语义分割网络对输入图像进行特征提取和处理得到输入图像的语义分割图像；S33、通过交叉熵损失函数对语义分割图像和真实标记图像GT进行损失计算，得到交叉熵损失；S34、通过将下采样卷积层输出的特征图输入第一辅助分支进行加权辅助损失函数计算，得到加权的第一辅助分支损失，通过特征融合输出的特征图输入第二辅助分支进行损失函数计算，得到加权的第二辅助分支损失；S35、根据交叉熵损失函数、第一加权辅助分支损失函数和第二加权辅助分支损失函数，得到总损失函数；S36、通过总损失函数对语义分割网络模型进行优化。2.根据权利要求1所述的基于上下文信息聚合和辅助学习的轻量级语义分割方法，其特征在于，步骤S1中对图像进行预处理的具体过程如下：S11、将Cityscapes数据集的训练集用于训练，验证集作为测试集，Cityscapes数据集由道路、交通灯、卡车19个类别组成；S12、对获取的图像进行图像增强操作，并将处理后的图像缩放为512*1024的图块得到输入图像，且对图像的真实标记图进行除归一化和填充的操作外相同的增强操作得到和输入图像相同大小的GT图；S13、对所有训练图像进行图像增强，介于0.5和2.0之间倍数的随机放缩操作、最大不超过75％的随机裁剪操作、随机翻转操作、归一化操作，以及图像填充操作。3.根据权利要求1所述的基于上下文信息聚合和辅助学习的轻量级语义分割方法，其特征在于，步骤S2中采用Fast
‑
SCNN网络构建语义分割网络，引入上下文信息聚合模块和两阶段深度可分离解码器；并引入辅助分支，在下采样卷积层引入第一辅助损失分支，在特征融合模块引入第二辅助损失分支。4.根据权利要求1所述的基于上下文信息聚合和辅助学习的轻量级语义分割方法，其特征在于，步骤S33中交叉熵损失的计算公式如下：其中，M表示类别数；y为one
‑
hot变量；log是以e...

【专利技术属性】
技术研发人员：李展，姚庚奇，钟晓键，吕吉雅，赵祎明，
申请(专利权)人：暨南大学，
类型：发明
国别省市：