图像语义分割方法、系统及计算机存储介质技术方案

本发明专利技术公开了一种图像语义分割方法、系统及计算机存储介质，对输入图像进行预处理；使用卷积神经网络捕捉通用特征，并在其适当位置分别嵌入空间CNN和注意力模型；利用SCNN算法对所述的通用特征进行挖掘，获得深层次特征信息；通过注意力模型对得到的通用特征以及深层特征进行多尺度特征信息的提取；融合网络将SCNN算法与注意力模型得到的结果进行融合，生成最终预测的语义分割结果。该方法用于解决现有技术中存在的图像分辨率降低、难以正确识别和分割多尺度对象的问题，有利于提高语义分割网络的精确性。

【技术实现步骤摘要】
图像语义分割方法、系统及计算机存储介质
本专利技术涉及计算机视觉
，特别是一种图像语义分割方法、系统及计算机存储介质。
技术介绍
图像语义分割是计算机视觉中一个非常重要的领域，它可以根据图像中存在的语义含义对像素点进行分组，即标记每个像素点属于图像中的哪种对象类别。图像语义分割具有广泛的应用领域，如自动驾驶中的街景识别和理解、机器人视觉、环境建模等领域。目前，基于深度学习的语义分割方法是图像语义分割领域的主流技术，尤其是基于卷积神经网络(ConvolutionalNeuralNetworks，简称CNN)的语义分割方法已取得了显著的成功。然而，卷积神经网络结构自身存在着固有缺陷：重复的池化和下采样操作使得原始的输入图像在特征提取过程中不断降低特征图的分辨率，导致大量空间信息的丢失，这对网络的分割性能产生了严重的消极影响。为解决图像分辨率降低的问题，学者们提出了各种各样的解决方案。这些方案大致上可以分为3类：第一类方案是利用双线性插值、反池化等方法对特征图进行上采样操作，但上采样后的特征图并不能完全还原出原始图像中每个像素点的位置信本文档来自技高网...

【技术保护点】
1.一种图像语义分割方法，其特征在于，包括以下步骤：/n1)利用卷积神经网络获取预训练集图像的通用特征；/n2)将所述通用特征输入空间卷积神经网络，获取深层次特征信息，即特征图；/n3)将所述通用特征和所述特征图作为注意力模型的输入，得到权重图；/n4)融合所述特征图和所述权重图，生成语义分割模型；/n优选地，步骤4)之后，还包括：/n5)训练所述语义分割模型，得到最终的语义分割模型。/n

【技术特征摘要】
1.一种图像语义分割方法，其特征在于，包括以下步骤：
1)利用卷积神经网络获取预训练集图像的通用特征；
2)将所述通用特征输入空间卷积神经网络，获取深层次特征信息，即特征图；
3)将所述通用特征和所述特征图作为注意力模型的输入，得到权重图；
4)融合所述特征图和所述权重图，生成语义分割模型；
优选地，步骤4)之后，还包括：
5)训练所述语义分割模型，得到最终的语义分割模型。


2.根据权利要求1所述的图像语义分割方法，其特征在于，步骤1)之前，还进行如下操作，对所述训练集图像进行预处理；优选地，所述预处理包括：调整所述训练集图像的尺寸，并将每一幅调整后的训练集图像每一个像素点值减去该训练集图像的像素均值，得到预处理后的训练集图像。


3.根据权利要求1所述的图像语义分割方法，其特征在于，步骤2)中，获取所述特征图的具体实现过程包括：
2A)对所述通用特征按照设定方向进行卷积操作，提取所述特征图的深层特征，并获取所述设定方向的特征图；
2B)拼接步骤2A)获得的深层特征，得到最终的特征图；
其中，所述设定方向是指向下、向上、向右或向左中的一种或多种的组合，优选地，对所述通用特征依次按照向下、向上、向右和向左四个方向进行卷积操作；
优选地，步骤2A)的具体实现过程包括：
I)将所述通用特征表示为张量形式，按照向下方向对表示为张量形式的通用特征进行切片操作，获得多个切片；
II)对当前切片进行卷积操作，并将卷积操作后得到的结果输入激活函数，获得当前切片的输出结果；
III)合并当前切片的输出结果与下一切片，对于合并后的切片，执行步骤II)和步骤III)的操作；
IV)重复步骤III)，直至所有切片执行完毕。


4.根据权利要求1所述的图像语义分割方法，其特征在于，步骤3)中，所述权重图的获取过程包括：
3A)获取所述特征图的多尺度特征信息和所述通用特征的多尺度特征信息；
3B)融合所述特征图的多尺度特征信息和所述通用特征的多尺度特征信息，得到所述权重图。


5.根据权利要求4所述的图像语义分割方法，其特征在于，步骤3A)中，获取所述通用特征的多尺度特征信息之前，还对所述通用特征进行卷积操作，并利用Relu激活函数对卷积操作后的结果施加非线性因素，得到施加非线性因素的通用特征；
优选地，步骤3B)的具体实现过程包括：
A)连接所述通用特征的多尺度特征信息；
B)拼接步骤A)的连接结果与所述特征图的多尺度特征信息；
C)对步骤B)的拼接结果进行卷积操作，将卷积操作后的结果输入激活函数，得到所述权重图；
优选地，步骤A)中，连接所述通用特征的多尺度特征信息和所述施加非线性因素的通用特征。


6.根据权利要求1所述的图像语义分割方法，其特征在于，步骤4)的具体实现过程包括：
4A)将所述特征图与所述权重图相乘，相乘的结果与所述特征图相加；
4B)对步骤4A)得到的相加结果进行卷积操作，并对卷积操作后的结果进行正则化处理；
4C)对正则化处理后的结果进行卷积操作和上采样操作，得到语义分割模型。


7.根据权利要求1～6之一所述的图像语义分割方法，其特征在于，步骤5)的具体实现过程包括：利用反向传播算法更新步骤4)得到的所述语义分割模型的参数，同时计算所述语义分割模型与预先标注好的语义分割信息的交叉熵损失，当所述交叉熵损失满足预设的收敛条件时，固化满足所述收敛条件时的语义分割模型的参数，对应的语义分割模型即为最终的语义分割模型；优选地，利用F1-Mesure、准确率和mIoU衡量最终的语义分割模型的预测性能。

...

【专利技术属性】
技术研发人员：张大方，范海博，刁祖龙，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43