一种基于编解码结构的图像语义分割方法技术

本发明专利技术提供一种图像语义分割方法，属于图像处理技术领域。本发明专利技术基于编解码网络架构并采用多尺度特征融合的方法，将模型分为编码器和解码器两部分，编码器部分包括常规特征提取分支和边缘分支，常规特征提取分支是标准的分割网络，边缘分支通过引入残差结构、门控卷积和Canny算子将注意力只关注在边缘轮廓部分，解码器部分采用多路径优化网络结构，在整个语义分割网络内部形成了短距离连接的同时，还与特征提取网络形成了长距离的连接，不仅有助于网络训练，还能让梯度有效传递回网络中，最终得到图像的语义分割图像。本发明专利技术提高了低能见度图像语义分割中的边缘轮廓的学习效果和分割精度，提升最终语义分割的精度。提升最终语义分割的精度。提升最终语义分割的精度。

【技术实现步骤摘要】
一种基于编解码结构的图像语义分割方法


[0001]本专利技术属于图像处理、模式识别和机器视觉
，涉及图像语义分割模型技术，尤其涉及一种融合边缘优化模块的图像语义分割方法，构建在低能见度图像图像清晰化后进行边缘语义分割的网络模型，有效地提高了清晰化后的低能见度图像边缘轮廓的分割精度。

技术介绍

[0002]近年来，随着计算机视觉算法不断发展，图像语义分割算法在环境感知方面产生了大量的研究成果与应用，这些成果与应用大都基于可见光采集到的能见度良好的清晰图像。当处于低能见度环境中时，采集到的低能见度图像清晰度很差，这严重限制了图像的分割精度，更重要的是清晰化后的低能见度图像无法对边缘轮廓进行精确分割。因此，利用机器学习的方法解决在低能见度图像上进行语义分割的问题，成为了近年来研究的热点问题。
[0003]目前针对编码器解码器结构的语义分割模型已经在图像语义分割领域有了较多的应用，但是在处理低能见度图像清晰化后的图像边缘轮廓特征提取问题时通常需要复杂的推理机制或网络架构。而基于多尺度特征融合的语义分割模型为解决低能见度图像边缘轮廓特征不清本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像语义分割方法，其特征在于：建立用于低能见度图像语义分割的两分支卷积神经网络结构，包括常规特征提取分支与边缘分支；利用门控卷积层连接两种分支的中间层，使用常规特征提取分支中的高级别的激活来控制边缘分支中的低级别的激活；再利用二元交叉熵损失函数计算边缘分支的损失来监督学习轮廓信息，并与常规特征提取分支中的损失函数共同优化模型的分割效果；最后通过多路径优化的网络中的链式残差池化模块和融合模块进行解码，由此达到对低能见度图像的边缘清晰化处理与语义分割，包括如下步骤：步骤1)将低能见度的图像数据集分成训练集、测试集；构建融合边缘优化模块的语义分割模型；执行步骤2)～4)：步骤2)建立编码器部分，具体包括：2.1常规特征提取分支部分使用ResNet相似的体系结构实现对图像常规特征进行提取；常规特征提取分支R
θ
(I)具有参数θ，输入为高度H和宽度W的图像I∈R3×
H
×
W
，输出像素特征，输出的特征表示为其中m是常规特征提取分支的步长，根据输出特征图的分辨率，将ResNet层自然划分为4个块，步长设置为m；2.2利用门控卷积层使常规体征提取分支的高级别的激活来控制边缘分支中的低级别的激活，具体包括；2.2.1边缘分支S
φ
具有参数φ，输入为图像梯度以及常规特征提取分支第一个卷积层的输出，输出为生成的语义边界，边缘分支的输出边界图为s∈R
H
×
W
；2.2.2常规特征提取分支和边缘分支并行处理，两个分支之间通过门控卷积层进行合作，边缘分支通过残差结构、门控卷积层和监督学习将注意力只关注在边缘轮廓部分；2.2.3采用Canny算子计算图像的梯度，对图像边缘进行检测，将检测到的边缘信息与边缘分支的输出进行融合，并与常规特征提取分支的输出一起作为解码器的输入；2.3边缘分支的门控卷积层，执行的操作如下：2.3.1门控卷积层处理的常规特征提取分支和边缘分支的中间表示分别为r
t
和s
t
，t为位置编号，t∈0，1，L，首先将r
t
和s
t
通过级联进行连接，然后通过归一化的1
×
1卷积层C1×1和Sigmoid函数δ，得到注意力图α
t
∈R
H
×
W
，α
t
＝δ(C1×1(s
t
||r
t
))
ꢀꢀꢀ
式12.3.2给定注意力图α
t
，将门控卷积层作为具有注意图α
t
的元素方式乘积应用于s
t
，然后进行残差连接并使用核w
t
进行通道方式加权，在每个像素(i，j)上的计算表示为式2：2.3.3将输入到边缘分支中的下一层继续...

【专利技术属性】
技术研发人员：于重重，厉舒南，冯文彬，谢涛，田昊，
申请(专利权)人：中煤科工集团沈阳研究院有限公司，
类型：发明
国别省市：