一种基于差异化上下文的图像语义分割方法及系统技术方案

本发明专利技术公开了一种基于差异化上下文的图像语义分割方法及系统，涉及人工智能的图像处理与机器视觉技术领域

【技术实现步骤摘要】
一种基于差异化上下文的图像语义分割方法及系统


[0001]本专利技术涉及人工智能的图像处理与机器视觉
，具体为一种基于差异化上下文的图像语义分割方法及系统
。

技术介绍

[0002]图像分割是图像处理中一项重要的任务，是计算机视觉的重要组成部分
。
它将图像划分为视觉上几个有意义的区域，是一个像素级的解析过程
。
目前图像分割可以根据将像素划分为类别
、
对象还是二者兼得，分为语义分割
、
实例分割
、
全景分割
。
[0003]语义分割是使用语义标签对像素进行分类，对一组对象的类别执行像素级标注，在场景理解
、
医学图像分析
、
机器人感知和视频监控等领域得到了广泛应用
。
早期的大多数方法基于图像的特征，如基于阈值的分割
、
基于区域的分割
、
基于形状的分割等，然而这些方法都有自己适应的领域和设定好的参数，在不同的数据集上泛化性受到限制，并且可能由于拍本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于差异化上下文的图像语义分割的系统，其特征在于：包括
MCCM
模块和
MSNS
模块，还包括特征编码结构
、
差异化信息融合结构和全尺度特征解码结构；所述
MCCM
模块用于融合孤立
、
局部
、
不同尺度的远程特征图信息，以自注意力的方式挖掘上下文信息，为产生差异化信息提供良好的前提；所述差异化信息融合结构融合配合
MSNS
模块产生的差异化信息，用于在恢复图像分辨率时，避免融合上采样后的特征图带来的特征信息差距小，冗余信息多；所述全尺度解码结构，用于避免深度特征利用不高的问题
。2.
根据权利要求1所述的一种基于差异化上下文的图像语义分割系统，其特征在于：所述
MCCM
模块的设置至少包括：首先将输入的特征图映射为语义通道作为输入，通过提出的多尺度键融合模块，融合孤立键
、
局部键
、
不同程度的远程键的上下文信息，得到具有丰富静态上下文信息的特征图
K1，同时捕获了长距离依赖；通过静态上下文键
K1和查询
Q
在通道上合并，共同查询上下文；权重矩阵通过两个连续的1×1的卷积得到；其次将
V
通过1×1的卷积对通道进行筛选，通过聚合
V
来参与动态上下文
K2的计算；最后，动态上下文，将静态上下文
K1和动态上下文
K2进行逐元素相加后输出；所述
MCCM
模块表示如下：
K/Q/V
＝
Head(
χ
)K1＝
MSKF(k)Attention
＝
TWConv
1x1
(Concat(K1,Q))F
out
＝
K1+K2其中，
Concat(.)
表示输入的特征图在通道上拼接，
TWConv
1x1
(.)
表示连续经过两次卷积核大小1为的卷积，其中第一次卷积的结果经过
Relu
函数激活，第二次则没有
。3.
根据权利要求2所述的一种基于差异化上下文的图像语义分割系统，其特征在于：所述多尺度键融合模块表示如下：
F
f
＝
Conv1×1(F
in
)F
i
＝
PWC(DWC
k
×
k
，
r
(DWC3×3(F
f
)))F
u
＝
abs(F1‑
F2‑
F3)
其中，
F
in
F
in
表示将输入的二维特征映射后的
K
，
DWC
k
×
k
，
r
表示卷积核大小为
k,
扩张系数为
r
的
Depth
‑
wise Convolution
；
PWC(.)
表示
Point
‑
wise Convolution
；表示
Element
‑
wise Mutiplication
，表示
Element
‑
wise Addition
；所述多尺度键融合模块的设置至少包括：首先通过1×1的卷积，过滤掉不重要的通道信息；使用卷积核大小为3的
DWC
提取局部上下文信息，分别通过5×5，扩张系数为2的
DWC
和7×7，扩张系数为3的
DWC
以及9×9，扩张系数为4的
DWC
提取不同程度的远程上下文信息，同时弥补传统自注意力和缺乏捕获长依赖的不足；为防止特征融合带来的信息冗余，选择逐元素相减融合提取的远程上下文信息；经过
PWC
选择通道上重要的信息后，获取融合多尺度信息的权重矩阵，和通道筛选后的特征图相乘，使得网络关注感兴趣的重要区域并抑制不
重要的信息；最后，将输入以残差的方式逐元素相加，防止网络过深而丢失信息
。4.
根据权利要求1所述的一种基于差异化上下文的图像语义分割系统，其特征在于：所述
MSNS
模块的设置至少包括：根据特征图的空间大小不一致，首先将深层特征图通过双线性插值恢复到浅层的图像分辨率，和高层的特征图一起作为输入；两个特征图通过不同大小卷积核的
DWC
提取特征，产生不同域范围的特征图，使用
DWC
可以在空间和通道上保持一定的独立关系，确保信息构建的独立性；使用
GN
进行组归一化，
Gelu
激活后，互为对称的卷积获得的特征图逐元素相减，产生区别于输入特征图的差异化信息；将三个相减之后的特征图逐元素相加，融合不同的差异化信息，通过卷积核大小为3的局部卷积提取融合后特征图中有价值的信息，确立该层模块位置和边缘特征，通过
BN
归一化，使用
ReLu
函数将一些无效特征置为零以减少对后续像素价值的影响，最后输出包含定位信息和边缘信息的矩阵；所述
MSNS
模块表达如下：
F
i
＝
abs(Gelu(Gn(DWC1×<...

【专利技术属性】
技术研发人员：李玉麟，肖汉光，彭科，夏清玲，时心怡，刘天琦，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：