一种基于自适应采样的图像语义分割方法及系统技术方案

本发明专利技术涉及一种基于自适应采样的图像语义分割方法及系统，属于计算机视觉技术领域。首先构建使用自适应采样的语义分割网络，然后使用语义高频损失函数和语义分割任务损失函数对语义分割深度卷积网络进行训练，最后利用训练好的自适应采样的语义分割网络对图像进行语义分割，得到细节丰富、边缘精准的分割结果。本发明专利技术利用自适应采样策略提高语义分割网络在下采样过程中保留关键区域细节信息的能力，并在上采样过程中利用多尺度局部信息优化上采样结果，使语义分割网络能够以极低的额外计算成本之下，大幅度提高其对图像关键区域细节的识别能力，得到精细准确且一致性较高的语义分割结果。义分割结果。义分割结果。

【技术实现步骤摘要】
一种基于自适应采样的图像语义分割方法及系统


[0001]本专利技术涉及一种对图像进行语义分割的方法和系统，具体涉及一种基于自适应采样的图像语义分割方法及系统，属于计算机视觉


技术介绍

[0002]语义分割，是将预定义的感兴趣类别同图片的每个像素相关联的一种计算机视觉技术。它需要计算机理解图像内容的语义信息，并密集地判定图像中每个像素是否属于某个感兴趣类别，可用于精确识别构成感兴趣目标的像素集合。例如，自动驾驶汽车场景中需要识别的车辆、行人和交通信号，遥感图像中的森林、河流和山地等。由于需要对图像进行密集预测，提取和保留图像中的细节内容以及高频信息，对于最终精度尤为重要。
[0003]采样，是指语义分割所使用的深度神经网络中的采样过程，包括下采样和上采样两类。其中，下采样是指降低深度神经网络中的特征图空间尺寸大小的过程，可以由空间池化层、带有步长的卷积层实现。上采样是指提升特征图空间尺寸大小的过程，可以由双线性插值，转置卷积层实现。
[0004]在语义分割深度神经网络中，一般由多个卷积块和下采样模块交替构成，从而逐渐降低本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应采样的图像语义分割方法，其特征在于，包括以下步骤：步骤1：构建自适应采样语义分割网络；自适应采样包括自适应下采样和自适应多尺度上采样，通过将普通语义分割深度神经网络中普通均匀下采样和上采样替换为适应下采样和自适应多尺度上采样，构建自适应采样的语义分割网络；步骤2：使用语义高频损失函数和语义分割任务损失函数，对语义分割深度卷积网络进行训练；步骤3：使用训练好的自适应采样的语义分割网络对图像进行语义分割，得到细节丰富、边缘精准的分割结果。2.如权利要求1所述的一种基于自适应采样的图像语义分割方法，其特征在于，步骤1中，自适应采样适用于语义分割模型；其中，自适应下采样，首先生成注意力图S：S＝Softmax(f
att
(X))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，X为输入特征图；f
att
为注意力生成器，用于优选金字塔空间池化层；然后，依据注意力图生成自适应采样坐标：u＝f
u
(i,j,S),v＝f
v
(i,j,S)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，u、v表示自适应采样的坐标；并约束：f
u
(0,j,S)＝0,f
u
(1,j,S)＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)f
v
(i,0,S)＝0,f
v
(i,1,S)＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，(i,j)为均匀二维坐标，它们通过坐标映射函数f
u
、f
v
映射为(u,v)自适应采样坐标：标：其中，(i
′
,j
′
)为周围像素位置，G为二维高斯函数；该坐标映射函数使具有高注意力值的像素将周围的采样坐标拉过来，使高注意力值区域得到更为密集的采样坐标，并完成非均匀采样：X
N
(i,j)＝X(u,v)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)其中，X
N
(i,j)为非均匀采样后的位于(i,j)坐标处的特征；X
N
的维度大小与输入X一致；最终，执行下采样完成自适应下采样的过程：X
′
＝Downsample(X
N
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)其中，X
′
为得到的自适应下采样特征；Downsample为下采样操作。3.如权利要求1所述的一种基于自适应采样的图像语义分割方法，其特征在于，步骤1中，自适应多尺度上采样，首先，使用非均匀上采样将自适应下采样特征上预测得到的分割结果上采样恢复到原始大小；然后，使用局部像素关系模块挖掘多尺度的局部信息，并优化上采样结果；其中，非均匀上采样使用Delaunay三角剖分以及重心坐标插值，将已知非均匀的自适
应采...

【专利技术属性】
技术研发人员：付莹，陈林蔚，郑德智，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：