基于边界增强的语义分割模型的训练方法技术

本申请提供一种基于边界增强的语义分割模型的训练方法

【技术实现步骤摘要】
基于边界增强的语义分割模型的训练方法、装置和设备


[0001]本申请涉及一种基于边界增强的语义分割模型的训练方法
、
装置和设备，属于图像处理

。

技术介绍

[0002]遥感图像是通过遥感技术获取的地球表面的图像，其具有很高的分辨率
。
遥感图像可以用于许多应用领域，例如地理信息系统
、
环境监测
、
农业和城市规划等
。
为了从遥感图像中提取并划分出具有不同语义类别的区域，一般需要利用网络模型来对遥感图像进行语义分割
。
语义分割指的是对遥感图像中每一个像素点进行分类
,
确定每个点的类别
(
如属于背景
、
人或车等
),
从而进行区域划分
。
[0003]语义分割过程中涉及边界的检测，也即需要确定相邻语义类别的区域的分界
。
对于高分辨率遥感图像，其内容都是较大场景，而较大场景总是包含更复杂的地面信息和丰富的细节信息，又因为地面对象的多样性和复杂性，高分辨率遥感图像往往表现出大的类内差异和小的类间差异，现有方法不能很好地区分高分辨率遥感图像中相邻的语义目标，除此之外，现有方法主要关注于边界的检测，而忽略了边界与语义上下文之间的关系，从而导致遥感图像语义分割的性能受到限制
。

技术实现思路

[0004]本申请提供一种基于边界增强的语义分割模型的训练方法
、
装置和设备，以解决相关技术中忽略了边界与语义上下文之间的关系，从而导致遥感图像语义分割的性能受到限制的问题
。
[0005]第一方面，本申请实施例提供一种基于边界增强的语义分割模型的训练方法，其包括：获取图像样本，并对所述图像样本进行特征提取，得到多个层级的图像特征；其中，所述图像样本为包括分割标签的遥感图像，所述多个层级的图像特征包括对所述图像样本进行下采样得到的第一层级特征
、
对所述第一层级特征进行下采样得到的第二层级特征
、
对所述第二层级特征进行下采样得到的第三层级特征
、
对所述第三层级特征进行空洞卷积得到的第四层级特征以及对所述第四层级特征进行空洞卷积得到的第五层级特征；基于所述第一层级特征
、
所述第二层级特征和所述第五层级特征，提取对应层级的边界特征，并将不同层级的边界特征进行拼接，得到边界信息，以及基于各层级的边界特征和边界标签计算边界损失；其中，所述边界标签基于所述分割标签进行拉普拉斯卷积得到；对所述第三层级特征
、
所述第四层级特征和所述第五层级特征进行特征融合得到多层级融合特征；利用所述边界信息对所述多层级融合特征进行增强，并将增强结果与所述第五层级特征进行融合，得到预测结果，以及基于所述预测结果和所述分割标签计算分割损失；
以所述边界损失和所述分割损失作为模型损失，并以所述模型损失小于设定阈值为目标，对特征提取和特征融合过程中所使用的网络模型的各参数进行训练，得到遥感图像的语义分割模型
。
[0006]基于以上的方法，可选地，所述基于所述第一层级特征
、
所述第二层级特征和所述第五层级特征，提取对应层级的边界特征，并将不同层级的边界特征进行拼接，得到边界信息，包括：分别将所述第二层级特征和所述第五层级特征上采样到与所述第一层级特征相同的尺寸；分别对所述第一层级特征
、
上采样后的所述第二层级特征和上采样后的所述第五层级特征进行边界特征提取，得到对应层级的边界特征；将各层级的所述边界特征按照通道维度进行特征拼接，得到边界信息
。
[0007]基于以上的方法，可选地，基于各层级的边界特征和边界标签计算边界损失，包括：将各层级的边界特征的通道维度转换为1，并对转换结果求和，得到预测边界结果；对边界标签分别进行步长为
1、2
和4的拉普拉斯卷积，得到第一标签分支
、
第二标签分支和第三标签分支；分别将所述第二标签分支和第三标签分支上采样到与所述第一标签分支相同的尺寸，并将所述第一标签分支
、
上采样后的第二标签分支和上采样后的第三标签分支按照通道维度进行拼接，得到二值边界标签；采用二值交叉熵算法，基于所述预测边界结果和所述二值边界标签计算得到边界损失
。
[0008]基于以上的方法，可选地，所述对所述第三层级特征
、
所述第四层级特征和所述第五层级特征进行特征融合得到多层级融合特征，包括：基于门融合算法，对所述第四层级特征和所述第五层级特征进行特征融合，得到融合特征；基于门融合算法，对所述融合特征和所述第三层级特征进行特征融合，得到多层级融合特征
。
[0009]基于以上的方法，可选地，所述基于门融合算法，对所述第四层级特征和所述第五层级特征进行特征融合，得到融合特征，包括：将所述第四层级特征和所述第五层级特征按照通道维度进行拼接，并对拼接结果进行预设卷积操作，得到卷积结果；利用
Sigmoid
激活函数作为门函数，对所述卷积结果进行处理，并将处理结果进行全局平均池化，得到控制门；基于所述控制门确定所述第四层级特征和所述第五层级特征的权重，并对所述第四层级特征和所述第五层级特征进行加权求和，得到融合特征
。
[0010]基于以上的方法，可选地，所述利用所述边界信息对所述多层级融合特征进行增强，并将增强结果与所述第五层级特征进行融合，得到预测结果，包括：将所述边界信息和所述多层级融合特征相乘，得到增强后的多层级融合特征；
对所述第五层级特征进行上采样，并与所述增强后的多层级融合特征相加，得到预测结果
。
[0011]基于以上的方法，可选地，所述基于所述预测结果和所述分割标签计算分割损失，包括：采用交叉熵损失算法计算，基于所述预测结果和所述分割标签计算分割损失
。
[0012]第二方面，本申请实施例还提供一种基于边界增强的语义分割模型的训练装置，其包括：特征提取模块，用于获取图像样本，并对所述图像样本进行特征提取，得到多个层级的图像特征；其中，所述图像样本为包括分割标签的遥感图像，所述多个层级的图像特征包括对所述图像样本进行下采样得到的第一层级特征
、
对所述第一层级特征进行下采样得到的第二层级特征
、
对所述第二层级特征进行下采样得到的第三层级特征
、
对所述第三层级特征进行空洞卷积得到的第四层级特征以及对所述第四层级特征进行空洞卷积得到的第五层级特征；边界提取模块，用于基于所述第一层级特征
、
所述第二层级特征和所述第五层级特征，提取对应层级的边界特征，并将不同层级的边界特征进行拼接，得到边界信息，以及基于各层级的边界特征和边界标签计算边界损失；其中，所述边界标签基于所述分割标签进行拉普拉斯卷积得到；特征融合模块，用于对所述第三层级特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于边界增强的语义分割模型的训练方法，其特征在于，包括：获取图像样本，并对所述图像样本进行特征提取，得到多个层级的图像特征；其中，所述图像样本为包括分割标签的遥感图像，所述多个层级的图像特征包括对所述图像样本进行下采样得到的第一层级特征
、
对所述第一层级特征进行下采样得到的第二层级特征
、
对所述第二层级特征进行下采样得到的第三层级特征
、
对所述第三层级特征进行空洞卷积得到的第四层级特征以及对所述第四层级特征进行空洞卷积得到的第五层级特征；基于所述第一层级特征
、
所述第二层级特征和所述第五层级特征，提取对应层级的边界特征，并将不同层级的边界特征进行拼接，得到边界信息，以及基于各层级的边界特征和边界标签计算边界损失；其中，所述边界标签基于所述分割标签进行拉普拉斯卷积得到；对所述第三层级特征
、
所述第四层级特征和所述第五层级特征进行特征融合得到多层级融合特征；利用所述边界信息对所述多层级融合特征进行增强，并将增强结果与所述第五层级特征进行融合，得到预测结果，以及基于所述预测结果和所述分割标签计算分割损失；以所述边界损失和所述分割损失作为模型损失，并以所述模型损失小于设定阈值为目标，对特征提取和特征融合过程中所使用的网络模型的各参数进行训练，得到遥感图像的语义分割模型
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述第一层级特征
、
所述第二层级特征和所述第五层级特征，提取对应层级的边界特征，并将不同层级的边界特征进行拼接，得到边界信息，包括：分别将所述第二层级特征和所述第五层级特征上采样到与所述第一层级特征相同的尺寸；分别对所述第一层级特征
、
上采样后的所述第二层级特征和上采样后的所述第五层级特征进行边界特征提取，得到对应层级的边界特征；将各层级的所述边界特征按照通道维度进行特征拼接，得到边界信息
。3.
根据权利要求1所述的方法，其特征在于，所述基于各层级的边界特征和边界标签计算边界损失，包括：将各层级的边界特征的通道维度转换为1，并对转换结果求和，得到预测边界结果；对边界标签分别进行步长为
1、2
和4的拉普拉斯卷积，得到第一标签分支
、
第二标签分支和第三标签分支；分别将所述第二标签分支和第三标签分支上采样到与所述第一标签分支相同的尺寸，并将所述第一标签分支
、
上采样后的第二标签分支和上采样后的第三标签分支按照通道维度进行拼接，得到二值边界标签；采用二值交叉熵算法，基于所述预测边界结果和所述二值边界标签计算得到边界损失
。4.
根据权利要求1所述的方法，其特征在于，所述对所述第三层级特征
、
所述第四层级特征和所述第五层级特征进行特征融合得到多层级融合特征，包括：基于门融合算法，对所述第四层级特征和所述第五层级特征进行特征融合，得到融合特征；基于门融合算法，对所述融...

【专利技术属性】
技术研发人员：弭宝瞳，段四波，高彩霞，
申请(专利权)人：中国农业科学院农业资源与农业区划研究所，
类型：发明
国别省市：