基于类级上下文聚合的高分辨率遥感图像语义分割方法技术

本发明专利技术公开了一种基于类级上下文聚合的高分辨率遥感图像语义分割方法。本发明专利技术在图像语义分割任务中，通过全局类感知模块，有效提取高分辨率遥感图像中的全局类特征表示，减少图像背景噪声的干扰；进一步使用局部类感知模块，作为中间感知单元间接关联全局类特征表示，可应对类内方差大的问题。除此之外，本发明专利技术设计了多尺度架构，集成全局类感知模块和局部类感知模块，通过细化级联特征和融合多尺度特征，实现对不同尺度目标的有效分割。本发明专利技术应用上下文聚合机制，为高分辨率遥感图像分割任务提供一种新的解决方案，能够在提高语义分割性能的同时，降低任务的复杂度。降低任务的复杂度。降低任务的复杂度。

【技术实现步骤摘要】
基于类级上下文聚合的高分辨率遥感图像语义分割方法


[0001]本专利技术应用深度学习以及计算机视觉领域，具体涉及一种基于类级上下文聚合的高分辨率遥感图像语义分割方法。

技术介绍

[0002]遥感图像语义分割任务旨在预测遥感图像中每个像素所属的类别。在光学成像遥感技术有了长足发展的今天，在高质量、高分辨率的遥感图像上的语义分割能够为土地规划、资源管理等领域提出指导性意见。然而，与自然图像相比，遥感图像由于其本身固有的物体尺度变化大、背景复杂和类内方差大等特点，更难以得到良好的分割效果。
[0003]现有的基于CNN网络的语义分割方法注重于上下文建模，包括空间型上下文建模和关系型上下文建模两大类。空间型上下文建模的典型模型有PSPNet和DeepLabv3+等，它们分别使用空间金字塔池化和多尺度空洞卷积来聚合上下文信息。而对于关系型上下文聚合模型，NonLocal使用非局部块来计算单个像素点和所有像素点的关系，并在此基础上加权聚合图像级别的上下文信息；DANet则使用并行的空间注意力模块和通道注意力模块来聚合上下文信息。然而，对于拥有复杂背景的遥感图像而言，这些方法由于使用密集的注意力操作，引入了大量背景噪声，进而导致分割性能的下降。
[0004]最近的类级别上下文建模方法如ACFNet和OCRNet等通过捕获全局类表示来聚合类级上下文，这缓解了因密集注意力操作引入的复杂背景干扰问题，并在自然图像分割上获得了理想效果。但是遥感图像类内方差较大，直接使用全局类表示进行上下文建模将忽略类内方差而降低分割表现。
[0005]基于此，本专利技术使用全局类感知模块来捕获全局类表示，还进一步使用局部类感知模块以引入局部类表示，通过像素与局部类表示的相似度来加权聚合全局类表示，从而缓解了遥感图像中的背景复杂和类内方差大的问题。为了获得更好的分割效果，本专利技术设计了多尺度架构，集成全局类感知模块和局部类感知模块，通过细化级联特征和融合多尺度特征，实现对不同尺度目标的有效分割。此外，本专利技术所采用的类级上下文建模方法，通过特征映射与类映射的方式，不仅增强了信息交互，还有效缩减了特征表示以及全局类表示的通道数。换而言之，本专利技术在保证模型精度的同时显著减少了模型参数量和计算复杂度，在速度和精度之间实现了良好的平衡。

技术实现思路

[0006]本专利技术要解决的技术问题是如何捕获深度学习网络中各阶段特征信息的局部类表示和深层特征的全局类表示，通过类级上下文聚合来增强每个像素的特征表达能力，并提供一种基于类级上下文聚合的高分辨率遥感图像的语义分割方法。
[0007]本专利技术所采用的具体技术方案如下：
[0008]一种基于类级上下文聚合的高分辨率遥感图像语义分割方法，其具体做法为：将待语义分割的高分辨率遥感图像输入由编码器模块和解码器模块组成的语义分割模型中，
获得语义分割结果；
[0009]在所述编码器模块中，首先通过包含多个阶段的骨干网络提取遥感图像特征，得到每个阶段的特征表示，最后一个阶段特征表示作为深层特征表示；
[0010]在所述解码器模块中，包含一个全局类感知模块和多个级联的局部类感知模块，其中局部类感知模块的数量与骨干网络中的阶段数量相同，第i个局部类感知模块对应编码器中的第i个阶段；编码器模块中得到的深层特征表示首先输入全局类感知模块中提取全局类表示信息；然后将编码器中每个阶段的特征表示与全局类表示信息一起输入到相应阶段的局部类感知模块中，其中除最后一个阶段之外，骨干网络中其余每个阶段的特征表示在输入局部类感知模块之前需要与上一个阶段对应的局部类感知模块输出的对象上下文表示进行融合；最后，融合每个阶段对应的局部类感知模块输出的对象上下文表示，并上采样至与输入的遥感图像相同大小，得到遥感图像的语义分割结果；
[0011]所述全局类感知模块以所述深层特征表示作为输入，先对深层特征表示进行预分类操作得到全局类概率分布，并利用全局类概率分布聚合深层特征表示以得到全局类表示信息；
[0012]每个所述局部类感知模块均包含两个输入，第一个输入均为全局类感知模块产生的全局类表示信息，最后一个阶段对应的局部类感知模块的第二个输入为所述深层特征表示，其余任意第i个阶段对应的局部类感知模块的第二个输入为骨干网络中第i个阶段的特征表示和第i+1个阶段对应的局部类感知模块输出的融合特征；每个所述局部类感知模块的输出为一个对象上下文表示；在每个局部类感知模块中，首先将第二个输入分割成相同大小的多个局部块，同时对第二个输入进行预分类操作后按照与局部块相同的分割方式分割成得到相同大小的多个局部类概率分布，再使用注意力操作对局部类概率分布和局部块进行聚合以生成局部类信息表示，最后使用注意力操作对局部块和局部类信息表示进行聚合以得到亲和矩阵，使用注意力操作对亲和矩阵和全局类表示信息进行聚合，获得加强后的局部对象上下文信息，将局部对象上下文信息重新拼接得到作为局部类感知模块最终输出的对象上下文信息。
[0013]作为优选，所述骨干网络为ResNet
‑
50模型，且加载ImageNet数据集上学习得到的预训练权重。
[0014]作为优选，所述骨干网络的每一阶段代表ResNet
‑
50中的一个残差单元，共包含4个阶段，所述深层特征表示为第四个残差单元的输出。
[0015]作为优选，所述预分类操作由连续的两个1
×
1卷积实现。
[0016]作为优选，所述解码器模块中，局部类感知模块共有四个，其中前三个局部类感知模块的第二个输入中，主干网络输出的特征表示与下一个阶段对应的局部类感知模块输出的对象上下文表示均通过沿着通道方向拼接的方式进行融合。
[0017]作为优选，所述局部类感知模块中，将第二个输入的特征表示划分为4
×
4个局部块。
[0018]作为优选，所述语义分割模型在用于实际语义分割之前，预先利用标注后的训练数据进行训练。
[0019]作为优选，所述训练数据需进行数据增强。
[0020]作为优选，所述语义分割模型训练采用的损失函数均为交叉熵损失。
[0021]作为优选，所述高分辨率遥感图像的空间分辨率在1m以下。
[0022]本专利技术相对于现有技术而言，具有以下收益效果：
[0023]本专利技术公开了一种基于类级上下文聚合的遥感图像语义分割方法。本专利技术针对高分辨率遥感图像背景复杂，物体尺度变化大和类内方差大等问题，基于类型上下文聚合机制，在语义分割任务中引入全局类感知模块和局部类感知模块。本专利技术通过全局类感知模块生成全局类表示信息，并设计了局部类感知模块作为中间感知单元来间接关联全局类表示，从而实现遥感图像的类级上下文建模，有效缓解了背景复杂和类内方差大的问题。除此之外，本专利技术还基于多尺度信息融合的思想引入了多个级联的局部类感知模块以缓解遥感图像中物体尺度变化大的问题。本专利技术为基于上下文聚合机制的遥感图像分割任务提供一种新的解决方案，并且能够提高相应图像语义分割的性能。...

【技术保护点】

【技术特征摘要】
1.一种基于类级上下文聚合的高分辨率遥感图像语义分割方法，其特征在于：将待语义分割的高分辨率遥感图像输入由编码器模块和解码器模块组成的语义分割模型中，获得语义分割结果；在所述编码器模块中，首先通过包含多个阶段的骨干网络提取遥感图像特征，得到每个阶段的特征表示，最后一个阶段特征表示作为深层特征表示；在所述解码器模块中，包含一个全局类感知模块和多个级联的局部类感知模块，其中局部类感知模块的数量与骨干网络中的阶段数量相同，第i个局部类感知模块对应编码器中的第i个阶段；编码器模块中得到的深层特征表示首先输入全局类感知模块中提取全局类表示信息；然后将编码器中每个阶段的特征表示与全局类表示信息一起输入到相应阶段的局部类感知模块中，其中除最后一个阶段之外，骨干网络中其余每个阶段的特征表示在输入局部类感知模块之前需要与上一个阶段对应的局部类感知模块输出的对象上下文表示进行融合；最后，融合每个阶段对应的局部类感知模块输出的对象上下文表示，并上采样至与输入的遥感图像相同大小，得到遥感图像的语义分割结果；所述全局类感知模块以所述深层特征表示作为输入，先对深层特征表示进行预分类操作得到全局类概率分布，并利用全局类概率分布聚合深层特征表示以得到全局类表示信息；每个所述局部类感知模块均包含两个输入，第一个输入均为全局类感知模块产生的全局类表示信息，最后一个阶段对应的局部类感知模块的第二个输入为所述深层特征表示，其余任意第i个阶段对应的局部类感知模块的第二个输入为骨干网络中第i个阶段的特征表示和第i+1个阶段对应的局部类感知模块输出的融合特征；每个所述局部类感知模块的输出为一个对象上下文表示；在每个局部类感知模块中，首先将第二个输入分割成相同大小的多个局部块，同时对第二个输入进行预分类操作后按照与局部块相同的分割方式分割成得到相同大小的多个局部类概率分布，再使用注意力操作对局部类概率分布和局部块进行聚合以生成局部类信息表示，最后使用注意力操作对局部块和局部类信息表示进行聚合以得到亲和矩阵，使用注意力操作对亲和矩阵和全局类表示...

【专利技术属性】
技术研发人员：冯天，张微，马笑文，洪廷锋，马梦婷，
申请(专利权)人：浙江大学，
类型：发明
国别省市：