基于多任务注意力机制的高分辨率遥感图像地物提取方法技术

本发明专利技术公开了一种基于多任务注意力机制的高分辨率遥感图像地物提取方法。该方法基于多模态数据的特征融合思路，采用多任务架构将高分辨遥感图像的RGB通道和IR通道分别从多任务网络架构的两个分支同时输入，同时将多任务注意网络模块融合进入编码器部分中，旨在编码过程中能够充分结合来自RGB和IR通道的互补信息，形成用于分割的判别表示，增强注意力机制能力，由此大大提高了地物提取模型提取高分辨率遥感图像中地物目标的性能。率遥感图像中地物目标的性能。率遥感图像中地物目标的性能。

【技术实现步骤摘要】
基于多任务注意力机制的高分辨率遥感图像地物提取方法


[0001]本专利技术属于遥感影像处理领域，具体涉及一种从高分辨率遥感图像中提取地物的方法。

技术介绍

[0002]随着航空航天和传感器技术的快速发展，遥感图像的空间分辨率已经从米级向亚米级甚至更高水平突破，目前，通过高分系列卫星采集的亚米级高分辨率遥感图像已经为土地资源规划利用、公共安全监测、防灾减灾、环境保护等重要领域提供信息服务和数据支撑。
[0003]目前该领域的研究主要集中于对高分辨率遥感图像进行分类，相比于中、低分辨率遥感图像，高分辨率遥感图像拥有更加丰富和细致的空间信息、几何结构和纹理信息，目标更为清晰。因此大量高分辨率遥感图像被应用于国土规划、工程建设及抢险救灾等领域.高分辨率遥感图像包含丰富的场景语义信息，地物的多样性、空间分布的复杂性提高了数据集的类间相似性和类内多样性，给分类任务带来诸多挑战。
[0004]在业界，对于地物分类的方法主要有以下三种方法：
[0005](1)提取高分辨率遥感影像的手工特征作为低层局部特征；
[0006](2)对局部特征进行编码，能够描述高分辨率影像的中层全局特征；
[0007](3)利用卷积神经网络来提取高分辨率影像的高层特征。
[0008]传统的分类方法种，低层手工特征包括光谱特征、纹理特征等。常用的光谱特征包括图像的灰度值、灰度值均值、灰度值方差，纹理特征包括不变纹理指数、共生矩阵等。针对图像的结构特征，在早期可见光图像的分类识别中利用了SIFT特征，并且SIFT特征对噪声、光照、目标遮挡、杂物场景有较好的鲁棒性，有了这些优点，SIFT也能够对高分辨率遥感图像的特点进行有效表达。中层特征的获得是通过对高分辨率影像的低层手工特征进行编码，经过编码得到的全局特征能够作为高分辨率影像的中层特征。常用的方法有稀疏编码、视觉词袋模型。高层特征指的是利用深度神经网络对图像进行特征提取到的特征。近年来，深度学习推动了计算机视觉领域的发展，而对于图像分类任务卷积神经网络一般被设计为端到端的模型，可以利用多层次的网络，多个卷积核对图像特征进行提取，代替了烦琐的人工特征。得益于多层结构和多卷积核，模型可以从高分辨率影像中提取更抽象、更有区分性的高层特征，从而得到更好的分类结果。
[0009]自从卷积神经网络在高分辨率遥感图像分类领域兴起后，为了提升图像中目标提取的准确性，Paisitkriangkrai等人结合将卷积神经网络与条件随机场结合。另一方面，针对VHR遥感影像分类中存在的类内差异大的问题，提出了基于目标级分割的方法。同时，也在研究如何挖掘与图像在同一区域内采集的其他数据的潜在信息，以提高语义分割的性能。例如，Kaiser等人使用相应的OpenStreetMap(OSM)矢量数据作为SegNet输入的一部分，提供了比其他配置更好的性能。
[0010]以上基于深度卷积神经网络的方法在处理高分辨遥感图像大多采用以下两种方
式：一是随意舍弃影像通道，二是粗略组合所需数据。这样做将会导致两个主要问题:一是高分辨遥感图像的每个通道都具有丰富的地物信息。采用部分图像通道作为分割模型的输入，容易造成信息的丢失；二是来自同一幅影像的异构在光谱和空间上具有互补性。这种数据的任意组合就不会突出那些应该具有的特征。
[0011]因此，由于高分辨遥感影像大多是以四通道影像为主，但是目前高分辨率遥感图像地物提取模型针对影像大多采用粗略随意的组合图像通道，因此无法突出图像中辨别性特征。如何实现高分辨率遥感图像中地物目标准确的语义分割，是目前亟待解决的技术问题。

技术实现思路

[0012]本专利技术的目的在于解决上述现有技术中存在的问题，并提供一种基于多任务注意力机制的高分辨率遥感图像地物提取方法。
[0013]本专利技术所采用的具体技术方案如下：
[0014]一种基于多任务注意力机制的高分辨率遥感图像地物提取方法，其包括：
[0015]S1、对带有地物标签的高分辨率遥感图像进行切块，形成由图像块组成的训练数据集；
[0016]S2、利用训练数据集对地物提取模型进行训练，得到训练后的地物提取模型；所述地物提取模型采用编码器
‑
解码器结构，编码器部分以遥感图像的RGB通道和IR通道分别作为两个分支的输入，通过多任务注意网络模块在编码过程中融合来自RGB和IR通道的互补信息从而形成用于语义分割的判别表示，并由解码器部分实现地物提取；
[0017]S3、将待提取地物的高分辨率遥感图像进行切块，得到与训练数据集中相同大小的图像块并分别输入训练后的地物提取模型中提取地物目标，所有图像块的提取结果按序拼接后得到高分辨率遥感图像的地物提取结果。
[0018]作为优选，所述编码器部分由两个分支网络组成，其中：第一分支网络的输入为遥感图像块的IR通道，其输入先经过卷积层，然后再依次经过第一残差块1、第一残差块2、第一残差块3和第一残差块4逐步生成细节递增的特征图；第二分支网络的输入为遥感图像块的RGB通道，其输入先经过卷积层，然后再依次经过第二残差块1、第二残差块2、第二残差块3和第二残差块4逐步生成细节递增的特征图；
[0019]两个分支网络之间具有4个多任务注意网络模块，第一残差块N和第二残差块N之间设置多任务注意网络模块N，N＝1,2,3,4；
[0020]对于任一多任务注意网络模块N，其均具有通道注意力子模块和空间注意力子模块；在所述通道注意力子模块中，同时获取第一分支网络中第一残差块N输出的IR特征图和第二分支网络中第二残差块N输出的RGB特征图作为输入，输入的IR特征图和RGB特征图经过连接操作后，依次经过自适应平均池化层、全连接层、Relu层、全连接层后由sigmoid函数输出归一化为(0,1)的IR注意向量和RGB注意向量，利用RGB注意向量对所述IR特征图进行加权生成IR注意特征，利用IR注意向量对所述RGB特征图进行加权生成RGB注意特征，最后将所述IR特征图与RGB注意特征逐项相加得到校正后IR特征图，将所述RGB特征图与IR注意特征逐项相加得到校正后RGB特征图；在所述空间注意力子模块中，将所述通道注意力子模块输出的校正后IR特征图和校正后RGB特征图进行连接操作后，再经过卷积层生成新的IR
特征图和新的RGB特征图，将新的IR特征图和新的RGB特征图再次进行连接操作后经过Softmax操作，输出新的IR注意向量和新的RGB注意向量，利用新的IR注意向量对所述IR特征图进行加权，利用新的RGB注意向量对所述RGB特征图进行加权，两个加权结果逐项相加得到融合特征图，融合特征图与所述IR特征图逐项相加得到校正后IR特征图，融合特征图与所述RGB特征图逐项相加得到校正后RGB特征图；
[0021]第一分支网络中，第一残差块N输出的IR特征图与多任务注意网络模块N输出的校正后IR特征图经过残差连接后，作为第一残差块N+1的输入；第二分支网络中，第二残差块N输出的RGB特征图与多任务注意网络模块N输出的校正后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务注意力机制的高分辨率遥感图像地物提取方法，其特征在于，包括：S1、对带有地物标签的高分辨率遥感图像进行切块，形成由图像块组成的训练数据集；S2、利用训练数据集对地物提取模型进行训练，得到训练后的地物提取模型；所述地物提取模型采用编码器
‑
解码器结构，编码器部分以遥感图像的RGB通道和IR通道分别作为两个分支的输入，通过多任务注意网络模块在编码过程中融合来自RGB和IR通道的互补信息从而形成用于语义分割的判别表示，并由解码器部分实现地物提取；S3、将待提取地物的高分辨率遥感图像进行切块，得到与训练数据集中相同大小的图像块并分别输入训练后的地物提取模型中提取地物目标，所有图像块的提取结果按序拼接后得到高分辨率遥感图像的地物提取结果。2.如权利要求1所述的基于多任务注意力机制的高分辨率遥感图像地物提取方法，其特征在于，所述编码器部分由两个分支网络组成，其中：第一分支网络的输入为遥感图像块的IR通道，其输入先经过卷积层，然后再依次经过第一残差块1、第一残差块2、第一残差块3和第一残差块4逐步生成细节递增的特征图；第二分支网络的输入为遥感图像块的RGB通道，其输入先经过卷积层，然后再依次经过第二残差块1、第二残差块2、第二残差块3和第二残差块4逐步生成细节递增的特征图；两个分支网络之间具有4个多任务注意网络模块，第一残差块N和第二残差块N之间设置多任务注意网络模块N，N＝1,2,3,4；对于任一多任务注意网络模块N，其均具有通道注意力子模块和空间注意力子模块；在所述通道注意力子模块中，同时获取第一分支网络中第一残差块N输出的IR特征图和第二分支网络中第二残差块N输出的RGB特征图作为输入，输入的IR特征图和RGB特征图经过连接操作后，依次经过自适应平均池化层、全连接层、Relu层、全连接层后由sigmoid函数输出归一化为(0,1)的IR注意向量和RGB注意向量，利用RGB注意向量对所述IR特征图进行加权生成IR注意特征，利用IR注意向量对所述RGB特征图进行加权生成RGB注意特征，最后将所述IR特征图与RGB注意特征逐项相加得到校正后IR特征图，将所述RGB特征图与IR注意特征逐项相加得到校正后RGB特征图；在所述空间注意力子模块中，将所述通道注意...

【专利技术属性】
技术研发人员：张微，马梦婷，
申请(专利权)人：浙江大学，
类型：发明
国别省市：