一种结合超分辨率和注意力机制的遥感图像道路分割方法技术

本发明专利技术公开了一种结合超分辨率和注意力机制的遥感图像道路分割方法，属于遥感图像道路分割方法技术领域；通过将遥感图像数据集按照一定的比例划分为训练集和测试集；搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括编码器模块、超分辨率模块、语义分割模块；将经过预处理的训练集数据输入至遥感图像道路分割网络中，对遥感图像道路分割网络进行训练直到模型收敛，并保存模型参数；将测试集图像输入到导入训练好的参数的遥感图像道路分割模型中，输出图像道路数据的精确分割结果；本发明专利技术应用于遥感图像道路分割。本发明专利技术应用于遥感图像道路分割。本发明专利技术应用于遥感图像道路分割。

【技术实现步骤摘要】
一种结合超分辨率和注意力机制的遥感图像道路分割方法


[0001]本专利技术涉及机器学习
，具体而言，涉及一种结合超分辨率和注意力机制的遥感图像道路分割方法。

技术介绍

[0002]近些年来随着遥感卫星发射数量不断增加，高分辨率遥感图像的获取更加方便，已成为数字图像处理重要的数据来源。同时，高分辨率卫星遥感图像中包含丰富的地物特征信息。遥感图像道路提取在城市规划，交通管理，车辆导航，地图更新等领域中发挥了重要作用，已经成为近年来的研究热点。
[0003]然而，由于高分辨率遥感图像中包含丰富的地物特征信息，受光照，噪声，遮挡，阴影等因素的影响，导致道路特征之间存在差异，同时遥感图像背景中相似非道路目标特征信息对实现道路提取造成干扰，因此如何从高分辨率遥感图像中实现精确的道路提取仍是研究领域的一项挑战。传统算法模型的表达能力有限，无法对高分辨率图像中的丰富信息进行充分利用。图像的超分辨率是对图像的分辨率通过低分辨率的图像去生成对应的高分辨率图像，在实现过程中对图像的底层特征进行了充分的利用，因此可以作为图像的特征提取部分对图像语义分割进行辅助。

技术实现思路

[0004]本专利技术为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种结合超分辨率和注意力机制的遥感图像道路分割方法。
[0005]本专利技术解决其技术问题所采用的技术方案是：本专利技术公开一种结合超分辨率和注意力机制的遥感图像道路分割方法，包括如下步骤：
[0006]步骤一：将高分辨率遥感图像数据集按照一定的比例划分为训练集和测试集，所述高分辨率遥感图像数据集通过遥感卫星获取，包括原始遥感图像数据和经过人工标记的遥感图像数据；对训练集的遥感图像进行预处理和数据扩增，得到经过数据增强后的遥感图像数据集；
[0007]步骤二：搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括编码器网络、超分辨率网络和结合注意力机制的语义分割网络，搭建步骤包括：
[0008]步骤2.1：编码器网络：以U
‑
Net网络模型作为基础网络，将U
‑
Net网络模型中的编码器部分替换为Resnet
‑
34网络的卷积层部分，并作为道路分割网络的编码器，同时使用在ImageNet数据集上预训练的Resnet
‑
34网络参数初始化编码器网络；编码器最终输出底层特征图和高层特征图分别作为超分辨率网络和语义分割网络的输入；
[0009]步骤2.2：超分辨率网络：超分辨率网络通过残差模块来对编码器提取的底层特征图进行特征整合，通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像；
[0010]步骤2.3：语义分割网络：将高层特征图通过上下文信息提取模块后，经过预先训
练的作为编码器的Resnet
‑
34网络提取的图像特征和超分辨率网络提取的图像特征，通过注意力模块优化网络的跳跃连接部分，实现对遥感图像数据中的道路图像的最终分割；
[0011]步骤三：将预处理的训练集数据输入至搭建的遥感图像道路分割网络中，对遥感图像道路分割网络的参数进行初始化，采用resnet
‑
34网络在ImageNet数据集上训练的参数来初始化编码器网络，对其余网络参数进行随机初始化，对遥感图像道路分割网络进行训练；
[0012]训练完成后，将训练好的遥感图像道路分割网络模型参数进行保存；
[0013]步骤四：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。
[0014]其中，对训练集的遥感图像数据进行预处理包括图像裁剪和对训练集中原始图像进行数据增强；
[0015]所述图像裁剪具体为：将训练集中的遥感图像裁剪为尺寸为512像素*512像素、分辨率为1米每分辨率的图像；对裁剪后的高分辨率遥感图像进行下采样，得到尺寸为256像素*258像素、分辨率为0.5米每分辨率的低分辨率图像；
[0016]所述数据增强包括：将训练集中的图像和标签一起进行图像旋转、图像垂直翻转、图像水平翻转。图像垂直加水平翻转。
[0017]其中，编码器网络的结构如下：
[0018]第一层为卷积层，进行卷积核大小为7
×
7、步长为2的卷积；第二层为步长为2的最大池化层；
[0019]所述编码器网络的在第二层最大池化层后设置有三个重复的残差块，第一个残差块进行卷积操作，以步长为2的卷积实现下采样，第二个残差块及其之后的卷积操作使用步长为1的卷积操作，残差块中设置有用于加快网络收敛的短路连接；其中第一个残差块所生成的特征图称之为底层特征图，被用于进行图像的超分辨率；输出的图像特征图称之为高层特征图，用于进行图像的语义分割。
[0020]其中，超分辨率网络的结构如下：
[0021]所述超分辨率网络将输入的底层特征图经过两个残差模块来整合提取的多尺度特征，得到新的特征图；通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像。
[0022]其中，语义分割网络的结构如下：
[0023]将从编码器网络提取的高层特征图进行送入上下文信息模块，提取并整合网络的上下文信息，使用提取的特征图通过注意力模块对来自编码器网络和超分辨率网络的特征图进行权重调整，将权重调整后的特征图和上采样的特征图进行叠加；依次经过解码器模块，解码器模块包括1
×
1卷积运算，该运算将通道数减半，进行批量归一化和转置卷积以对特征图实现上采样过程；通过最后的反卷积层生成只有道路和非道路两种标签的单通道概率图；
[0024]为充分利用图像所包含的特征，语义分割网络将来自编码器网络和超分辨率网络传递的特征图通过注意力机制模块进行过滤，送入图像的上采样的过程中，实现超分辨率模块对于语义分割过程的辅助作用。
[0025]其中，语义分割网络中的注意力模块用于实现对跳跃连接传递的特征进行加权，
对目标区域的特征信息进行强化；所述注意力模块的输入数据为上一层的上采样特征图和输入的编码器及超分辨率模块的特征图，以上一层的上采样特征图作为监督信号，和传递的特征图生成一个逐像素权重图，采用逐像素权重图对跳跃连接传递的特征图进行处理，得到进行加权的传递特征图。
[0026]其中，所述注意力模块中的权重图的构建步骤为：
[0027]对输入的特征图进行特征降维，将降维后的两幅特征图相加，对相加后的特征图经过线性修正和sigmoid函数层处理，得到特征像素的权重图。
[0028]其中，解码器模块由接受特征图传递的多个解码块组成，所述解码器模块结构为：
[0029]将从编码器网络和超分辨率网络传递特征图进行拼接，经过注意力模块进行权重调整；将权重调整后的特征图与上一层的特征图进行通道叠加；
[0030]将叠加后的特征图依次送入各个解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合超分辨率和注意力机制的遥感图像道路分割方法，其特征在于，包括如下步骤：步骤一：将高分辨率遥感图像数据集按照一定的比例划分为训练集和测试集，所述高分辨率遥感图像数据集通过遥感卫星获取，包括原始遥感图像数据和经过人工标记的遥感图像数据；对训练集的遥感图像进行预处理和数据扩增，得到经过数据增强后的遥感图像数据集；步骤二：搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括编码器网络、超分辨率网络和结合注意力机制的语义分割网络，搭建步骤包括：步骤2.1：编码器网络：以U
‑
Net网络模型作为基础网络，将U
‑
Net网络模型中的编码器部分替换为Resnet
‑
34网络的卷积层部分，并作为道路分割网络的编码器，同时使用在ImageNet数据集上预训练的Resnet
‑
34网络参数初始化编码器网络；编码器最终输出底层特征图和高层特征图分别作为超分辨率网络和语义分割网络的输入；步骤2.2：超分辨率网络：超分辨率网络通过残差模块来对编码器提取的底层特征图进行特征整合，通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像；步骤2.3：语义分割网络：将高层特征图通过上下文信息提取模块后，经过预先训练的作为编码器的Resnet
‑
34网络提取的图像特征和超分辨率网络提取的图像特征，通过注意力模块优化网络的跳跃连接部分，实现对遥感图像数据中的道路图像的最终分割；步骤三：将预处理的训练集数据输入至搭建的遥感图像道路分割网络中，对遥感图像道路分割网络的参数进行初始化，采用resnet
‑
34网络在ImageNet数据集上训练的参数来初始化编码器网络，对其余网络参数进行随机初始化，对遥感图像道路分割网络进行训练；训练完成后，将训练好的遥感图像道路分割网络模型参数进行保存；步骤四：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。2.根据权利要求1所述的结合超分辨率和注意力机制的遥感图像道路分割方法，其特征在于：对训练集的遥感图像数据进行预处理包括图像裁剪和对训练集中原始图像进行数据增强；所述图像裁剪具体为：将训练集中的遥感图像裁剪为尺寸为512像素*512像素、分辨率为1米每分辨率的图像；对裁剪后的高分辨率遥感图像进行下采样，得到尺寸为256像素*258像素、分辨率为0.5米每分辨率的低分辨率图像；所述数据增强包括：将训练集中的图像和标签一起进行图像旋转、图像垂直翻转、图像水平翻转。图像垂直加水平翻转。3.根据权利要求1所述的结合超分辨率和注意力机制的遥感图像道路分割方法，其特征在于：编码器网络的结构如下：第一层为卷积层，进行卷积核大小为7
×
7、步长为2的卷积；第二层为步长为2的最大池化层；所述编码器网络的在第二层最大池化层后设置有三个重复的残差块，第一个残差块进行卷积操作，以步长为2的卷积实现下采样，第二个残差块及其之后的卷积操作使用步长为1的卷积操作，残差块中设置有用于加快网络收敛的短路连接；其中第一个残差块所生成的
特征图称之为底层特征图，被用于进行图像的超分辨率；输出的图像特征图称之为高层特征图，用于进行图像的语义分割。4.根据权利要求3所述的结合超分辨率和注意力机制的遥感图像道路分割方法，其特征在于：超分辨率网络的结构如下：所述超分辨率网络将输入的底层特征图经过两个残差模块来整合提取的多尺度特征，得到新的特征图；通过三个反卷积模块逐步恢复图像的分辨率，同时减...

【专利技术属性】
技术研发人员：杨莹，张佳鹏，陈泽华，郭学俊，杨佳林，赵哲峰，曹桂芳，郭晓澎，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：