一种基于多尺度条形池化和金字塔池化的道路提取方法技术

本发明专利技术的目的是提供一种基于多尺度条形池化和金字塔池化的道路提取方法，通过替换到传统的池化方式，采用条形池化聚合远程上下文，以一种高效的方式编码道路特征，解决了在遥感图像中道路提取的连通性问题。遥感图像中道路提取的连通性问题。遥感图像中道路提取的连通性问题。

【技术实现步骤摘要】
一种基于多尺度条形池化和金字塔池化的道路提取方法


[0001]本专利技术属于遥感图像信息的自动解译领域
，具体涉及一种基于多尺 度条形池化和金字塔池化的道路提取方法。

技术介绍

[0002]在深度学习领域道路提取可视为二分类语义分割任务，目前广泛使用的语义 分割方法建立在FCN的基础上，通过使用卷积层替换掉全连接层，在保留输入 图像空间特征的同时，实现像素级别的端到端的预测；在FCN架构的基础上研究 人员使用FCN
‑
4s模型进行道路目标提取，并通过使用跳跃连接结构 复用浅层的特征信息，准确度有了较大的提高；研究人员在SegNet网络上引入池 化索引,编码器部分使用池化层进行下采样时记录最大池化的索引(位置)，在解 码器中调用相应的索引信息进行上采样，减小最大池化造成的位置信息丢失的影 响；研究人员采用DenseNet结构构建多条回路连接，该模型可以适应不同大小 的目标，并且有效的在高分辨率影像中提取道路，但是显著增加了网络的参数量， 导致训练耗时很长。研究人员结合注意力机制和空间金字塔模块，提出了金字塔 注意力网络实现目标特征信息的增强。上述方法聚焦于更深的特征提取网络或者 使用优秀的语义解析模块，没有考虑遥感图像道路本身的结构特点，由于遥感图 像具有高分辨且通常覆盖范围大，感受野的大小至关重要，通常采用多次下采样 扩大网络的感受野，会导致较小的物体信息无法通过上采样重建。研究人员通过 并联多个不同空洞率的空洞卷积，减少下采样操作的同时将感受野的大小扩大至 整个输入图像，提高了道路提取能力。

技术实现思路

[0003]本专利技术的目的是提供一种基于多尺度条形池化和金字塔池化的道路提取方 法，用于解决道路提取碎片化的问题。
[0004]本专利技术解决其技术问题的技术方案为：一种基于多尺度条形池化和金字塔池 化的道路提取方法，其特征在于，所述方法包括以下步骤：
[0005]S1：对输入的原始图像进行数据增强；
[0006]S2：模型总体架构搭建；采用Pytorch深度学习框架对模型进行搭建；
[0007]S3：搭建多尺度条形池化模块；
[0008]S4：搭建混合池化模块；
[0009]S5：模型训练，把遥感图像数据输入模型当中进行训练。
[0010]所述步骤S1中数据增强方法包括随机水平和垂直翻转，随机平移和随机裁剪。
[0011]所述模型总体架构的搭建方法包括：采用编码器解码器架构作为整体的网络 架构，首先通过7
×
7卷积将输入图像下采样到512
×
512，使用两个3 x 3的卷积 构成一个残差块，每3，6，4，3个残差块构成一个构建块，在每个构建块之后 分别下采样一次，每次下采样的特征图大小为上个构建块的一半，将编码器通过 多尺度条形池化模块跳跃连接解码器的对应部分，最终输入图像在编码器部分下 采样到32
×
32，此时通过两个混合池化模块
连接到解码器，之后在解码器部分上 采样四次到原图大小，最后输出经过sigmoid函数处理的大小为1024
×
1024的单 通道预测图像。
[0012]多尺度条形池化模块的实现方式如下：
[0013]设输入张量x∈R
H
×
W
，其中H，W分别为输入张量的长和宽，池化核的大小为 h
×
w，考虑一种简单的情况，h，w分别可以被H，W整除，输出张量y的长和宽 可以分别表示为则平均池化如公式(1)所示
[0014][0015]i
o
，j
o
表示池化结果的第i
o
行第j
o
列的值，在给出平均池化公式之后，在水平 和垂直方向部署两个狭长的池化核捕获远程依赖关系，在垂直方向，池化核的大 小为：
[0016][0017]水平方向池化核大小为：
[0018][0019]分别将公式2、3所述的池化核带入到公式1所述的池化操作当中，则水平 方向输出池化结果为垂直方向输出池化结果为其中r是人工设定的缩放 因子，用于控制池化核的大小。之后，将逐像素相加得：
[0020][0021]函数Scale(.，.)指逐元素相加，分别令r取1、3、7带入到公式4中，得到 y1、y2、y3，然后将y1、y2、y3进行通道合并得
[0022]y＝Concat(y
r＝1
，y
r＝3
，y
r＝7
)
ꢀꢀꢀ
(5)
[0023]其中函数Concat(.，.，.)表示通道合并，最后多尺度条形池化模块的输出 可以表示为
[0024]Z＝Scale(x，σ(f(y))
ꢀꢀꢀ
(6)
[0025]其中σ为sigmoid函数，f表示1
×
1卷积。
[0026]混合池化模块的实现方式如下：所述混合池化模块包括一个多尺度条形池化 子模块和一个金字塔池化子模块，多尺度条形池化模块在上小节2已详细描述， 本节描述金字塔池化子模块的实现，具体实现如下：对输入特征图进行两次池化 操作，池化后的特征图分别为A和B，大小分别为20
×
20、12
×
12。然后将池化后 的两个特征图A和B上采样到输入特征图大小，最后分别将特征图A、B、输入 特征图三者逐像素相加得到输出特征图。
[0027]本专利技术的有益效果为：通过替换到传统的池化方式，采用条形池化聚合远程 上下文，以一种高效的方式编码道路特征。解决了在遥感图像中道路提取的连通 性问题。
附图说明
[0028]图1是本专利技术的流程图。
[0029]图2是本专利技术的总体架构图。
[0030]图3是本专利技术的多尺度条形池化模块架构图。
[0031]图4是本专利技术的混合池化模块架构图。
[0032]图5是本专利技术金字塔池化架构图。
具体实施方式
[0033]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、 完整地描述。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳 动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0034]如图1所示，本专利技术包括以下步骤：
[0035]步骤1，数据增强：对输入的原始图像进行数据增强，以防止出现过拟合的 情况。数据增强方法包括以0.5的概率对输入图像进行随机水平和垂直翻转，随 机平移和随机裁剪。
[0036]步骤2，模型总体架构搭建：模型架构图如附图2所示，输入图像尺寸为 1024
×
1024，首先通过7
×
7卷积将输入图像下采样到512
×
512，之后在ResNet34 每个构建块分别下采样一次，每次下采样的特征图大小为上个构建块的一半，将 编码器通过多尺度条形池化模块跳跃连接解码器的对应部分，最终输入图像在编 码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度条形池化和金字塔池化的道路提取方法，其特征在于，所述方法包括以下步骤：S1：对输入的原始图像进行数据增强；S2：模型总体架构搭建；采用Pytorch深度学习框架对模型进行搭建；S3：搭建多尺度条形池化模块；S4：搭建混合池化模块；S5：模型训练，把遥感图像数据输入模型当中进行训练。2.根据权利要求1所述的一种基于多尺度条形池化和金字塔池化的道路提取方法，其特征在于，所述步骤S1中数据增强方法包括随机水平和垂直翻转，随机平移和随机裁剪。3.根据权利要求1所述的一种基于多尺度条形池化和金字塔池化的道路提取方法，其特征在于，所述模型总体架构的搭建方法包括：采用编码器解码器架构作为整体的网络架构，首先通过7
×
7卷积将输入图像下采样到512
×
512，使用两个3x3的卷积构成一个残差块，每3，6，4，3个残差块构成一个构建块，在每个构建块之后分别下采样一次，每次下采样的特征图大小为上个构建块的一半，将编码器通过多尺度条形池化模块跳跃连接解码器的对应部分，最终输入图像在编码器部分下采样到32
×
32，此时通过两个混合池化模块连接到解码器，之后在解码器部分上采样四次到原图大小，最后输出经过sigmoid函数处理的大小为1024
×
1024的单通道预测图像。4.根据权利要求1所述的一种基于多尺度条形池化和金字塔池化的道路提取方法，其特征在于，多尺度条形池化模块的实现方式如下：设输入张量x∈R
H
×
W
，其中H，W分别为输入张量的长和宽，池化核的大小为h
×
w，考虑一种简单的情况，h，w分别可以被H，W整除，输出张量y的长和宽可以分别表示为则平均池化如公式(1...

【专利技术属性】
技术研发人员：渠慎明，周华飞，冯天伟，李贺，席广正，吕慧娟，万敏，
申请(专利权)人：河南大学，
类型：发明
国别省市：