一种基于上下文感知边缘增强的遥感图像超分辨率方法技术

本发明专利技术公开了一种基于上下文感知边缘增强的遥感图像超分辨率方法，该方法针对现有超分辨率方法无法准确恢复物体边缘的问题，建立了一个边缘增强模块，通过双向加权融合的方法增强上下文语义特征和边缘特征，同时使用上下文特征指导边缘特征

【技术实现步骤摘要】
一种基于上下文感知边缘增强的遥感图像超分辨率方法


[0001]本专利技术属于遥感图像处理领域，特别是涉及一种基于上下文感知边缘增强的遥感图像超分辨率方法
。

技术介绍

[0002]随着遥感图像应用技术的发展，遥感图像广泛应用于目标检测
、
产量预测
、
变化检测等领域
。
由于遥感图像在采集过程中受硬件设备限制以及云
、
雾等自然环境干扰，这些因素会导致采集到的遥感图像退化严重与实际场景严重不符
。
而自然图像不会遇到这些问题，因此自然图像超分辨算法在处理遥感图像时表现不佳
。
低质量的遥感图像会严重影响后续实际应用的结果，因此，针对遥感图像的超分辨率算法在近年来受到广泛的关注
。
[0003]在现有的技术中，已有很多超分辨率算法使用神经网络学习成对的低分辨率图像和高分辨率图像之间的对应关系，但其仅将峰值信噪比作为网络的优化目标，这会导致生成的图像过于光滑，与机器分析与人眼观看的需求不一致
。
此外，一些研究工作为了得到更加真实的重建图像，将对抗生成网络引入了超分辨率领域
。
但由于缺乏针对高频信息的约束以及遥感图像退化严重，基于对抗生成网络的超分辨率方法会导致生成的高频细节与实际情况不一致
。

技术实现思路

[0004]本专利技术的目的在于克服上述现有工作的缺点，提供了一种基于上下文感知边缘增强的遥感图像超分辨率方法，该方法能够有效提高对低分辨率遥感图像的重建效果，使超分辨率图像兼顾人眼感知与机器视觉应用
。
[0005]本专利技术采用如下技术方案来实现的：
[0006]一种基于上下文感知边缘增强的遥感图像超分辨率方法，包括以下步骤：
[0007]1)
待处理的低分辨率图像输入到初始特征提取模块，首先使用预超分辨率模块进行处理，以生成预超分辨率图像；
[0008]2)
将预超分辨率图像分别输入到边缘和上下文语义特征提取层，获得相应的两种类型的多尺度特征；
[0009]3)
将两种类型的多尺度特征输入到边缘增强模块，首先由双向边缘特征融合模块和双向上下文特征融合模块对其进行双向加权融合，同时使用上下文边缘信息交换模块在边缘分支与上下文分支之间进行信息交换；
[0010]4)
将经过多个边缘增强模块迭代增强后的多尺度边缘特征输入到边缘重建模块进行边缘聚合重建；
[0011]5)
将预超分辨率图像中的模糊边缘替换为聚合重建得到的增强边缘，以获得具有精细和准确边缘的超分辨率重建图像；
[0012]6)
使用
VGG
鉴别器对超分辨率重建图像进行真实性判断；
[0013]7)
分别计算像素损失
、
特征损失
、
对抗损失以及边缘损失，并根据损失函数进行反
向梯度传播，优化网络参数
。
[0014]本专利技术进一步的改进在于，步骤
1)
中，在处理低分辨率图像以生成超分辨率图像之前，使用预超分辨率模块以提供准确的信息
。
[0015]本专利技术进一步的改进在于，步骤
2)
中，提取多尺度边缘特征与上下文语义特征的卷积层，使其能够适应遥感图像中各种物体的大小；其中，上下文语义特征是由卷积网络在预超分辨率图像上提取得到的，边缘特征是由卷积网络在预超分辨率图像经过了拉普拉斯算子运算得到的边缘图上提取得到的
。
[0016]本专利技术进一步的改进在于，步骤
3)
中，在双向边缘特征融合模块和双向上下文特征融合模块中结合了自顶向下和自底向上的方法，将位置信息引入到融合特征中，使得融合特征同时具备语义信息和位置信息；第
i+1
个双向边缘特征融合模块输出的边缘特征为个双向边缘特征融合模块输出的边缘特征为其中为具有最小尺寸的特征，由第
i
个双向边缘特征融合模块输出的边缘特征表示为：
[0017][0018]其中，
Resize(
·
)
表示使用插值操作使张量的维度保持一致；
w1和
w2是两个可学习的权重向量，代表着两个不同尺度特征的重要性；
∈
是一个用于增加模型训练稳定性的数值，其值被设为1×
10
‑6，
LReLU(
·
)
代表
LeakyReLU
激活函数
。
[0019]本专利技术进一步的改进在于，步骤
3)
中，上下文语义特征与边缘特征的信息交流的过程表示为：
[0020][0021][0022]其中，与分别代表信息交流前的上下文语义特征与边缘特征，和分别代表信息交流后的上下文语义特征与边缘特征，代表逐元素相乘运算，
Conv(
·
)
代表3×3卷积运算，
LReLU(
·
)
代表
LeakyReLU
激活函数
。
[0023]本专利技术进一步的改进在于，步骤
4)
中，边缘重建模块通过特征整合
、
坐标注意力机制
、
特征融合三部分，聚合多尺度边缘特征并重建出增强后的边缘图像；设
F
R
＝
[f
r1
，
f
r2
，
f
r3
]表示具有不同尺度的残差连接的输出特征；多尺度特征首先被调整到与目标超分辨率图像相同的形状，然后拼接在一起形成一个统一的特征
F
M
，这个过程表示为：
[0024][0025]F
M
＝
Concat(f
r1
，
R2(f
r2
)
，
R4(f
r3
))
[0026]其中，
Concat(
·
)
表示在通道维度上进行张量拼接操作；
R2(
·
)
和
R4(
·
)
分别表示2×
和4×
的上采样操作，在进行尺寸缩放操作之后，三个特征将保持在一个相同的特征维度中，即
f
r1
，
R2(f
r2
)
，
R4(f
r3
)∈R
4H
×
4W
×
C
，其中
H
和
W
分别表示低分辨率图像的长度和宽度，
C
表示特征的输出通道数；输出的特征张量
F
M
∈R
4H
×
4W
...

【技术保护点】

【技术特征摘要】
1.
一种基于上下文感知边缘增强的遥感图像超分辨率方法，其特征在于，包括以下步骤：
1)
待处理的低分辨率图像输入到初始特征提取模块，首先使用预超分辨率模块进行处理，以生成预超分辨率图像；
2)
将预超分辨率图像分别输入到边缘和上下文语义特征提取层，获得相应的两种类型的多尺度特征；
3)
将两种类型的多尺度特征输入到边缘增强模块，首先由双向边缘特征融合模块和双向上下文特征融合模块对其进行双向加权融合，同时使用上下文边缘信息交换模块在边缘分支与上下文分支之间进行信息交换；
4)
将经过多个边缘增强模块迭代增强后的多尺度边缘特征输入到边缘重建模块进行边缘聚合重建；
5)
将预超分辨率图像中的模糊边缘替换为聚合重建得到的增强边缘，以获得具有精细和准确边缘的超分辨率重建图像；
6)
使用
VGG
鉴别器对超分辨率重建图像进行真实性判断；
7)
分别计算像素损失
、
特征损失
、
对抗损失以及边缘损失，并根据损失函数进行反向梯度传播，优化网络参数
。2.
根据权利要求1所述的一种基于上下文感知边缘增强的遥感图像超分辨率方法，其特征在于，步骤
1)
中，在处理低分辨率图像以生成超分辨率图像之前，使用预超分辨率模块以提供准确的信息
。3.
根据权利要求2所述的一种基于上下文感知边缘增强的遥感图像超分辨率方法，其特征在于，步骤
2)
中，提取多尺度边缘特征与上下文语义特征的卷积层，使其能够适应遥感图像中各种物体的大小；其中，上下文语义特征是由卷积网络在预超分辨率图像上提取得到的，边缘特征是由卷积网络在预超分辨率图像经过了拉普拉斯算子运算得到的边缘图上提取得到的
。4.
根据权利要求3所述的一种基于上下文感知边缘增强的遥感图像超分辨率方法，其特征在于，步骤
3)
中，在双向边缘特征融合模块和双向上下文特征融合模块中结合了自顶向下和自底向上的方法，将位置信息引入到融合特征中，使得融合特征同时具备语义信息和位置信息；第
i+1
个双向边缘特征融合模块输出的边缘特征为其中为具有最小尺寸的特征，由第
i
个双向边缘特征融合模块输出的边缘特征表示为：其中，
Resize(
·
)
表示使用插值操作使张量的维度保持一致；
w1和
w2是两个可学习的权重向量，代表着两个不同尺度特征的重要性；
∈
是一个用于增加模型训练稳定性的数值，其值被设为1×
10
‑6，
LReLU(
·
)
代表
LeakyReLU
激活函数
。5.
根据权利要求4所述的一种基于上下文感知边缘增强的遥感图像超分辨率方法，其特征在于，步骤
3)
中，上下文语义特征与边缘特征的信息交流的过程表示为：
其中，与分别代表信息交流前的上下文语义特征与边缘特征，和分别代表信息交流后的上下文语义特征与边缘特征，代表逐元素相乘运算，
Conv(
·
)
代表3×3卷积运算，
LReLU(
·
)
代表
LeakyReLU
激活函数
。6.
根据权利要求5所述的一种基于上下文感知边缘增强的遥感图像超分辨率方法，其特征在于，步骤
4)
中，边缘重建模块通过特征整合
、
坐标注意力机制
、
特征融合三部分，聚合多尺度边缘特征并重建出增强后的边缘图像；设
F
R
＝
[f
r1
,f
r2
,f
r3
]
表示具有不同尺度的残差连接的输出特征；多尺度特征首先被调整到与目标超分辨率图像相同的形状，然后拼接在一起形成一个统一的特征
F
M
，这个过程表示为：

【专利技术属性】
技术研发人员：贺丽君，任祉涵，李凡，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：