基于特征匹配的有参考遥感图像超分辨重建方法技术

基于特征匹配的有参考遥感图像超分辨重建方法，涉及像成像技术领域

【技术实现步骤摘要】
基于特征匹配的有参考遥感图像超分辨重建方法


[0001]本专利技术涉及图像成像
，特别基于特征匹配的有参考遥感图像超分辨重建方法
。

技术介绍

[0002]图像超分辨率
(super
‑
resolution,SR)
重建是一种在不改变成像硬件设备条件的情况下，由低分辨率图像
(low
‑
resolution,LRI)
利用一定的算法生成视觉效果较好的高分辨率图像
(high
‑
resolution,HRI)
的方法，突破图像分辨率对成像设备的依赖性，实现从退化图像中恢复出高频信息的作用
。
因此，超分辨技术在很多场景中有广泛应用并作为多种图像处理技术的先验技术，例如安全
、
医学成像
、
卫星成像
、
对象识别和图像隐写术等方面
。
[0003]近年来，基于学习的方法在单图像超分辨重建
(Single Image Super
‑
Resolution,SISR)
研究领域取得了显著成果
。
尽管引入卷积神经网络
(Convolutional Neural Networks,CNN)
极大地推动了
SISR
的发展，但在降质过程中，高分辨率图像
(HRI)
的纹理常常被过度破坏且难以恢复
。
当需要恢复原始
HRI
中存在但在对应低分辨率图像
(LR)I
中丢失的细微纹理时，基于
CNN
的
SISR
方法常常导致模糊效果
。
为解决这一问题，基于生成对抗网络
(Generative Adversarial Network,GAN)
的
SISR
方法被提出，并在视觉质量上取得了突破
。
然而，基于
GAN
的
SISR
方法往往会产生虚假纹理甚至伪影
。
此外，由于先验知识的限制和单个
LRI
中图像信息的不足，在较大放大倍数下仍无法重建图像的精细纹理
。
由于高分辨率图像
(HRI)
退化为低分辨率图像
(LRI)
的原因是不确定的，且
LRI
缺乏高频纹理信息，因此通过不同方法进行超分辨重建可能得到多个超分辨率图像
(Super
‑
Resolution Image,SRI)
，这使得
SISR
具有一定的局限
。RefI
与
LRI
具有一定程度的相似性，但往往存在视角和尺度上的差异
。
针对这一问题专家提出了基于参考图像的超分辨率重建技术
(Reference
‑
based Super
‑
Resolution,Ref SR)
，通过将
RefI
中的相似细节补充到
LRI
中，以恢复丢失的信息，这一方法打破了
SISR
的性能瓶颈
。
[0004]目前的基于参考的遥感图像超分辨重建方法为了将
RefI
中的有用内容与
LRI
对应起来，以及从
RRefI
中转移特征以促进
SR
重建，利用光或可变形卷积在
RefI
和
LRI
之间进行空间对齐或在特征空间中进行补丁匹配，但这需要寻找长距离的对应关系，导致成像计算成本高和以及内存需求大
。
此外，现有技术中直接将
LRI
的特征与
RefI
的特征连接并在卷积层中融合，并没有转移标准，从而导致重建后的图像有颜色
、
亮度差，进而导致图像重建效果差的问题
。

技术实现思路

[0005]本专利技术目的是为了解决现有遥感图像超分辨率重建方法还存在成像计算成本高
、
内存需求大
、
重建效果差的问题，而提出了基于特征匹配的有参考遥感图像超分辨重建方法
。
[0006]基于特征匹配的有参考遥感图像超分辨重建方法具体过程为：
[0007]获取待成像的低分辨率图像和用于成像的高分辨率参考图像，将待成像的低分辨率图像和用于成像的高分辨率参考图像输入到图像重建模型中，获得超分辨重建图像；
[0008]所述图像重建模型，通过以下方式获得：
[0009]步骤一
、
获取低分辨率图像
I
LR
和与
I
LR
对应的高分辨率图像，将与
I
LR
对应的高分辨率图像作为参考图像
I
Ref
；
[0010]步骤二
、
利用
I
LR
和
I
Ref
训练
Ref SR
网络获得图像重建模型；
[0011]所述图像重建模型包括：尺度转换模块
、
编码器
、
特征匹配模块
、
特征转移模块
、
特征融合模块
、
解码器；
[0012]所述尺度转换模块用于对
I
LR
和
I
Ref
进行尺度转换，获得尺度转换后的低分辨率图像
I
LR
↑
和尺度转换后的参考图像
I
Ref
↓↑
，并将
I
LR
↑
和
I
Ref
↓↑
输入编码器；
[0013]所述编码器用于提取
I
LR
↑
和
I
Ref
↓↑
的多种尺度特征，获得低分辨率特征
F
LR
↑
和尺度转换后参考特征
F
Ref
↓↑
，并将
F
LR
↑
和
F
Ref
↓↑
的输入到特征匹配模块；
[0014]F
LR
↑
和
F
Ref
↓↑
包括三种尺度，分别是：1×
、2
×
和4×
；
[0015]所述特征匹配模块用于将
F
LR
↑
展开为
K
个不重叠的低分辨率区块利用和
F
Ref
↓↑
进行区块粗匹配和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于特征匹配的有参考遥感图像超分辨重建方法，其特征在于所述方法具体过程为：获取待成像的低分辨率图像和用于成像的高分辨率参考图像，将待成像的低分辨率图像和用于成像的高分辨率参考图像输入到图像重建模型中，获得超分辨重建图像；所述图像重建模型，通过以下方式获得：步骤一
、
获取低分辨率图像
I
LR
和与
I
LR
对应的高分辨率图像，将与
I
LR
对应的高分辨率图像作为参考图像
I
Ref
；步骤二
、
利用
I
LR
和
I
Ref
训练
Ref SR
网络获得图像重建模型；所述图像重建模型包括：尺度转换模块
、
编码器
、
特征匹配模块
、
特征转移模块
、
特征融合模块
、
解码器；所述尺度转换模块用于对
I
LR
和
I
Ref
进行尺度转换，获得尺度转换后的低分辨率图像
I
LR
↑
和尺度转换后的参考图像
I
Ref
↓↑
，并将
I
LR
↑
和
I
Ref
↓↑
输入编码器；所述编码器用于提取
I
LR
↑
和
I
Ref
↓↑
的多种尺度特征，获得低分辨率特征
F
LR
↑
和尺度转换后参考特征
F
Ref
↓↑
，并将
F
LR
↑
和
F
Ref
↓↑
的输入到特征匹配模块；
F
LR
↑
和
F
Ref
↓↑
包括三种尺度，分别是：1×
、2
×
和4×
；所述特征匹配模块用于将
F
LR
↑
展开为
K
个不重叠的低分辨率区块利用和
F
Ref
↓↑
进行区块粗匹配和密集的补丁细匹配，获取匹配结果，并将匹配结果输入特征转移模块；其中，
k∈[1,K
‑
1]
，
K
是区块总数，是第
k
个区块，
K∈[0,(W
LR
/3)
‑
1]
，
W
LR
是低分辨率图像的宽度；所述特征转移模块用于利用特征匹配结果获取待转移区块，将待转移块区块进行特征展开反操作，获得不同尺度的特征
F
SR
，并将不同尺度的特征
F
SR
输入特征融合模块；所述特征融合模块用于将不同尺度的特征
F
SR
融合，获得融合后的特征图，并将融合后的特征图输入解码器；所述解码器用于对融合后的特征图进行解码，获得超分辨率重建图像
。2.
根据权利要求1所述的基于特征匹配的有参考遥感图像超分辨重建方法，其特征在于：所述对
I
LR
和
I
Ref
进行尺度转换，获得尺度转换后的低分辨率图像
I
LR
↑
和尺度转换后的参考图像
I
Ref
↓↑
，具体为：首先，对
I
LR
进行双线性上采样，获得尺度转换后的低分辨率图像
I
LR
↑
；然后，对
I
Ref
进行双线性下采样，获得
I
Ref
↓
，再对
I
Ref
↓
对进行上采样，获尺度转换后的参考图像
I
Ref
↓↑
。3.
根据权利要求2所述的基于特征匹配的有参考遥感图像超分辨重建方法，其特征在于：所述将
F
LR
↑
展开为
K
个不重叠的低分辨率区块利用和
F
Ref
↓↑
进行区块粗匹配和密集的补丁细匹配，获取匹配结果，具体为：
A1、
将
F
LR
↑
展开为
K
个不重叠的低分辨率区块利用和
F
Ref
↓↑
进行区块粗匹配，获得与最相似的尺度转换后的参考区块具体为：
A11、
将低分辨特征
F
LR
↑
展开为
K
个不重叠的低分辨率区块获取低分辨率
区块的中心补丁与
F
Ref
↓↑
的每个补丁的余弦相似度如下式：其中，是的中心补丁，
q
j
是
F
Ref
↓↑
的第
j
个补丁，是与
q
j
的余弦相似度得分；
A12、
基于
A11
获得的在
F
Ref
↓↑
中获取与余弦相似度最高的补丁
q
j
，并以
q
j
为中心在
F
Ref
↓↑
中裁剪一个大小为
h
x
×
h
y
的尺度转换后的参考区块其中，
h
x
、h
y
为正数；
A2、
利用步骤
A1
获得的与进行密集的补丁细匹配，获得匹配结果
。4.
根据权利要求3所述的基于特征匹配的有参考遥感图像超分辨重建方法，其特征在于：所述
A2
中的利用步骤
A1
获得的与进行密集的补丁细匹配，获得匹配结果，具体为：
A21、
获取中每个补丁和中每个补丁之间的余弦相似度中每个补丁之间的余弦相似度其中，是的第
i
个补丁，是的第
j'
个补丁，是和的余弦相似度；
A22、
利用
A21
获取的获取匹配结果；所述匹配结果包括：索引图
{D0,...,D
K
‑1}
和相似性图
{R0,...,R
K
‑1}
；其中，
D
k
是第
k
个区块对应的索引图，
R
k
是...

【专利技术属性】
技术研发人员：朱福珍，王晨，朱兵，
申请(专利权)人：黑龙江大学，
类型：发明
国别省市：