一种基于图像转换的多时相积雪遥感图像匹配方法及系统技术方案

本发明专利技术公开了一种基于图像转换技术的多时相积雪遥感图像的匹配方法及系统

【技术实现步骤摘要】
一种基于图像转换的多时相积雪遥感图像匹配方法及系统


[0001]本专利技术涉及遥感图像处理
，具体为一种基于图像转换的多时相积雪遥感图像匹配方法及系统
。

技术介绍

[0002]随着地球观测技术的不断发展
,
研究人员现在可以利用不同时间获得的遥感图像来观测同一地区
,
这些图像提供了丰富的纹理信息和空间细节，广泛应用于变化检测
、
地面目标识别和灾害分析等军事和民用领域
。
近年来，有越来越多的学者开始利用遥感积雪图像进行相关分析和处理研究
。
他们利用多时相积雪遥感数据进行每日积雪变化监测，测量雪覆盖区域
、
云
/
雪分割等相关研究
。
不同时相的遥感数据为上述研究工作提供了大量的数据支持
。
然而，所有这些工作都需要对图像进行精确的匹配
。
[0003]图像匹配旨在从两幅或多幅图像中识别出相同或者相似的结构与内容，建立两个图像特征点之间的准确对应关系
。
图像匹配是数据处理工作的核心内容，是配准和融合等工作的基础，也是进一步处理和分析这些图像数据的前提
。
现有的匹配方法可以分为基于区域的匹配方法和基于特征的匹配方法
。
基于区域的匹配方法也称为模板匹配，是指通过使用相似性度量准则来评估两幅图像中对应窗口对的相似性来实现匹配
。
虽然基于区域的匹配方法易于实现，但是其计算复杂度高
、
灵活性低
、
局部表征不足，特别是对于图像间存在的光照变化
、
像素强度变化以及图像噪声等因素敏感
。
[0004]基于特征的方法首先对图像的特征进行检测和描述，然后利用这些特征的相似性确定对应关系，这些相似性对图像失真更可靠，在一定程度上可以克服基于区域的方法的缺陷
。
基于特征的方法的主要步骤为
:
特征提取
、
特征描述和特征匹配
。
[0005]由于季节变换
、
地址蚀变
、
人类活动等因素，同一地区在不同时间的影像往往会发生变化，导致多时相遥感图像间存在着局部几何变形的问题
。
地面起伏的山区会带来复杂的局部位移
。
倾斜的拍摄视角或不同太阳角度造成的阴影遮挡也会带来不确定性
。
因此，多时相遥感图像的匹配是一项具有挑战性的任务
。
对于带有积雪的遥感图像进行匹配则更为困难，除了前面提到的挑战外，覆盖在地物表面的积雪，导致地物特征模糊，掩盖住原有的显著特征
。
具体而言，多时相积雪遥感图像的匹配工作主要面临以下问题
。
首先，积雪覆盖在地面和地物表面上，降低了图像中局部特征的信息强度，使得提取鲁棒的匹配特征变得困难
。
其次，积雪破坏了两张待匹配图像间局部特征的一致性，导致图像中原本一致的地物在被积雪覆盖后出现几何差异和特征差异，进而导致局部特征不一致，难以有效的进行相关的匹配工作
。

技术实现思路

[0006]针对现有技术的不足，本专利技术提供了一种基于图像转换的多时相积雪遥感图像匹配方法及系统
。
主要解决多时相积雪遥感图像的匹配难题
。
在跨季节的多时相积雪遥感图像匹配问题中，图像中覆盖的积雪会使得地物局部特征信息不明显，信息强度变弱
。
现有的
匹配方法多关注局部特征，难以将全局信息与上下文特征有效的聚合，无法在多时相积雪遥感图像匹配中获得鲁棒的局部和全局一致性特征，不能很好的解决多时相积雪遥感图像匹配问题
。
[0007]本专利技术提供如下技术方案：
[0008]一种基于图像转换的多时相积雪遥感图像匹配方法及系统，包括：
[0009]步骤
S1
，建立训练数据集1，获取同一地区的多时相积雪遥感图像数据集，其中数据集中的每组图片为一张带有积雪覆盖的遥感图像
A
，一张没有积雪覆盖的遥感图像
B
，遥感图像
A
和遥感图像
B
的内容相互对应，数据集1作为训练网络的输入来进行训练；
[0010]步骤
S2
，将数据集1送入图像转换网络中进行转换生成训练，将遥感图像
A
转换成为没有积雪覆盖的图像，将转换后得到的没有积雪覆盖的图像与数据集1中的遥感图像
B
组成数据集2，数据集2中每对数据的两张图片逐一对应，作为特征提取网络的输入；
[0011]步骤
S3
，将数据集2输入深度卷积网络，训练图像特征一致性的提取；
[0012]步骤
S4
，通过特征提取网络，提取两张图像间的一致性特征并进行特征匹配，得到对应的匹配位置坐标；
[0013]步骤
S5
，将匹配位置坐标映射到未经过转换的带有积雪覆盖的遥感图像
A
中，从而得到了两张多时相积雪遥感图像的匹配结果
。
[0014]优选的，步骤
S2
中，利用
Pix2Pix
网络来对图像进行生成转换，使用
U
‑
net256
作为其生成器网络，
PatchGAN
作为鉴别器网络，将积遥感图像
A
作为输入，生成没有积雪覆盖的遥感图像；
[0015]转换网络的损失函数为：
[0016][0017]其中：
[0018][0019][0020]x
表示输入的原图像，也就是每组数据中的遥感图像
A。
表示一般的
cGAN
的目标函数，生成器
G
不断的尝试最小化目标函数，而
D
则通过不断的迭代去最大化这个目标函数，训练好转换网络后，输入遥感图像
A
输出同一地区没有积雪覆盖的遥感图像
C。
[0021]4.
优选的，步骤
S3
包括特征一致性提取网络的构建以及训练；
[0022]构建：特征一致性提取网络包括编码器和一个特征检测器，将网络的前6个非共享权重的层划分为特征提取的模态统一模块来进一步的消除图像间的差异，原始编码器由3个卷积层组成，且与特征检测器共享权重；
[0023]训练：将同一场景的无积雪和有积雪的两张多时相图片分别表示为
I、I
′
，用
H
表示他们之间的真实对应关系，
{D
i
，
D
i
′
}
表示根据图像得到密集特征图，将特征图描述符进行采样，得到的样本为
{d
N
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于图像转换的多时相积雪遥感图像匹配方法，其特征在于，包括：步骤
S1
，建立训练数据集1，获取同一地区的多时相积雪遥感图像数据集，其中数据集中的每组图片为一张带有积雪覆盖的遥感图像
A
，一张没有积雪覆盖的遥感图像
B
，遥感图像
A
和遥感图像
B
的内容相互对应，数据集1作为训练网络的输入来进行训练；步骤
S2
，将数据集1送入图像转换网络中进行转换生成训练，将遥感图像
A
转换成为没有积雪覆盖的图像，将转换后得到的没有积雪覆盖的图像与数据集1中的遥感图像
B
组成数据集2，数据集2中每对数据的两张图片逐一对应，作为特征提取网络的输入；步骤
S3
，将数据集2输入深度卷积网络，训练图像特征一致性的提取；步骤
S4
，通过特征提取网络，提取两张图像间的一致性特征并进行特征匹配，得到对应的匹配位置坐标；步骤
S5
，将匹配位置坐标映射到未经过转换的带有积雪覆盖的遥感图像
A
中，从而得到了两张多时相积雪遥感图像的匹配结果
。2.
根据权利要求1所述的一种基于图像转换的多时相积雪遥感图像匹配方法及系统，其特征在于，步骤
S2
中，利用
Pix2Pix
网络来对图像进行生成转换，使用
U
‑
net256
作为其生成器网络，
PatchGAN
作为鉴别器网络，将积遥感图像
A
作为输入，生成没有积雪覆盖的遥感图像；转换网络的损失函数为：其中：其中：
x
表示输入的原图像，也就是每组数据中的遥感图像
A。
表示一般的
cGAN
的目标函数，生成器
G
不断的尝试最小化目标函数，而
D
则通过不断的迭代去最大化这个目标函数，训练好转换网络后，输入遥感图像
A
输出同一地区没有积雪覆盖的遥感图像
C。3.
根据权利要求2所述的一种基于图像转换的多时相积雪遥感图像匹配方法及系统，其特征在于，步骤
S3
包括特征一致性提取网络的构建以及训练；构建：特征一致性提取网络包括编码器和一个特征检测器，将网络的前6个非共享权重的层划分为特征提取的模态统一模块来进一步的消除图像间的差异，原始编码器由3个卷积层组成，且与特征检测器共享权重；训练：将同一场景的无积雪和有积雪的两张多时相图片分别表示为
I、I
″
，用
H
表示他们之间的真实对应关系，
{D
i
,D
i
″
}
表示根据图像得到密集特征图，将特征图描述符进行采样，得到的样本为
{d
N
,d
N
″
}
，在特征图描述符
{D
i
,D
i
″
}
中
,
提取同一张图像中的最近的不匹配的两个描述符
{d
a
,d
a
″
},
以及两张图像间的不匹配的最近的描述符
{d
m
,d
n
}
，为了使获得的特征描述符能够在匹配阶段满足最近邻的匹配原则，描述符必须与其最近的不匹配的特征的距离最大化，而与之对应位置的特征之间的距离最小化；
θ
(d
i
,d
a
)
＝
acos((d
iT
d
a
)
表示角距离，因为角距离可以用来平衡匹配和不匹配对的优化，描述符损失函数为：
R(d
i
；
d
N
，
d
N
′
)
＝
[(
π
‑
θ
(d
i
，
d
b
))2+(
π
‑
θ
(d
i
，
d
a
))2+(
π
‑
min{
θ
(d
i
，
d
n
)
，
θ
(d
i
，
d
m
)})2+
θ
(d
i
，
d
i
′
)2)]2网络在训练过程中，第二幅图像的检测得分图应该与第一幅图像的一致，且特征点的检测分数要显著，这样才能够在一定...

【专利技术属性】
技术研发人员：付志涛，张健，唐伯惠，张韶琛，黎瑞虹，李梦华，张珂，稽娅帅，张智豪，张歆山，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：