一种基于多尺度模板匹配的多模态遥感图像配准方法技术

本发明专利技术属于遥感图像配准技术领域，具体涉及一种基于多尺度模板匹配的多模态遥感图像配准方法

【技术实现步骤摘要】
一种基于多尺度模板匹配的多模态遥感图像配准方法


[0001]本专利技术属于遥感图像配准
，具体涉及一种基于多尺度模板匹配的多模态遥感图像配准方法
。

技术介绍

[0002]随着航天技术和传感器技术的快速发展，遥感观测手段逐渐多样化，能够获得多元化的遥感观测数据，例如光学
、
深度信息
、
激光雷达
(LiDAR)、
红外
、
合成孔径雷达
(SAR)
和地形数据等
。
将多种数据组合形成多源遥感数据，有利于更好的在变化检测
、
目标定位
、
以及环境与灾害检测等方面发挥作用
。
其中多模态图像匹配是实现优势互补，发挥多源数据优势的关键
。
[0003]如图
1(a)
和图
1(b)
所示，不同源的遥感观测图像数据间可能存在位移
、
旋转
、
尺度
、
辐射和噪声等方面的差异，因此有必要实现多远遥感影像配准，配准方法主要包括三类：基于深度学习的方法
、
基于特征的方法和基于模板的方法
。
[0004]基于深度学习的方法目前是一种十分先进的技术，许多相关工作在对应数据集上取得了良好的效果，但是很难真实发挥作用
。
一方面是目前没有通用的多模态图像数据集用于模型训练，无法训练出可靠且稳定的参数；另一方面是训练好的模型对于不同的真实数据适应性较差，泛化能力不足
。
但近年来，随着人工智能的快速发展，基于深度学习的卷积神经网络
(CNN)
在计算机视觉领域发展迅速，提出了诸如
LIFT、SuperPoint、DELF
和
D2
‑
Net
之类的算法，对于非线性辐射失真也有一定的适应性
。
[0005]基于特征的方法具体过程为，首先进行图像特征提取，然后利用图像特征点的特征描述符间的相似性进行匹配
。
提取的特征应该是鲁棒的
、
稳定的
、
可重复的，这些特征可以是点
、
线
、
面
。
具体包括：有学者提出了
PSO
‑
SIFT
算法，该算法提出了一种改进的影像梯度计算方式，提高了对非线性辐射失真的鲁棒性；也有学者提出了
RIFT
算法，该算法采用相位一致性并创新性地引入了最大索引图描述符，其首先在相位一致图上提取特征点，然后利用最大索引图描述符
(MIM)
进行特征匹配，获得了更好的效果
。
但是由于提取的特征点的定位精度不稳定，因此基于特征的方法的匹配精度一般低于基于模板的方法
。
[0006]基于模板的方法是通过对比两个选定区域的相似性度量来完成匹配，是计算机视觉领域比较常用的图像处理方法，其主要过程为在目标图像中确定与模板图像最相似的匹配区域，目的是在包含同一场景的两幅或多幅图像中找到对应的同名像点，进而找到图像间的变换关系，实现两幅图像参考框架的对齐
。
具体主要包括以下三个步骤：
(1)
首先设计搜索策略确定所有模板图像对应的候选匹配窗口区域；
(2)
在设计的特征描述图上选取对应窗口区域的特征向量；
(3)
利用设计的相似性度量方法计算模板窗口的特征向量和候选窗口的特征向量之间的相似度，最终得分最高的候选窗口被视为正确的匹配区域
。
目前模板匹配在人脸识别
、
视觉定位等方面发挥着重要作用
。
然而无论基于模板的方法效果如何优秀，该方法对于初始位置有着极高的要求，例如
CFOG
就把利用卫星的
RPC
参数计算出来的点位作为初始匹配参考控制点
。
但是目前很多不同源的数据之间缺乏空间映射关系，如果
初始参考控制点位置偏差过大或者无初始参考控制点，匹配性能会急剧下降
。
因为其对于几何差异敏感且速度受选择模板大小的限制，导致其在实际中的通用性降低
。
[0007]综上，由于同一地物对应的位置可能不同，并且由于传感器不同导致同一地物外观表现出巨大差异，存在着严重的非线性辐射失真
(NRD)
，这些巨大的差异对上述介绍的现有的图像匹配算法造成了严重的困难，导致大多数算法的匹配性能大幅下降，难以满足多源数据融合的需求
。
因此，研究一种可靠的多模态图像匹配算法为同一场景提供精确的多模态观测数据是非常重要的
。

技术实现思路

[0008]本专利技术的目的在于提供一种基于多尺度模板匹配的多模态遥感图像配准方法，用以解决现有技术中的多模态图像配准方法无法有效处理具有严重非线性辐射失真的多模态图像的问题
。
[0009]为解决上述技术问题，本专利技术提供了一种基于多尺度模板匹配的多模态遥感图像配准方法，包括如下步骤：
[0010]1)
获取多模态遥感图像对，分别为参考图像和待配准图像；构建每幅图像的特征描述图，并对其进行多次逐层下采样操作以构建得到两幅图像的高斯金字塔；
[0011]2)
提取图像对的特征点，对待配准图像的高斯金字塔进行不同方向的旋转；基于提取的特征点，利用模板匹配算法在不同旋转方向上进行遥感图像对的匹配，挑选出匹配点数量最多的方向作为主方向；
[0012]3)
根据主方向对应的特征匹配结果确定遥感图像对的空间变换关系
。
[0013]上述技术方案的有益效果为：面对传统的图像配准算法无法有效处理具有严重非线性辐射失真的多模态图像的问题，本专利技术首先构建多模态遥感图像对的高斯金字塔，然后对待配准图像的高斯金字塔进行不同方向的旋转，在不同旋转方向上进行遥感图像对的匹配，以找到最佳的方向作为主方向，进而基于主方向对应的特征匹配结果确定遥感图像对的空间变换关系，实现对旋转图像的鲁棒性，能够在多模态图像质量较差
、
存在几何差异非线性辐射失真严重的情况下完成自动配准工作，从而在保持模板匹配法精度高优点的同时，解决了对几何差异适应性较差的缺点，能够在大多数条件下自动完成多模态遥感图像配准
。
而且，具体处理时先对原始图像生成特征描述图，进而对其逐层下采样来得到一系列不同分辨率的特征描述图，相较于对不同尺度图像分别生成特征描述图的方式，大大提高计算处理效率
。
总体来说，本专利技术方法能够可靠地处理一般的多源遥感图像配准问题，包括不同传感器
、
不同时相
、
不同视角和不同分辨率的图像，具有较强的鲁棒性和可靠性
。
[0014]优选地，构建的特征描述图为频域卷积图，构建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多尺度模板匹配的多模态遥感图像配准方法，其特征在于，包括如下步骤：
1)
获取多模态遥感图像对，分别为参考图像和待配准图像；构建每幅图像的特征描述图，并对其进行多次逐层下采样操作以构建得到两幅图像的高斯金字塔；
2)
提取图像对的特征点，对待配准图像的高斯金字塔进行不同方向的旋转；基于提取的特征点，利用模板匹配算法在不同旋转方向上进行遥感图像对的匹配，挑选出匹配点数量最多的方向作为主方向；
3)
根据主方向对应的特征匹配结果确定遥感图像对的空间变换关系
。2.
根据权利要求1所述的基于多尺度模板匹配的多模态遥感图像配准方法，其特征在于，构建的特征描述图为频域卷积图，构建频域卷积图的过程包括：
①
对输入图像进行小波分解，得到低频小波分量，以及水平
、
垂直和对角线上的高频小波分量；
②
利用
Log
‑
Gabor
函数，得到低频小波分量在不同尺度下的振幅分量，作为低频小波分量在不同尺度下的特征；
③
对不同尺度下的特征进行归一化处理，利用归一化处理结果重构低频小波分量；
④
根据重构的低频小波分量以及步骤
①
中的水平
、
垂直和对角线上的高频下波分量进行小波重构，得到频域卷积图
。3.
根据权利要求1所述的基于多尺度模板匹配的多模态遥感图像配准方法，其特征在于，步骤
2)
中提取的特征点为
Shi
‑
Tomasi
角点
。4.
根据权利要求3所述的基于多尺度模板匹配的多模态遥感图像配准方法，其特征在于，提取的
Shi
‑
Tomasi
角点为分布均匀化处理后的
Shi
‑
Tomasi
角点，且采用自适应非极大值抑制算法进行分布均匀化处理，抑制区域变长阈值的计算公式为：值抑制算法进行分布均匀化处理，抑制区域变长阈值的计算公式为：式中，
a
j
为抑制区域变长阈值；
m
为需要提取的特征点数量；
H
I
和
W
I
分别为图像的高度和宽度
。5.
根据权...

【专利技术属性】
技术研发人员：蓝朝桢，高天，施群山，周杨，王慧，张衡，李鹏程，吕亮，胡校飞，王龙号，魏紫珺，姚富山，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：