基于最大索引图的可见光与制造技术

本发明专利技术涉及基于最大索引图的可见光与

【技术实现步骤摘要】
基于最大索引图的可见光与SAR影像智能配准方法


[0001]本专利技术属于遥感图像配准
、
计算机视觉
、
模式识别等交叉应用
，基于最大索引图生成方法
、
特征点提取与检测算法
、
图网络匹配算法
、
同名点匹配等关键技术，特别涉及一种基于最大索引图
(Maximal Index Map
，
MIP)
的可见光与
SAR
影像智能配准方法
。

技术介绍

[0002]图像配准是指将不同时间
、
不同角度
、
不同传感器
、
不同天气条件下对同一目标区域获取的两幅或多幅影像进行匹配
、
叠加的过程
。
随着计算机视觉的发展，图像配准已被广泛的应用于遥感测绘
、
机器视觉
、
无人驾驶
、
三维重建
、
医疗影像等领域
。
本文的研究重点是遥感影像的异源配准
。
[0003]图像配准的步骤包括：
(1)
检测特征点，
(2)
生成描述向量，
(3)
匹配特征点，
(4)
滤除外点，
(5)
得到变换矩阵
。
如果两幅影像存在一定的仿射变换，通常以其中一幅图像作为源图像，另一张作为目标图像进行仿射变换
。r/>图像配准的标准技术流程如下：首先根据特征点提取算法获取两幅或多幅影像的特征点，再根据特征点周围的邻域信息生成描述向量，然后基于特征点的位置信息以及描述子的结构信息进行特征点的配对，最后剔除误匹配点得到目标图像的变换矩阵，从而对其进行几何校正，即将两幅影响转换到统一的坐标系下
。
通常来说，图像配准都是作为计算机视觉领域中的第一步，其后的图像处理都是基于配准后的图像
。
[0004]不同类型的传感器可以获取不同类型的影像
。
根据成像传感器的异同，图像配准可以分为同源和异源两大类
。
同源图像配准是指用于配准的两幅或多幅影像源自相同类型的传感器
。
鉴于成像时间
、
角度，以及光照条件等差异，目标区域在像素坐标和灰度信息上存在显著不同，因此需要通过相似性度量或明显的特征建立几何空间中的对应关系
。
经典的同源图像配准包括可见光
‑
可见光配准
、
红外图像
‑
红外图像配准
。
而异源图像配准是指用于配准的两幅或多幅影像来源于不同类型的传感器
。
随着遥感技术逐渐普及，单一传感器采集的图像已无法满足一些较复杂场景下的应用，而多种传感器采集的图像可以通过信息融合实现信息互补，这一优势使得人们对异源图像配准的需求更加迫切
。
例如在军事打击中，可见光图像具有丰富的纹理信息，但容易收到天气情况的影响，例如夜间成像
。
而波长更长的红外线对热源更敏感，红外图像具备全天候成像的能力，因此可见光
‑
红外影像可以通过信息融合实现信息的互补
。
[0005]可见光
‑
SAR
影像配准是一种经典的异源图像配准模式
。SAR
又称合成孔径雷达，通过卫星发射微波到地面，再接收从地面反射回来的微波信号，通过解译等处理得到影像
。
它是一种主动式的对地观测卫星，具有很强的地表穿透能力，利用
SAR
影像可以实施全天候的对地观测
。
而可见光图像是一种常见的遥感影像，具有丰富的纹理信息
。
缺点是易受天气条件的影响，夜间成像或目标区域有云
、
雨
、
雾气遮挡，会导致局部成像效果差
。
二者信息互补，可用于图像融合，在图像信息融合之前，需要采用图像配准技术对目标图像进行几何校正
。
由于两种图像的特性，光学影像和
SAR
影像间存在显著的非线性辐射畸变
(NRD)
，会导致
传统的点特征匹配算法失效
。
因此，异源图像配准要求算法对图像本身具有更高层次的理解能力，从结构信息和位置信息出发找出异源图像间的共性
。
不仅针对遥感领域中的特定场景和模态，本文对其他场景下的计算机视觉任务的研究也具有重要意义
。

技术实现思路

[0006]在遥感领域，
SAR
成像几乎不受天气条件和时间的影响，能够全天候
、
全天时的成像
。
相对于同源图像任务，光学图像和
SAR
影像的成像特点在于：首先，
SAR
影像存在斑点噪声；其次，由于成像原理的不同，可见光与
SAR
影像存在诸如叠影
、
透视收缩
、
雷达阴影等几何特性差异
。
同时，可见光与
SAR
影像存在辐射特性差异，这是由于二者成像在不同波长，导致光学图像和
SAR
影像存在
NRD
差异，而
NRD
差异会使图像的同名区域呈现出不同的灰度特征
。
而同源图像配准任务以其相对简单
、
处理方法较为成熟的原因，已得到广泛应用
。
鉴于可见光与
SAR
影像的特点，本专利技术在用点特征处理二者的配准问题时，先用二维对数
‑
Gabor
滤波器
(2D
‑
LGF)
将图像转换成
MIP
，再用处理同源图像的方法处理可见光与
SAR
配准问题
。
[0007]本专利技术提出的基于
MIP
的可见光与
SAR
影像智能配准方法，主要包括
MIP
构建
、
特征检测与描述网络
、
特征匹配网络这三个步骤，网络的整体结构如图1所示
。
给定相同大小的光学影像和
SAR
影像，网络将输出预测的变换矩阵
A
match
。
首先，使用
2D
‑
LGF
将图像转换成
MIP
，再用处理同源图像的方法处理可见光与
SAR
配准问题
。
其次，使用
CNN
网络进行图像区域特征的提取与描述，分别得到一个点集，每个点集包括特征点坐标及其置信度，以及描述符
。
接着，将此点集输入特征匹配网络
。
最后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于最大索引图的可见光与
SAR
影像智能配准方法，其特征在在于，包括如下步骤：第一步，获取可见光学图像和
SAR
影像构建数据集；第二步，利用
2D
‑
LGF
分别生成可见光学图像的响应图和
SAR
影像的响应图；第三步，将所述可见光学图像的响应图和
SAR
影像的响应图分别转化为可见光学图像的最大索引图和
SAR
影像的最大索引图；第四步，使用卷积网络分别将所述的可见光学图像的最大索引图和
SAR
影像的最大索引图输入一个参数共享的编码器，并将该编码器的输出同时输入特征检测码器和特征描述解码器，最终获得特征点
、
相应置信度及描述向量；第五步，利用
MLP
将特征点的位置和置信度嵌入高维度的描述向量中，得到新的描述符；第六步，将位置编码器得到的新的描述符输入图神经网络进一步聚合上下文信息，利用自注意...

【专利技术属性】
技术研发人员：李元祥，倪润生，李鑫晟，程志祥，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：