一种基于机载光电系统多模态图像的特征提取与匹配方法技术方案

本发明专利技术属于机载光电侦察、态势感知技术领域，公开了一种基于机载光电系统多模态图像的特征提取与匹配方法，其包括以下步骤：S1：多模态图像特征提取；S2：匹配模板自适应选择；S3：基于模板的核相关匹配；S4：误匹配剔除。本发明专利技术在对机载光电系统的多模态图像进行特征提取之后生成特征图，基于特征图进行大量特征点的匹配剔除误匹配得到正确匹配点对，最终实现多模态图像的正确匹配，可提升在多个任务场景下的能力。的能力。的能力。

【技术实现步骤摘要】
一种基于机载光电系统多模态图像的特征提取与匹配方法


[0001]本专利技术属于机载光电侦察、态势感知
，涉及一种基于机载光电系统多模态图像的特征提取与匹配方法。

技术介绍

[0002]机载光电系统一般具备多个光电传感器，部分先进的光电系统还具备强大的数据存储和处理能力，包括海量地形数据的存储和三维重建和实时渲染处理，能够提供不同模态甚至是不同维度的目标和场景相关的图形图像，以及多光谱图像。
[0003]不同的图像提供了不同的场景或目标信息，具有较强的互补特性，将多模态图像进行融合能够提取各自信息进行互补，在多个任务下具有强烈的需求，包括辅助导航、高精度定位、目标打击路线预测与时机预测等等。然而多模态的图像本身存在较大的差异，包括纹理差异、维度差异、跨尺度、视角差等。目前还存在着非常大的技术挑战。

技术实现思路

[0004](一)专利技术目的
[0005]为了使机载光电系统具备多模态图像的处理融合能力，本专利技术提出一种基于机载光电系统多模态图像的特征提取与匹配方法，于同一场景下的多模态图像进行特征提取和匹配，包括光电与红外图像，光电图像与合成视觉图像，红外图像与合成视觉图像，以及与多光谱图像的组合等。
[0006](二)技术方案
[0007]为了解决上述技术问题，本专利技术提供一种基于机载光电系统多模态图像的特征提取与匹配方法，首先，采集光电系统中光电传感器实时图像和需要匹配的另一路视频图像，基于二维信号局部频率特征提取相位一致性特征。其次，基于选择的特征，初始化对应模板。第三，以核相关滤波方法，匹配对应的多模态图像。第四，基于向量场一致性，剔除相关误匹配。
[0008](三)有益效果
[0009]上述技术方案所提供的基于机载光电系统多模态图像的特征提取与匹配方法，在对机载光电系统的多模态图像进行特征提取之后生成特征图，基于特征图进行大量特征点的匹配剔除误匹配得到正确匹配点对，最终实现多模态图像的正确匹配，可提升在多个任务场景下的能力。
附图说明
[0010]图1是本专利技术中方法的流程组成示意图。
具体实施方式
[0011]为使本专利技术的目的、内容和优点更加清楚，下面结合附图和实施例，对本专利技术的具
体实施方式作进一步详细描述。
[0012]如图1所示，本专利技术实施例多模态图像特征提取与匹配方法包括以下步骤：首先基于输入的两路视频图像进行特征提取；其次，基于特征图生成均匀特征点，并根据最大稳定度极值区域对其中一路特征点生成自适应的匹配模板；第三，基于生成的模板在另一路特征图中，利用核相关算法进行匹配；第四，针对模板匹配的结果，利用向量场一致性进行误匹配剔除。
[0013]下面对上述过程中的每个步骤进行详细描述：
[0014]S1：多模态图像特征提取
[0015]输入的图像可以是可见光图像、红外图像、合成视景图像以及多光谱图像中的任意两种，对输入的图像，首先根据相位一致性方法进行特征提取，包括特征角点和特征边缘。
[0016]相位一致性方法按照如下计算过程提取：
[0017][0018]式中，为相位的加权平均，A
n
为傅立叶变换第n个余弦分量的振幅，根据上式可看出，若所有傅里叶分量都具有一致的相位，则比值为1，反之，比值为0，即相位一致性是一个无量纲的量，反映的是图像相位特征信息，具有图像局部亮度不变形特点和对比度不变性特点。该方法的此特点正是多传感器、多时相图像特征匹配的关键。将相位一致性扩展到二维空间，输入图像为上述过程中得到的光电传感器图像和数字地图对应区域，将该图像视作二维信号，对该二维信号按照如下方法提取特征点，其计算公式为：
[0019][0020]其中，PC(x,y)是相位一致性的特征值，(x,y)为图像特征点坐标。W0(x,y)为频率扩展的权重因子；A
n0
(x,y)为像点(x,y)在log Gabor滤波器尺度n和方向o上的振幅，符号表示值为正时取本身，否则取0，T为噪声阈值，ε为一个避免分母为0的常数，A
n0
(x,y)Δφ
n0
(x,y)通过log Gabor小波的偶对称滤波器响应值e
n0
(x,y)和奇对称滤波器响应值o
n0
(x,y)来计算：
[0021][0022]式中：
[0023][0024][0025]其中，E(x,y)是局部能量函数，定义为：
[0026][0027]对两路视频图像，经过上述计算过程，得到两路特征图，分别记为P
eo
(x,y)和P
svs
(x,y)。
[0028]S2：基于特征图均匀选择特征点，并基于所选特征点计算匹配模板：
[0029]以步骤S1输出的其中一路特征图P
eo
(x,y)为输入，以固定网格宽度λ对该特征图进行网格划分，固定网格宽度λ可自行根据实际情况调整。针对划分的网格特征图，在每一个具体网格中搜索相位一致性值最大的点作为特征点，生成特征点图，记为P
eo_point
(x,y)，特征点数记为n。
[0030]以P
eo_point
(x,y)中的n个所选特征点为中心，以最大稳定度极值算法生成n个匹配模板子区域，该子区域包含了特征图的一部分，以此作为待匹配的模板。
[0031]S3：核相关算法匹配：
[0032]以步骤S2中生成的n个匹配的目标模板为输入，以另一路特征图P
svs
(x,y)为待匹配的搜索区域，利用核相关滤波(KCF)算法进行匹配跟踪，可以得到n个匹配子区域。针对n个匹配子区域，分别确定其中心作为待评估的候选点，记为P
svs_point
(x,y)。
[0033]截止目前，得到了n个匹配点对，分别为P
eo_point
(x,y)和P
svs_point
(x,y)。
[0034]S4：误匹配剔除：
[0035]以步骤S2中得到的特征点P
eo_point
(x,y)和步骤S3中生成得到的匹配点P
svs_point
(x,y)为输入，利用GLPM(位置引导保持匹配)算法可对上述推定匹配数据集进行误匹配剔除，得到正确的匹配点对集，记为P
eo_true_point
(x,y)和P
eo_true_point
(x,y)。
[0036]得到了多模态图像之间的正确匹配点对之后，就可以基于匹配点对进行进一步的空间相对运动解算，并进行进一步的空间位姿估计等等，从而利用计算机视觉的相关成果为后续辅助导航、目标侦查定位等任务提供基础性支撑技术。
[0037]由上述技术方案可以看出，本专利技术在对机载光电系统的多模态图像进行特征提取之后生成特征图，基于特征图进行大量特征点的匹配剔除误匹配得到正确匹配点对，最终实现多模态图像的正确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机载光电系统多模态图像的特征提取与匹配方法，其特征在于，包括以下步骤：S1：多模态图像特征提取；S2：匹配模板自适应选择；S3：基于模板的核相关匹配；S4：误匹配剔除。2.如权利要求1所述的基于机载光电系统多模态图像的特征提取与匹配方法，其特征在于，所述步骤S1中，多模态图像为可见光图像、红外图像、合成视景图像以及多光谱图像中的任意两种。3.如权利要求2所述的基于机载光电系统多模态图像的特征提取与匹配方法，其特征在于，所述步骤S1中，多模态图像特征提取时，首先根据相位一致性方法进行特征提取，包括特征角点和特征边缘。4.如权利要求3所述的基于机载光电系统多模态图像的特征提取与匹配方法，其特征在于，所述步骤S1中，对输入图像进行特征提取时采用的公式如下：相位一致性方法按照如下计算过程提取：式中，为相位的加权平均，A
n
为傅立叶变换第n个余弦分量的振幅；将相位一致性扩展到二维空间，输入图像为上述过程中得到的光电传感器图像和数字地图对应区域，将该图像视作二维信号，对该二维信号按照如下方法提取特征点，其计算公式为：其中，PC(x,y)是相位一致性的特征值，(x,y)为图像特征点坐标；W0(x,y)为频率扩展的权重因子；A
n0
(x,y)为像点(x,y)在log Gabor滤波器尺度n和方向o上的振幅，符号表示值为正时取本身，否则取0，T为噪声阈值，ε为一个避免分母为0的常数，A
n0
(x,y)Δφ
n0
(x,y)通过log Gabor小波的偶对称滤波器响应值e
n0
(x,y)和奇对称滤波器响应值o
n0
(x,y)来计算：式中：式中：其中，E(x,y)是局部能量函数，定义为：
对两路视频图像，经过上述计算过程，得到两路特征图，分别记为P
eo
(x,y)和P
svs
(x,y)。5.如权利要求4所述的基于机载光电系统多模态图像的特征提取与匹配方法，其特征在于，所述步骤S2中，基于特征图均匀选择特征点，...

【专利技术属性】
技术研发人员：李辉，高强，肖相国，范浩硕，郭羽，刘建平，王常世，杨科，康臻，薛媛元，赵俊成，
申请(专利权)人：西安应用光学研究所，
类型：发明
国别省市：