利用几何结构特征从粗到精的红外与可见光图像配准方法技术

本发明专利技术涉及一种利用几何结构特征从粗到精的红外与可见光图像配准方法，包括以下步骤：(1)对红外与可见光图像分别提取图像边缘及兴趣点这两种几何结构特征，为后续的图像配准做准备；(2)利用边缘对准算法求解初始变换参数，寻找可以使两幅图像的边缘重叠率最大的图像变换；(3)利用上一步计算出的近似变换将每一个兴趣点的待匹配区域缩小为其变换点的邻域范围以排除无关点的干扰，之后利用尺度不变特征变换(SIFT)描述子执行缩小待匹配区域的兴趣点匹配操作；(4)对初始匹配点对执行改进的随机采样一致性(RANSAC)操作以移除误匹配点对；(5)利用剩余的正确匹配点对计算出最终的更加准确的图像变换，完成配准任务。

【技术实现步骤摘要】
利用几何结构特征从粗到精的红外与可见光图像配准方法
本专利技术涉及一种利用几何结构特征从粗到精的红外与可见光图像配准方法，属于数字图像处理及计算机视觉领域，它主要涉及兴趣点检测及匹配、边缘提取和图像变换技术。在各类基于红外与可见光图像配准的目标识别、军事侦察或遥感系统中有广泛的应用。
技术介绍
由于一对红外与可见光图像可以提供非常有用的互补信息以提高相关任务的效率和准确性，所以红外与可见光图像配准技术被广泛应用于诸如遥感、基于配准融合的目标识别和军事侦察等许多领域中。然而，红外与可见光图像在灰度上差异很大，比如：图像的某些区域存在着对比度反转而其他区域不存在；存在于一幅图像中的视觉特征在另一幅图像中可能并不存在等(参见文献：伊拉尼等.多传感器成像的鲁棒配准.计算机视觉国际会议论文集,1998,959-966.(IraniM.,AnandanP..Robustmulti-sensorimagealignment.ProceedingsofInternationalConferenceonComputerVision,1998,959-966.))。因此，对于红外与可见光图像配准的研究非常有意义而且需要克服很多难题。过去几年中已经提出了很多关于红外与可见光图像配准的方法，主要分为两类：基于特征的配准方法(参见文献：[1]何卡克等.基于角点与豪斯多夫距离的红外与可见光图像配准.计算机科学报告文集：图像分析,2007,383-392.([1]T.,Z.,KrapacJ..Infrared-visualimageregistrationbasedoncornersandhausdorffdistance.LectureNotesinComputerScience:ImageAnalysis,2007,383-392.)[2]李等.基于梯度统计信息的鲁棒CCD与IR图像配准.信号处理快报,2010,17(4):347-350.([2]LeeJ.H.,etal.RobustCCDandIRimageregistrationusinggradient-basedstatisticalinformation.SignalProcessingLetters,2010,17(4):347-350.)[3]韩俊功等.人造环境中利用混合视觉特征的可见光与红外图像配准.模式识别快报,2013,34(1):42-51.([3]HanJ.,PauwelsE.J.,DeZ.P..Visibleandinfraredimageregistrationinman-madeenvironmentsemployinghybridvisualfeatures.PatternRecognitionLetters,34(1):42-51.))和基于区域的配准方法(参见文献：[1]伊拉尼等.多传感器成像的鲁棒配准.计算机视觉国际会议论文集,1998,959-966.([1]IraniM.,AnandanP..Robustmulti-sensorimagealignment.ProceedingsofInternationalConferenceonComputerVision,1998,959-966.)[2]斯沃纳兹等.应用于多分辨率图像配准的共有信息最优化方法.电气电子工程师学会图像处理汇刊,2000,9(12):2083-2099.([2]ThévenazP.,UnserM..Optimizationofmutualinformationformultiresolutionimageregistration.IEEETransactionsonImageProcessing,2000,9(12):2083-2099.))。基于特征的方法首先提取图像中的显著视觉特征，然后利用这些特征去估计变换参数。与基于特征的方法不同，基于区域的方法利用整个图像内容来估计变换参数。具体来说，该方法主要是利用最优化方法来最小化两幅图像的亮度差异平方和、最大化两幅图像的标准化互相关函数或最优化两幅图像的共有信息等。在大多数情况下，基于特征的配准方法要比基于区域的配准方法表现得更好，这是因为仅仅利用具有良好鉴别性的视觉特征来进行图像配准具有更高的效率和更强的针对性。更重要的是，基于区域的配准方法不能处理未对准偏差较大的图像配准问题，这是因为最优化方法需要一个充分接近于真实解的初始点来开始运算以便最终收敛。鉴于以上原因，本专利技术采用基于特征的配准方法，下面也将着重介绍基于特征的红外与可见光图像配准算法。从以上分析来看，基于特征的配准方法需要解决如下三个主要问题：(1)特征提取，保证两幅图像中的大部分特征能够对应于实际场景中的相同位置；(2)特征描述，确保图像间特征的准确匹配；(3)配准策略，能够有效地利用特征来计算图像间准确的变换关系。应用最广的特征包括兴趣点、区域、边缘/梯度信息或者直线等。对于描述子，最常用的包括梯度幅值信息描述子、梯度方向信息描述子或不变矩描述子等。配准策略非常重要，主要有两类方法：第一类为利用描述子进行特征匹配(参见文献：[1]金等.基于亮度与边缘方向信息的多传感器图像配准.模式识别,2008,41(11):3356-3365.([1]KimY.S.,LeeJ.H.,RaJ.B..Multi-sensorimageregistrationbasedonintensityandedgeorientationinformation.PatternRecognition,2008,41(11):3356-3365.)[2]戴晓龙等.利用结合不变矩的改进链码表示法的基于特征的图像配准算法.电气电子工程师学会地理与遥感汇刊,1999,37(5):2351-2362.([2]DaiX.,KhorramS..Afeature-basedimageregistrationalgorithmusingimprovedchain-coderepresentationcombinedwithinvariantmoments.IEEETransactionsonGeoscienceandRemoteSensing,1999,37(5):2351-2362.)[3]李等.基于梯度统计信息的鲁棒CCD与IR图像配准.信号处理快报,2010,17(4):347-350.([3]LeeJ.H.,etal.RobustCCDandIRimageregistrationusinggradient-basedstatisticalinformation.SignalProcessingLetters,2010,17(4):347-350.)[4]考拉斯等.基于分割的红外与可见光图像配准技术.光学工程,2000,39(1):282-289.([4]CoirasE.,SantamariJ.,MiravetC..Segment-basedregistrationtechniqueforvisual-infraredimages.OpticalEngineering,39(1):282-289.))。第二类为对特征进行几何结构对准(参见文献：[1]韩俊功等.利用直线几何结构分析的本文档来自技高网...

【技术保护点】
利用几何结构特征从粗到精的红外与可见光图像配准方法，其特征在于：它包含以下具体步骤：步骤一：对红外与可见光图像分别提取图像边缘及兴趣点这两种几何结构特征，为后续的图像配准做准备；步骤二：利用边缘对准算法求解初始变换参数，具体方法为：首先利用尺度不变特征变换(SIFT)描述子执行一次常规的兴趣点匹配操作，对于可见光图像中的每一个兴趣点，在整个红外图像上寻找与其描述子间距离最近的兴趣点，之后列举出匹配点对之间两两组合的所有情况并利用每个组合计算出一个仿射变换，从中挑选出使两幅图像的边缘重叠率最大的图像变换；步骤三：利用上一步计算出的近似变换将每一个兴趣点的待匹配区域缩小为其变换点的邻域范围，以排除无关点干扰并提高兴趣点匹配的准确性，之后利用尺度不变特征变换(SIFT)描述子执行缩小待匹配区域的兴趣点匹配操作，具体为：对于可见光图像中的每一个兴趣点，仅仅在其待匹配区域内寻找与其描述子间距离最近的兴趣点；步骤四：对初始匹配点对执行改进的随机采样一致性(RANSAC)操作以移除误匹配点对，传统的随机采样一致性(RANSAC)操作在计算出仿射变换模型后，仅仅使用满足该仿射变换模型的匹配点对数目来评价模型；这种评价方式是不够准确的，在对仿射变换模型的评价中加入了边缘重叠率因素，同时考虑匹配点对数目和边缘重叠率两方面因素，提高算法的准确性；步骤五：利用剩余的正确匹配点对计算出最终的更加准确的图像变换，完成配准任务。...

【技术特征摘要】
1.利用几何结构特征从粗到精的红外与可见光图像配准方法，其特征在于：它包含以下具体步骤：步骤一：对红外与可见光图像分别提取图像边缘及兴趣点这两种几何结构特征，为后续的图像配准做准备；步骤二：利用边缘对准算法求解初始变换参数，具体方法为：首先利用尺度不变特征变换(SIFT)描述子执行一次常规的兴趣点匹配操作，对于可见光图像中的每一个兴趣点，在整个红外图像上寻找与其描述子间距离最近的兴趣点，之后列举出匹配点对之间两两组合的所有情况并利用每个组合计算出一个仿射变换，从中挑选出使两幅图像的边缘重叠率最大的图像变换；步骤三：利用上一步计算出的近似变换将每一个兴趣点的待匹配区域缩小为其变换点的邻域范围，以排除无关点干扰...

【专利技术属性】
技术研发人员：杨超，白相志，周付根，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11