基于显著区域特征和边缘度的可见光-红外图像配准方法技术

本发明专利技术公开了一种基于显著区域特征和边缘度的可见光‑红外图像配准方法，用于解决现有可见光‑红外图像配准方法提取的图像间特征相似度低导致配准精度差的技术问题。技术方案是采用基于自适应局部对比度的显著性区域检测方法从待配准图像对中提取显著区域，利用Zernike旋转不变矩描述显著区域形状特征，保证了所利用特征的平移、灰度、尺度和旋转不变性，通过RANSAC求取同名点对估计得到初始变换参数；最后利用边缘度构造的三维联合直方图对初始变换参数进行优化得到最终结果。该方法通过异源图像间相似度较高的显著区域和边缘度特征及Zernike矩的不变性，提高了图像配准的精度。

【技术实现步骤摘要】

本专利技术涉及一种可见光-红外图像配准方法，特别是涉及一种基于显著区域特征和边缘度的可见光-红外图像配准方法。
技术介绍
多源图像配准技术是指将不同类型的传感器针对同一场景，从不同时间、从不同角度所获得的两幅或多幅图像数据进行预处理后，采用一定的算法、模型将它们的互补性信息或优势信息结合起来，变换到同一坐标系下的过程。将多源图像中的数据进行可选择性的有机结合，能够更加全面真实的反映出事物本质信息和特征的多源融合技术的需求日益增多。多源图像配准为多源图像提供了统一的空间基准，是多源图像融合的基础，同时也可用于图像拼接、目标检测、运动估计、特征匹配等应用，具有非常重要的研究和实用价值。可见光和红外图像间的边缘方向基本保持一致，且克服了梯度带来的差异。文献1“J.H.Lee,Y.S.Kim,D.Lee,etal.RobustCCDandIRimageregistrationusinggradient-basedstatisticalinformation,IEEESignalProcess.Lett.17(4)(2010)347–350”公开了一种基于边缘度构造三维联合直方图的可见光-红外图像配准方法。该方法首先计算图像边缘度和梯度信息，然后构建三维联合直方图，根据信息熵作为相似性测度进行优化得到图像变换矩阵。文献所述方法在平均目标配准误差(TargetRegistrationError)和配准成功率上明显优于其他方法，但由于构建三维联合直方图计算量较大，优化搜索空间大，受初始值影响容易陷入局部最优解，导致配准结果适应度不高。人类的视觉容易被场景或图像中的较显著区域所吸引，对其他区域“视而不见”，称该区域具有显著性。文献2“ChengMM,ZhangGX,MitraNJ,etal.Globalcontrastbasedsalientregiondetection[C].ComputerVisionandPatternRecognition(CVPR),2011IEEEConferenceon.IEEE,2011:409-416”中分别基于全局直方图统计对比度和局部区域对比度进行了显著性区域的检测。其方法在正确率和召回率上明显优于其他方法，简单高效，适合于对图像进行显著性区域检测与分割。在对多源图像的显著性区域进行检测分割后，得到的相对应显著性区域的形状大体上相似。基于此，可利用Zernike不变矩对显著性区域的形状进行分析比较。1979年，根据正交多项式理论，M.R.Teague提出了Zernike矩，Zernike矩能够很容易地构造图像的任意高阶矩，并能够使用较少的矩来重建图像，且具有平移、灰度、尺度和旋转不变性。
技术实现思路
为了克服现有可见光-红外图像配准方法提取的图像间特征相似度低导致配准精度差的不足，本专利技术提供一种基于显著区域特征和边缘度的可见光-红外图像配准方法。该方法采用基于自适应局部对比度的显著性区域检测方法从待配准图像对中提取显著区域，利用Zernike旋转不变矩描述显著区域形状特征，保证了所利用特征的平移、灰度、尺度和旋转不变性，通过RANSAC求取同名点对估计得到初始变换参数；最后利用边缘度构造的三维联合直方图对初始变换参数进行优化得到最终结果。该方法通过异源图像间相似度较高的显著区域和边缘度特征及Zernike矩的不变性，提高了图像配准的精度。本专利技术解决其技术问题所采用的技术方案是：一种基于显著区域特征和边缘度的可见光-红外图像配准方法，其特点是包括以下步骤：步骤一、基于改进的局部对比度的显著性区域检测。首先，使用基于图的图像分割算法将输入图像分割成若干区域，计算各区域的颜色直方图，则区域rk显著性值S(rk)的计算方法为式(1)。式中，ω(ri)为区域ri的权值，Dr(rk,ri)为区域rk和ri之间的颜色距离度量，其计算方法见式(2)。式中，f(ck,i)为第i个颜色ck,i在第k个区域rk的所有颜色中出现的概率，该概率密度函数即为归一化的颜色直方图。D(c1,i,c2,j)为颜色c1,i和颜色c2,j的Lab空间颜色距离。其次，考虑空间影响，将空间信息作为权值代入式(1)中，则区域rk的显著性值S(rk)为：式中，DS(rk,ri)为区域rk和ri的质心的欧氏距离；σS是控制空间权值大小的阈值，σS越小，空间权值影响越大，较远区域的对比度对当前区域的显著性值影响较小。由于可见光图像和红外图像分辨率不一致，因此采用自适应的空间权值σS，计算公式如式(4)：式中，Dang是图像对角线的长度，num是区域数量。步骤二、基于Zernike矩的显著性区域形状特征描述。Zernike矩是基于Zernike多项式构造出来的，m阶n次的Zernike多项式的定义范围为x2+y2≤1。其定义为式(5)。Vmn(x,y)＝Vmn(ρ,θ)＝Rmn(ρ)ejnθ(5)式中，m为非负整数，m-|n|为偶数且m≥|n|；ρ为原点到点(x,y)的矢量长度；θ为x轴与ρ矢量逆时针方向夹角；Rmn(ρ)为点(x,y)的径向多项式，计算公式如下所示：由此给出Zernike矩的定义为式(9)。将Zernike矩的实部和虚部分别记为Cmn和Smn，则：将Zernike矩用于处理二维图像数据，因此需要对式(10)和式(11)进行离散化。引入两个新的参数(r,σ)，分别定义为：r＝max(|x|,|y|)(12)对于N×N的图像f(x,y)，以图像中心为坐标原点，则图像中的坐标值都满足-N/2≤(x、y)≤N/2。由式(12)和式(13)得知，r和σ的取值范围分别为1≤r≤N/2，1≤σ≤8r。则式(6)和式(7)分别改写为式(14)和式(15)。θ＝4πσr(15)经过新的变换，式(10)和式(11)可分别离散化为式(16)和式(17)。综上所述，Zernike矩计算方法如下：①确定图像f(x,y)的大小，从而确定式(16)和式(17)中N的值以及r和σ的取值范围；②利用式(8)计算出Rmn(ρ)的值，并结合式(16)和式(17)计算出Zernike矩的实部Cmn和虚部Smn；③对Cmn和Smn求模，得到Zernike矩的幅值|Zmn|。由于尺度差异问题，还使用区域rk最小外接矩形的对角线lk对|Zmn|尺度归一化，计算方法如式(18)：将Zernike矩用于显著性图中各显著性区域的形状分析，由于Zernike矩能够构造任意高阶，但考虑到计算复杂度，采用前36阶Zernike矩对区域特征进行描述。综上所述，对区域rk的Zernike矩描述子为：其中m∈{0,1,2,3,4,5,6,7本文档来自技高网...

【技术保护点】
一种基于显著区域特征和边缘度的可见光‑红外图像配准方法，其特征在于包括以下步骤：步骤一、基于改进的局部对比度的显著性区域检测；首先，使用基于图的图像分割算法将输入图像分割成若干区域，计算各区域的颜色直方图，则区域rk显著性值S(rk)的计算方法为式(1)；S(rk)=Σrk≠riω(ri)Dr(rk,ri)---(1)]]>式中，ω(ri)为区域ri的权值，Dr(rk,ri)为区域rk和ri之间的颜色距离度量，其计算方法见式(2)；Dr(r1,r2)=Σi=1n1Σj=1n2f(c1,i)f(c2,j)D(c1,i,c2,j)---(2)]]>式中，f(ck,i)为第i个颜色ck,i在第k个区域rk的所有颜色中出现的概率，该概率密度函数即为归一化的颜色直方图；D(c1,i,c2,j)为颜色c1,i和颜色c2,j的Lab空间颜色距离；其次，考虑空间影响，将空间信息作为权值代入式(1)中，则区域rk的显著性值S(rk)为：S(rk)=Σrk≠riexp(-DS(rk,ri)σS2)&omega;(ri)Dr(rk,ri)---(3)]]>式中，DS(rk,ri)为区域rk和ri的质心的欧氏距离；σS是控制空间权值大小的阈值，σS越小，空间权值影响越大，较远区域的对比度对当前区域的显著性值影响较小；由于可见光图像和红外图像分辨率不一致，因此采用自适应的空间权值σS，计算公式如式(4)：σs=D‾/DangD‾=Σrk≠riDs(rk,ri)/(num-1)---(4)]]>式中，Dang是图像对角线的长度，num是区域数量；步骤二、基于Zernike矩的显著性区域形状特征描述；Zernike矩是基于Zernike多项式构造出来的，m阶n次的Zernike多项式的定义范围为x2+y2≤1；其定义为式(5)；Vmn(x,y)＝Vmn(ρ,θ)＝Rmn(ρ)ejnθ  (5)式中，m为非负整数，m‑|n|为偶数且m≥|n|；ρ为原点到点(x,y)的矢量长度；θ为x轴与ρ矢量逆时针方向夹角；Rmn(ρ)为点(x,y)的径向多项式，计算公式如下所示：ρ=x2+y2(-1<x,y<1)---(6)]]>θ=arctan(yx)(-1<x,y<1)---(7)]]>Rmn(ρ)=Σs=0(m-|n|)/2(-1)s(m-s)!ρm-2ss!(m+|n|2-s)!(m+|n|2-s)!---(8)]]>由此给出Zernike矩的定义为式(9)；Zmn=m+1π∫01∫02π[Vmn(ρ,θ)]f(ρ,θ)ρdydxdρdθ=m+1π∫∫Rmn(ρ)ejnθf(ρ,θ)dρdθ---(9)]]>将Zernike矩的实部和虚部分别记为Cmn和Smn，则：Cmn=2m+2π∫01∫02πRmn(ρ)cos(nθ)f(ρ,θ)ρdρdθ---(10)]]>Smn=2m+2π∫01∫02πRmn(ρ)sin(nθ)f(ρ,θ)ρdρdθ---(11)]]>将Zernike矩用于处理二维图像数据，因此需要对式(10)和式(11)进行离散化；引入两个新的参数(r,σ)，分别定义为：r＝max(|x|,|y|)  (12)σ=2(r-x)y|y|+xyr,r=|x|σ=2y-xyr,r=|x|---(13)]]>对于N×N的图像f(x,y)，以图像中心为坐标原点，则图像中的坐标值都满足‑N/2≤(x、y)≤N/2；由式(12)和式(13)得知，r和σ的取值范围分别为1≤r≤N/2，1≤σ≤8r；则式(6)和式(7)分别改写为式(14)和式(15)；ρ=2rN---(14)]]>θ＝4πσr  (15)经过新的变换，式(10)和式(11)可分别离散化为式(16)和式(17)；Cmn=2m+2N2Σr=1N/2Rmn(2rN)Σσ=18rcosπnσ4rf(r,&sigma...

【技术特征摘要】
1.一种基于显著区域特征和边缘度的可见光-红外图像配准方法，其特征在于包括以下步骤：步骤一、基于改进的局部对比度的显著性区域检测；首先，使用基于图的图像分割算法将输入图像分割成若干区域，计算各区域的颜色直方图，则区域rk显著性值S(rk)的计算方法为式(1)；S(rk)=Σrk≠riω(ri)Dr(rk,ri)---(1)]]>式中，ω(ri)为区域ri的权值，Dr(rk,ri)为区域rk和ri之间的颜色距离度量，其计算方法见式(2)；Dr(r1,r2)=Σi=1n1Σj=1n2f(c1,i)f(c2,j)D(c1,i,c2,j)---(2)]]>式中，f(ck,i)为第i个颜色ck,i在第k个区域rk的所有颜色中出现的概率，该概率密度函数即为归一化的颜色直方图；D(c1,i,c2,j)为颜色c1,i和颜色c2,j的Lab空间颜色距离；其次，考虑空间影响，将空间信息作为权值代入式(1)中，则区域rk的显著性值S(rk)为：S(rk)=Σrk≠riexp(-DS(rk,ri)σS2)ω(ri)Dr(rk,ri)---(3)]]>式中，DS(rk,ri)为区域rk和ri的质心的欧氏距离；σS是控制空间权值大小的阈值，σS越小，空间权值影响越大，较远区域的对比度对当前区域的显著性值影响较小；由于可见光图像和红外图像分辨率不一致，因此采用自适应的空间权值σS，计算公式如式(4)：σs=D‾/DangD‾=Σrk≠riDs(rk,ri)/(num-1)---(4)]]>式中，Dang是图像对角线的长度，num是区域数量；步骤二、基于Zernike矩的显著性区域形状特征描述；Zernike矩是基于Zernike多项式构造出来的，m阶n次的Zernike多项式的定义范围为x2+y2≤1；其定义为式(5)；Vmn(x,y)＝Vmn(ρ,θ)＝Rmn(ρ)ejnθ(5)式中，m为非负整数，m-|n|为偶数且m≥|n|；ρ为原点到点(x,y)的矢量长度；θ为x轴与ρ矢量逆时针方向夹角；Rmn(ρ)为点(x,y)的径向多项式，计算公式如下所示：ρ=x2+y2(-1<x,y<1)---(6)]]>θ=arctan(yx)(-1<x,y<1)---(7)]]>Rmn(ρ)=Σs=0(m-|n|)/2(-1)s(m-s)!ρm-2ss!(m+|n|2-s)!(m+|n|2-s)!---(8)]]>由此给出Zernike矩的定义为式(9)；Zmn=m+1π∫01∫02π[Vmn(ρ,θ)]f(&r...

【专利技术属性】
技术研发人员：张艳宁，陈妍佳，张秀伟，黄梅娇，李飞，符志鹏，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61