一种基于非子采样轮廓波变换的图像融合方法技术

本发明专利技术提出一种基于非子采样轮廓波变换的图像融合方法，包括以下步骤：①使用非子采样轮廓波变换对图像进行多尺度分解，得到高频子图像系列和低频子图像；②对高频子图像，采用基于清晰度选择的融合方法进行融合；③对低频子图像，用可分割条件进行判断，根据判断结果选择采用四区域关联或者二区域关联方法对低频子图像分割，分割后的区域采用相应像素灰度值选择规则进行融合；④对高频子图像的融合结果与低频子图像的融合结果采用非子采样轮廓波逆变换，得到最终的融合结果。本发明专利技术可以有效保留源图像中的边缘信息，增大目标背景对比度，突出图像目标特征，融合结果适合进行视觉分析和目标检测等进一步的处理。

【技术实现步骤摘要】

本专利技术涉及图像融合领域，特别涉及一种基于非子采样轮廓波变换NSCT(Nonsubsampled Contourlet Transform)的图像融合方法。
技术介绍
所谓图像融合是指综合两个或多个源图像的信息，以获取对同一场景的更为精确、更为全面、更为可靠的图像描述。图像融合充分利用了多个待融合图像中包含的冗余信息和互补信息。该融合图像应更符合人或机器的视觉特性，以利于对图像的进一步分析、目标的检测、识别或跟踪。图像融合由低到高也分为三个层次像素级融合、特征级融合和决策级融合。像素级融合是在图像严格配准的条件下，直接进行像素关联融合处理。特征级融合是在像素级融合的基础上，使用模式相关、统计分析的方法进行目标识别、特征提取，并得到融合结果。决策级融合则是在上述两种处理的基础上，采用大型数据库和专家决策系统，模拟人的分析、推理过程，以增加判决的智能化和可靠性。从上面可以看出，像素级的图像融合，无论作为直接观察，还是作为进一步处理的输入，都是最基本的处理手段。因此，在图像融合研究中像素级图像融合是最活跃，同时研究成果也是最丰富的。本专利技术属于像素级图像融合，下面的讨论也围绕像素级图像融合展开。常用的像素平均法和像素加权平均法等单尺度像素级融合算法，具有实现简单、计算量小的优点，但存在融合后图像对比度下降显著，细节模糊，信息损失大等缺点，不利于应用到目标识别中。基于多尺度分解的图像融合方法由于其融合过程是在不同尺度、不同空间分辨率、不同分解层上分别进行的，因此，与单尺度图像融合方法相比，基于多尺度分解的多分辨率图像融合方法可以获得明显改善的融合效果。基于多尺度分解的融合方法主要从尺度分解方法和融合规则两方面开展研究。(1)在多尺度分解方面，从拉普拉斯金字塔(参考Burt P.J.，Andelson E.H.The Laplacian pyramid as a compact image code.IEEE Trans.OnCommunication，Vol.31(4)532-540，1983.)，比率低通金字塔(参考Toet A.，Image fusion by a ratio of low-pass pyramid，Pattern Recognition Letters，Vol.9，No.4，pp.245-253，1989)等发展到得已广泛应用的小波变换法(参考I.Daubechies，Ten Lectures on Wavelets.CBMSNSF Series in AppliedMathematics，SIAM Publications，Philadelphia，1992.)。小波变换虽然可以较好捕获边缘中的不连续点，却对轮廓上的平滑区域提取不理想，同时小波变换仅能提取有限的方向信息，无法应对多方向的边缘提取，小波重构时产生的吉伯斯现象也影响融合质量。最近提出的轮廓波变换ContourletTransform(参考文献Minh N.Do，Martin Vetterli.The Contourlet TransformAn Efficient Directional Multi-resolution Image Representation.IEEETransactions On Image Processing 2004)因其方向滤波器可以准确得到任意方向的边缘信息，而被引入到图像融合中，取得了优于小波融合法的结果。(2)在融合规则方面，目前的方法大多是直接对像素进行处理，包括对单个像素或者窗口邻域内的像素。此类方法具有结构简单，易实现等特点，但是对于目标的描述往往不是单个像素或者单个窗口领域内的像素所能达到的，所以基于像素的融合方法对于突出目标具有一定的局限性。
技术实现思路
本专利技术的目的是提供，使融合结果既能保留原图像明显边缘特征，又能增大目标与背景的对比度，从而大大提高融合后的图像质量。本专利技术按照以下步骤完成(1)将源图像A和B分别进行非子采样轮廓波变换，得到低频子图像Y0A，Y0B和一系列高频子图像YkB，YkB，k＝1，2，...，N，N为高频子图像的个数，由非子采样轮廓波变换中金字塔分解的级数和方向滤波分解的方向数决定；(2)对一系列高频子图像YkA，YkB，k＝1，2，...，N和低频子图像Y0A，Y0B进行融合(a)按照以下步骤对一系列高频子图像YkA，YkB，k＝1，2，...，N进行融合(a1)将Y1A和Y1B对应，在Y1A选取一个窗口Ai，在Y1B选取一个窗口Bi，Ai与Bi表示大小相同的同一区域；(a2)计算并比较Ai和Bi对应区域的图像平均梯度大小，选择平均梯度大的窗口对应区域图像作为融合后该区域的图像；(a3)Ai和Bi采用单像素的移动速度，按照步骤(a2)的方式，逐行逐列遍历Y1A和Y1B，得到Y1A和Y1B的融合结果Y1F；(a4)按照步骤(a1)-(a3)的方式，对Y2A和Y2B，Y3A和Y3B，...，YNA和YNB进行融合，得到系列高频子图像融合结果Y2F，Y3F，...，YNF；(b)按照以下步骤对低频子图像进行融合在T0A选取一个窗口Aj，在Y0B选取一个窗口Bj，Aj与Bj表示大小相同的同一区域，(b1)将Aj对应的区域图像ej，Bj对应的区域图像fj的方差和梯度分别与预定的临界方差和临界梯度做比较，判断ej，fj是否满足可分割条件；(b2)根据步骤(b1)的判断结果对ej与fj进行融合(I)若ej和fj均满足可分割条件将ej和fj分别分割为两个区域，将分割后的ej和fj关联得到cj，cj包括四个区域，依照cj的区域划分方式分别将ej和fj划分为相同的四个区域，分别用00、01、10、11表示，将ej和fj的区域对应，根据区域类型，选择像素灰度值大或者小的像素点作为融合后相应区域的相应像素点；(II)若ej和fj中的一个满足可分割条件设ej满足可分割条件，fj不满足可分割条件，将ej分割为两个区域，fj作为一个区域，将分割后的ej与fj关联，得到关联图像cj，cj包含两个区域，依照cj的区域划分方式分别将ej和fj划分为两个区域，将ej和fj的区域对应，比较对应区域内对应像素点的像素灰度值大小，根据区域类型，选择像素灰度值大或者小的像素点作为融合后相应区域的相应像素点； (III)若ej和fj均不满足将Y0A与T0B分别分割为两个区域，将分割后的Y0A与Y0B关联得到G，G包括四个区域，计算ej，fj的平均像素灰度值，将其分别与Y0A和Y0B的分割阈值比较，确定ej，fj属于G的哪一个区域类型，比较ej，fj对应像素点的像素灰度值大小，根据ej，fj的区域类型，选择像素灰度值大或者小的像素点作为融合后相应区域的相应像素点；(b3)Aj和Bj采用单像素的移动速度，按照步骤(b2)的方式，逐行逐列遍历Y0A和Y0B，得到低频子图像融合结果Y0F。(3)对Y1F，Y2F，Y3F，...，YNF与Y0F进行非子采样轮廓波逆变换，得到最终融合结果F。所述步骤(b1)和(b2)具体如下(b1)判断ej和fj是否满足可分割条件将ej的方差Deva和梯度Grada分别与预定的临界方差Dev0和临界梯度Grad0做比较，若Deva＞Dev0且Grada＞Grad本文档来自技高网...

【技术保护点】
一种基于非子采样轮廓波变换的图像融合方法，包括以下步骤：（１）将源图像Ａ和Ｂ分别进行非子采样轮廓波变换，得到低频子图像Ｙ↓［０］↑［Ａ］，Ｙ↓［０］↑［Ｂ］和一系列高频子图像Ｙ↓［ｋ］↑［Ａ］，Ｙ↓［ｋ］↑［Ｂ］，ｋ＝１，２，…，Ｎ ，Ｎ为高频子图像的个数，由非子采样轮廓波变换中金字塔分解的级数和方向滤波分解的方向数决定；（２）对一系列高频子图像Ｙ↓［ｋ］↑［Ａ］，Ｙ↓［ｋ］↑［Ｂ］，ｋ＝１，２，…，Ｎ和低频子图像Ｙ↓［０］↑［Ａ］，Ｙ↓［０］↑［Ｂ］进行融合： （ａ）按照以下步骤对一系列高频子图像Ｙ↓［ｋ］↑［Ａ］，Ｙ↓［ｋ］↑［Ｂ］，ｋ＝１，２，…，Ｎ进行融合：（ａ１）将Ｙ↓［１］↑［Ａ］和Ｙ↓［１］↑［Ｂ］对应，在Ｙ↓［１］↑［Ａ］选取一个窗口Ａｉ，在Ｙ↓［１］↑［Ｂ］选取一个 窗口Ｂｉ，Ａｉ与Ｂｉ表示大小相同的同一区域；（ａ２）计算并比较Ａｉ和Ｂｉ对应区域的图像平均梯度大小，选择平均梯度大的窗口对应区域图像作为融合后该区域的图像；（ａ３）Ａｉ和Ｂｉ采用单像素的移动速度，按照步骤（ａ２）的方式，逐行 逐列遍历Ｙ↓［１］↑［Ａ］和Ｙ↓［１］↑［Ｂ］，得到Ｙ↓［１］↑［Ａ］和Ｙ↓［１］↑［Ｂ］的融合结果Ｙ↓［１］↑［Ｆ］；（ａ４）按照步骤（ａ１）－（ａ３）的方式，对Ｙ↓［２］↑［Ａ］和Ｙ↓［２］↑［Ｂ］，Ｙ↓［３］↑［Ａ］和Ｙ↓［３ ］↑［Ｂ］，…，Ｙ↓［Ｎ］↑［Ａ］和Ｙ↓［Ｎ］↑［Ｂ］进行融合，得到系列高频子图像融合结果Ｙ↓［２］↑［Ｆ］，Ｙ↓［３］↑［Ｆ］，…，Ｙ↓［Ｎ］↑［Ｆ］；（ｂ）按照以下步骤对低频子图像进行融合：在Ｙ↓［０］↑［Ａ］选取一个窗 口Ａｊ，在Ｙ↓［０］↑［Ｂ］选取一个窗口Ｂｊ，Ａｊ与Ｂｊ表示大小相同的同一区域，（ｂ１）设Ａｊ对应的区域图像为ｅ↓［ｊ］，Ｂｊ对应的区域图像为ｆ↓［ｊ］，将ｅ↓［ｊ］和ｆ↓［ｊ］的方差与梯度分别与预定的临界方差和临界梯度做比较，判断 ｅ↓［ｊ］，ｆ↓［ｊ］是否满足可分割条件；（ｂ２）根据步骤（ｂ１）的判断结果对ｅ↓［ｊ］与ｆ↓［ｊ］进行融合：（Ⅰ）若ｅ↓［ｊ］和ｆ↓［ｊ］均满足可分割条件：将ｅ↓［ｊ］和ｆ↓［ｊ］分别分割为两个区域，将分割后的ｅ↓［ｊ］和 ｆ↓［ｊ］关联得到ｃ↓［ｊ］，ｃ↓［ｊ］包括四个区域，依照ｃ↓［ｊ］的区域划分方式分别将ｅ↓［ｊ］和ｆ↓［ｊ］划分为相同的四个...

【技术特征摘要】

【专利技术属性】
技术研发人员：曹治国，王凯，肖阳，徐正翔，邹腊梅，马明刚，谭颖，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：83[中国|武汉]