一种基于小波方向相关系数的图像融合方法技术

本发明专利技术一种基于小波方向相关系数的图像融合方法，利用db3小波变换将图像分解成3层低频子带和高频子带部分，低频子带采用基于循环移位子块空间频率相关系数确定的像素点融合规则；对于各高频子带根据其所在子带的方向特征，采用基于方向特性的区域能量及梯度的归一化相关系数差确定高频系数；本发明专利技术设计的图像融合方法，充分考虑了小波系数空间频率的相关性以及能量和梯度之间存在的方向相关性，参与融合的系数对于融合图像的主客观质量更为重要和准确，融合精度高、实用性强。

【技术实现步骤摘要】

本专利技术涉及一种图像融合方法，尤其是基于小波方向相关系数的图像融合方法。
技术介绍
图像融合是一种通过高级图像处理技术来复合多源图像的技术，通过特定的算法将从不同传感器(或同一传感器在不同时间或不同观测角度)得到的同一场景的多幅图像经过综合处理，从而得到一幅满足某种要求的、对目标或场景的描述更为精确、更为全面、更为可靠的图像，以便于人眼的观察和计算机的进一步处理。由于这些特点，图像融合技术已广泛地应用于军事、遥感、计算机视觉和医学等领域。图像融合处理主要在三个不同的层次上进行：像素级融合、特征级融合和决策级融合。由于像素级图像融合是基础且比较直观，应用也最广泛，因此在图像融合领域最受关注。目前比较常用的像素级融合方法主要有IHS变换法、小波变换法、主成分分析(PCA)法和Brovey变换法等。对于图像融合方法，融合规则和融合算子的选择是当前研究的热点和难点问题。小波变换具有对信号进行多分辨率分析特性，基于小波变换的图像融合方法可以获得与人的视觉特性接近的融合效果。因此，近年来基于小波变换的融合算法成为人们研究的热点。目前，小波域的融合算法主要包括两种形式，基于加权平均的图像融合方法和基于小波系数相关性(局域窗口内的统计特征如方差、梯度、能量等)的图像融合方法。加权平均法简单直观、适合实时处理，但只是将待融合系数进行孤立的加权处理，忽略了相邻小波系数间的区域相关性，导致融合精度降低；系数相关性法，通过计算待融合系数的区域相关系数，自适应地确定融合系数。该方法有效地改进了加权平均的图像融合方法，取得了较好的融合效果。然而也存在不足：该方法在计算待融合系数的相关系数时，参与融合的系数为待融合系数的八邻域系数，但未考虑各个高频子带的系数分布具有的方向特征，因而影响最后的融合效果。
技术实现思路
针对上述技术问题，本专利技术目的是，提供一种精度高、实时性好，能充分利用小波方向特征的图像融合方法。本专利技术解决上述技术问题采用以下技术方案：基于小波方向相关系数的图像融合方法，利用小波变换将图像分解成低频和高频部分，低频子带采用基于循环移位子块空间频率相关系数确定的像素点融合规则；对于各高频子带根据其所在子带的方向特征，采用基于方向特性的区域能量及梯度的归一化相关系数差确定高频系数。具体步骤如下：步骤001.待融合的两幅图像A和B分别进行去噪和图像配准；步骤002.对经去噪和图像配准的A、B两幅图像分别进行3层db3(为小波变换选取的小波基)小波变换，分离出高频图像(水平、垂直和对角线三个方向)和低频图像；步骤003.对A、B两幅图像的低频图像进行融合，具体包括：步骤0031.将A、B两幅图像低频分量循环移位分解成大小为3×3的子图像块，分别记为Alk、Blk(l,k分别为子块的行列序号)；步骤0032.分别计算Alk、Blk的空间频率(M,N分别为子块的行列值,即M＝3,N＝3)步骤0033.计算对应子块Alk、Blk之间的相关系数步骤0034.低频融合规则为CFK＝ωCAK+(1-ω)CBK，ω为加权因子，步骤004.对A、B两幅图像的各层水平高频图像进行融合，具体包括：步骤0041.计算A和B两幅图像水平高频子带小波系数以(x,y)为中心点的3×3窗口区域水平方向上的能量和表示A图像在水平方向H上(x,y)点的小波系数值,水平方向的加权模板WH取为：步骤0042.计算两幅图像对应区域内(x,y)点的水平方向能量相关系数步骤0043.通过Sobel水平方向算子SH和垂直方向算子SV计算水平子带小波系数以(x,y)为中心点的3×3窗口区域方向梯度和步骤0044.计算两幅水平高频图像对应区域内(x,y)点的方向梯度相关系数步骤0045.将水平方向能量相关系数和水平方向梯度相关系数进行归一化处理步骤0046.计算上述归一化相关系数之差步骤0047.水平高频图像融合规则，具体包括：步骤00471.若|m(x,y)|≥T，采用局部能量或梯度的极大值作为融合结果步骤00472.若|m(x,y)|＜T，采用局部能量或梯度的极大值或加权平均作为融合结果T(0＜T＜1)是一个阈值，取值范围为0.2～0.5。步骤005.对A、B两幅图像的各层垂直高频图像进行融合，具体包括：步骤0051.计算A和B两幅图像垂直高频子带小波系数以(x,y)为中心点的3×3窗口区域垂直方向上的能量和表示A图像在垂直方向V上(x,y)点的小波系数值,垂直方向的加权模板WV取为：步骤0052.计算两幅图像对应区域内(x,y)点的垂直方向能量相关系数步骤0053.通过Sobel水平方向算子SH和垂直方向算子SV计算垂直子带小波系数以(x,y)为中心点的3×3窗口区域方向梯度和步骤0054.计算两幅垂直高频图像对应区域内(x,y)点的垂直方向梯度相关系数步骤0055.将垂直方向能量相关系数和垂直方向梯度相关系数进行归一化处理步骤0056.计算上述归一化相关系数之差步骤0057.垂直高频图像融合规则，具体包括：步骤00571.若|m(x,y)|≥T，采用局部能量或梯度的极大值作为融合结果步骤00572.若|m(x,y)|＜T，采用局部能量或梯度的极大值或加权平均作为融合结果T(0＜T＜1)是一个阈值，取值范围为0.2～0.5。步骤006.对A、B两幅图像的各层对角线高频图像进行融合，具体包括：步骤0061.计算A和B两幅图像对角线高频子带小波系数以(x,y)为中心点的3×3窗口区域对角线方向上的能量和表示A图像在对角线方向d上(x,y)点的小波系数值,对角线方向的加权模板Wd取为：步骤0062.计算两幅图像对应区域内(x,y)点的对角线方向能量相关系数步骤0063.通过Sobel水平方向算子SH和垂直方向算子SV计算对角线子带小波系数以(x,y)为中心点的3×3窗口区域方向梯度和步骤0064.计算两幅对角线高频图像对应区域内(x,y)点的对角线方向梯度相关系数步骤0065.将对角线方向能量相关系数和对角线方向梯度相关系数进行归一化处理步骤0066.计算上述归一化相关系数之差步骤0067.对角线高频图像融合规则，具体包括：步骤00671.若|m(x,y)|≥T，采用局部能量或梯度的极大值作为融合结果步骤00672.若|m(x,y)|＜T，采用局部能量或梯度的极大值或加权平均作为融合结果T(0＜T＜1)是一个阈值，取值范围为0.2～0.5。步骤007.将步骤003、004、005和006获得的融合低频子图、融合水平高频子图、融合垂直高频子图和融合对角线高频子图，利用小波逆变换重构出最后的清晰图像。作为一种优选方案，低频图像循环分块时，子块在超出边界的边缘处像素做补零处理。有益效果：本专利技术所述一种基于小波方向相关系数的图像融合方法，采用以上技术方案与现有技术相比，算法简单、易实现、精度高，采用循环移位块操作自动更新低频小波融合系数，充分考虑了小波系数空间频率的相关性以及能量和梯度之间存在的方向相关性，自适应的选择不同的融合规则，参与的系数更符合实际、更重要、更显著，有效提高了图像融合的精度，同时参与的相邻系数减少，降低了融合的复杂度。附图说明图1是本专利技术设计一种基于小波方向相关系数的图像融合方法流程图。具体实施方式下面结合说明书附图对本专利技术的具体实施方式作进一步详细本文档来自技高网...

【技术保护点】
一种基于小波方向相关系数的图像融合方法，其特征在于，利用db3小波变换将图像分解成3层低频子带和高频子带部分，低频子带采用基于循环移位子块空间频率相关系数确定的像素点融合规则；对于各高频子带根据其所在子带的方向特征，采用基于方向特性的区域能量及梯度的归一化相关系数差确定高频系数；具体步骤如下：步骤001待融合的两幅图像A和B分别进行去噪和图像配准；步骤002对经去噪和图像配准的A、B两幅图像分别进行小波变换，分离出水平、垂直和对角线三个方向的高频图像和低频图像；步骤003对A、B两幅图像的低频图像进行融合，具体包括：步骤0031将A、B两幅图像低频分量循环移位分解成大小为3×3的子图像块，分别记为Alk、Blk，l,k分别为子块的行列序号；步骤0032分别计算Alk、Blk的空间频率RFlkA=1/MNΣi=1MΣj=2N[A(i,j)-A(i,j-1)]2]]>CFlkA=1/MNΣi=2NΣj=1M[A(i,j)-A(i-1,j)]2]]>SFlkA=(RFlkA)2+(CFlkA)2]]>RFlkB=1/MNΣi=1MΣj=2N[B(i,j)-B(i,j-1)]2]]>CFlkB=1/MNΣi=2NΣj=1M[B(i,j)-B(i-1,j)]2]]>SFlkB=(RFlkB)2+(CFlkB)2;]]>(M,N分别为子块的行列值,即M＝3,N＝3)步骤0033计算对应子块Alk、Blk之间的相关系数rlkAB=Σi=1MΣj=1N[(SFlkA-eA)×(SFlkB-eB)]/[Σi=1MΣj=1N(SFlkA-eA)2]×[Σi=1MΣj=1N(SFlkB-eB)2]]]>步骤0034低频融合规则为CFK＝ωCAK+(1‑ω)CBK，ω为加权因子，步骤004对A、B两幅图像的各层水平高频图像进行融合，具体包括：步骤0041计算A和B两幅图像水平高频子带小波系数以(x,y)为中心点的3×3窗口区域水平方向上的能量和EAH(x,y)=Σm=-11Σn=-11WH(m+2,n+2)[DAH(x+m,y+n)]2]]>EBH(x,y)=Σm=-11Σn=-11WH(m+2,n+2)[DBH(x+m,y+n)]2]]>表示A图像在水平方向H上(x,y)点的小波系数值,水平方向的加权模板WH取为：WH=000121000]]>步骤0042计算两幅图像对应区域内(x,y)点的水平方向能量相关系数rABEH(x,y)=2Σm=-11Σn=-11WH(m+2,n+2)DAH(x+m,y+n)DBH(x+m,y+n)EAH+EBH]]>步骤0043通过Sobel水平方向算子SH和垂直方向算子SV计算水平子带小波系数以(x,y)为中心点的3×3窗口区域方向梯度和GAH(x,y)=Σi=1MΣj=1N(ΔxDAH(x,y))2+(ΔyDAH(x,y))2]]>ΔxDAH(x,y)=SH·DAH(x,y)]]>ΔYDAH(x,y)=SV·DAH(x,y)]]>SH=-1-2-1000121SV=-101-202-101]]>步骤0044计算两幅水平高频图像对应区域内(x,y)点的方向梯度相关系数rABGH(x,y)=2Σi=1MΣj=1N(ΔxDAH(x,y))2+(ΔyDAH(x,y))2(ΔxDBH(x,y))2+(ΔyDBH(x,y))2GAH+GBH]]>步骤0045.将水平方向能量相关系数和水平方向梯度相关系数进行归一化处理NrABEH(x,y)=rABEH(x,y)rABEH(x,y)+rABGH(x,y)]]>NrABGH(x,y)=rABGH(x,y)rABEH(x,y)+rABGH(x,y)]]>步骤0046计算上述归一化相关系数之差m(x,y)=NrABEH(x,y)-NrABGH(x,y)]]>步骤0047水平高频图像融合规则，具体包括：步骤00471若|m(x,y)|≥T，采用局部能量或梯度的极大值作为融合结果，步骤00472若|m(x,y)|＜T，采用局部能量或梯度的极大值或加权平均作为融合结果，T(0...

【技术特征摘要】
1.一种基于小波方向相关系数的图像融合方法，其特征在于，利用db3小波变换将图像分解成3层低频子带和高频子带部分，低频子带采用基于循环移位子块空间频率相关系数确定的像素点融合规则；对于各高频子带根据其所在子带的方向特征，采用基于方向特性的区域能量及梯度的归一化相关系数差确定高频系数；具体步骤如下：步骤001待融合的两幅图像A和B分别进行去噪和图像配准；步骤002对经去噪和图像配准的A、B两幅图像分别进行小波变换，分离出水平、垂直和对角线三个方向的高频图像和低频图像；步骤003对A、B两幅图像的低频图像进行融合，具体包括：步骤0031将A、B两幅图像低频分量循环移位分解成大小为3×3的子图像块，分别记为Alk、Blk，l,k分别为子块的行列序号；步骤0032分别计算Alk、Blk的空间频率RFlkA=1/MNΣi=1MΣj=2N[A(i,j)-A(i,j-1)]2]]>CFlkA=1/MNΣi=2NΣj=1M[A(i,j)-A(i-1,j)]2]]>SFlkA=(RFlkA)2+(CFlkA)2]]>RFlkB=1/MNΣi=1MΣj=2N[B(i,j)-B(i,j-1)]2]]>CFlkB=1/MNΣi=2NΣj=1M[B(i,j)-B(i-1,j)]2]]>SFlkB=(RFlkB)2+(CFlkB)2;]]>(M,N分别为子块的行列值,即M＝3,N＝3)步骤0033计算对应子块Alk、Blk之间的相关系数rlkAB=Σi=1MΣj=1N[(SFlkA-eA)×(SFlkB-eB)]/[Σi=1MΣj=1N(SFlkA-eA)2]×[Σi=1MΣj=1N(SFlkB-eB)2]]]>步骤0034低频融合规则为CFK＝ωCAK+(1-ω)CBK，ω为加权因子，步骤004对A、B两幅图像的各层水平高频图像进行融合，具体包括：步骤0041计算A和B两幅图像水平高频子带小波系数以(x,y)为中心点的3×3窗口区域水平方向上的能量和EAH(x,y)=Σm=-11Σn=-11WH(m+2,n+2)[DAH(x+m,y+n)]2]]>EBH(x,y)=Σm=-11Σn=-11WH(m+2,n+2)[DBH(x+m,y+n)]2]]>表示A图像在水平方向H上(x,y)点的小波系数值,水平方向的加权模板WH取为：WH=000121000]]>步骤0042计算两幅图像对应区域内(x,y)点的水平方向能量相关系数rABEH(x,y)=2Σm=-11Σn=-11WH(m+2,n+2)DAH(x+m,y+n)DBH(x+m,y+n)EAH+EBH]]>步骤0043通过Sobel水平方向算子SH和垂直方向算子SV计算水平子带小波系数以(x,y)为中心点的3×3窗口区域方向梯度和GAH(x,y)=Σi=1MΣj=1N(ΔxDAH(x,y))2+(ΔyDAH(x,y))2]]>ΔxDAH(x,y)=SH·DAH(x,y)]]>ΔYDAH(x,y)=SV·DAH(x,y)]]>SH=-1-2-1000121SV=-101-202-101]]>步骤0044计算两幅水平高频图像对应区域内(x,y)点的方向梯度相关系数rABGH(x,y)=2Σi=1MΣj=1N(ΔxDAH(x,y))2+(ΔyDAH(x,y))2(ΔxDBH(x,y))2+(ΔyDBH(x,y))2GAH+GBH]]>步骤0045.将水平方向能量相关系数和水平方向梯度相关系数进行归一化处理NrABEH(x,y)=rABEH(x,y)rABEH(x,y)+rABGH(x,y)]]>NrABGH(x,y)=rABGH(x,y)rABEH(x,y)+rABGH(x,y)]]>步骤0046计算上述归一化相关系数之差m(x,y)=NrABEH(x,y)-NrABGH(x,y)]]>步骤0047水平高频图像融合规则，具体包括：步骤00471若|m(x,y)|≥T，采用局部能量或梯度的极大值作为融合结果，步骤00472若|m(x,y)|＜T，采用局部能量或梯度的极大值或加权平均作为融合结果，T(0＜T＜1)是一个阈值，取值范围为0.2～0.5；步骤005对A、B两幅图像的各层垂直高频图像进行融合，具体包括：步骤0051计算A和B两幅图像垂直高频子带小波系数以(x,y)为中心点的3×3窗口区域垂直方向上的能量和EAV(x,y)=Σm=-11Σn=-11WV(m+2,n+2)[DAV(x+m,y+n)]2]]>EBV(x,y)=Σm=-11Σ...

【专利技术属性】
技术研发人员：王敏，李维，严卫，施伟来，郭随平，贾赟，任尚书，
申请(专利权)人：中国人民解放军理工大学，
类型：发明
国别省市：江苏;32