一种基于互补关系的红外偏振与光强图像多算法2D‑VMD内嵌式融合方法技术

本发明专利技术属于红外图像融合领域，具体为一种基于互补关系的红外偏振与光强图像多算法2D‑VMD内嵌式融合方法。首先，采用灰度均值和局部标准差提取融合图像与红外偏振图像差值图和红外光强图像亮度和轮廓特征，采用Canny算子和能量拉普拉斯算子提取融合图像与红外光强图像差值图和红外偏振图像边缘和细节特征；其次，构建基于特征相似性的算法融合性能评价指标；接着，根据不同算法融合性能评价指标值，确定算法间互补关系；然后，根据红外偏振与光强图像特征，确定MSGT和NSST间内嵌顺序，获得高频特征融合图像；最后采用2D‑VMD实现低频特征融合图像和高频特征融合图像最终结合，获得最终融合图像。本发明专利技术用于但不限于红外图像融合领域。

A kind of infrared polarization and intensity images based on the complementary relationship between multi 2D algorithm embedded VMD fusion method

The invention belongs to the field of infrared image fusion, in particular to a infrared polarization and intensity images based on the complementary relationship between multi 2D algorithm embedded VMD fusion method. First of all, using the gray value and the local standard deviation of image fusion and extraction of infrared polarization image difference map and infrared intensity image brightness and contour feature, using Canny operator and energy Laplasse operator to extract the image and infrared image fusion intensity difference map and infrared polarization image edge and detail features; secondly, construct the feature similarity algorithm fusion performance evaluation based on the index; then, according to different fusion algorithm performance evaluation index, determine the complementary relationship between the algorithm; then, based on the infrared polarization and intensity of image features, to determine the MSGT and NSST in order to get the high frequency characteristics of block, image fusion; image fusion and finally realize the high frequency characteristics of the final fused image with low frequency features using 2D VMD access the final fusion image. The invention is used but not limited to the field of infrared image fusion.

【技术实现步骤摘要】
一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法
本专利技术属于红外图像融合领域，具体为一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法。
技术介绍
红外偏振与光强图像融合能够丰富目标的形状、大小、亮度、细节和位置等信息，显著提高红外成像探测系统的探测率和目标识别准确率。根据红外偏振与光强图像间差异特征，研究人员提出了不同的融合算法，不同融合算法的融合性能不同，各具优势和缺点，然而，红外偏振与光强图像间差异特征类型多、变化复杂，使得单一融合算法难以满足两类图像间差异特征融合需求。多算法组合方法可以综合不同算法的融合优势，满足两类图像间复杂多变的差异特征的融合需求，成为红外偏振与光强图像融合研究的热点。图像多算法融合的组合形式主要有串联型、并联型和内嵌型等。图像多算法内嵌式融合不需要考虑不同算法间的组合权重，能减少融合过程中源图像信息的丢失，是多算法融合常采用的形式。但是，当前图像多算法内嵌式融合存在以下问题：(1)缺乏算法客观选取依据，选择的算法融合性能相近，如：曲波变换与离散小波变换(DWT)、双树复小波变换(DWCT)与DWT及非采样离散小波变换与DWT间组合，主要针对图像间细节差异特征，不利于红外偏振与光强图像间亮度、边缘等差异特征融合；(2)算法的内嵌方式缺乏考虑图像特征，算法相互嵌套采用相同的特征提取方法对两类图像进行处理，不利于图像特征的描述，使融合图像出现信息混乱、背景模糊和对比度下降的现象，造成融合图像畸变或损失源图像信息，如：多尺度变换与稀疏表示相结合首先对源图像采用相同多尺度变换，然后对低频系数都进行稀疏表示，忽略了图像空间一致性，造成融合图像中具有空间一致性的区域出现畸变；(3)现有的多算法内嵌式融合方法不适合两类图像间亮度、轮廓、边缘和细节等多种类型的差异特征融合，如：MSD同主成分分析(PCA)相结合，易造成滑图像的细节平滑；MSD与脉冲神经网络(PCNN)相结合，易导致融合图像对比度下降和模糊；支持度变换(SVT)与顶帽变换(Top-Hat)相结有利于图像间明暗对比度特征融合，不利于边缘特征融合。
技术实现思路
本专利技术为解决现有红外偏振与光强图像多算法内嵌式融合难以较完整的融合图像间亮度、轮廓、边缘和细节等差异特征及易造成融合图像畸变的问题，提出一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法。本方法通过构建特征相似性系数的算法融合性能评价指标，为算法的选取提供客观依据；针对不同图像特征采用不同的多尺度变换融合图像特征，确定内嵌顺序，防止图像间信息相互干扰和融合图像出现畸变；采用二维全变分模态分解(2D-VMD)将低频特征融合图像和高频特征融合图像结合，在完整保留图像间低频差异特征基础上，同时具有丰富的高频特征。最终实现能够客观选择互补性强的算法、避免引入错误信息和具有高亮度、清晰的轮廓和边缘、多细节的多算法内嵌式融合。本专利技术是采用如下的技术方案实现的：一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，包括以下步骤：S1：选取能量加权、PCA、MSGT、NSST、NSCT和DWCT融合算法，融合红外偏振与光强图像，通过各个融合方法分别得到一个融合图像；分别计算各个融合图像与红外偏振图像和红外光强图像差值图，如式(1)～(2)；DI＝F-P(1)DP＝F-I(2),式中F为融合图像，I为红外光强图像，P为红外偏振图像，DI为F与P的差值图，DP为F与I的差值图,采用灰度均值和局部标准差分别描述DI和I的亮度特征和轮廓特征；利用Canny算子和局部能量拉普拉斯算子分别描述DP和P的边缘特征和细节特征；S2：计算S1中各融合算法亮度特征相似性指标、轮廓特征相似性指标、边缘特征相似性指标和细节特征相似性指标，根据算法融合性能评价指标值，确定算法间互补关系，选择基于能量的算法融合图像间亮度差异特征，获得低频特征融合图像；选择MSGT融合图像间边缘、轮廓差异特征；选择NSST融合图像细节差异特征；S3：根据红外偏振与光强图像的特征，确定MSGT和NSST内嵌顺序，获得高频特征融合图像；S4：利用2D-VMD将低频特征融合图像和高频特征融合图像相结合，获得最终融合图像。上述的一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，S2所述的分别计算不同算法融合性能评价指标值，根据评价指标值确定算法间互补关系选择融合算法，按以下步骤进行：S21：分别计算S1中各算法融合性能评价指标值，Rn为基于特征相似性的融合算法性能评价指标，R1为DI与I间亮度特征相似度指标，R2为DI与I间轮廓特征相似度指标，R3为DP与P边缘特征相似度指标，R4为DP与P细节特征相似度指标，D为DP或DI根据S1获得的轮廓、边缘和细节特征图像，S为P或I根据S1获得的特征图像，μDI为DI特征图像的均值，μI为P或I特征图像的均值；S22：根据不同算法融合性能评价指标值，确定算法间互补关系；S23：选择融合算法，基于能量加权的融合算法R1值最大，采用基于能量加权的融合算法融合图像间亮度差异特征，获得低频特征融合图像；S24：根据不同算法融合性能评价指标值，MSGT的R3值最大，R2值相对也较大，选择MSGT融合图像的边缘和轮廓特征，NSST融合算法的R4值最大，选择NSST融合图像细节特征；上述的一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，S3多尺度融合算法内嵌顺序的确定，步骤如下：S31：利用NSST分解红外偏振图像，获得红外偏振图像低频子带图像和高频子带图像；S32：采用MSGT分解红外光强图像和S31中红外偏振低频子带图像，融合规则为低频系数为加权平均，高频系数为绝对值取大，通过MSGT反变换获得边缘和轮廓特征融合图像F2；S33：使用F2取代S31中红外偏振低频子带图像，利用NSST反变换获得高频特征融合图像F3；上述的基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，S4所述的计算最终融合图像，按以下步骤进行：S41：分解F3，获得基图和不同频谱的独立模态子图像；S42：用低频特征融合图像取代基图；S43：2D-VMD反变换获得最终融合图像。本专利技术与现有技术相比具有以下优点：(1)本专利技术提出一种多算法内嵌式融合的算法客观选择依据——基于特征相似性的融合算法性能评价指标，客观、准确的反映各算法间互补关系，以此为依据选取的融合算法具有很强的互补性。(2)算法间内嵌顺序更加符合图像不同特征的融合要求，将图像的不同特征与适用于该特征提取和融合的算法相结合，使算法提取和融合图像特征的目的性更强，避免了图像间信息相互干扰和融合图像的畸变。(3)利用2D-VMD实现低频特征融合图像和高频特征融合图像的结合，使红外偏振与光强融合图像同时具有高亮度、清晰度高的边缘和轮廓等特征和多细节特征，显著提升了两类图像间复杂多变的差异特征的融合效果和红外偏振与光强图像多算法内嵌式融合算法的融合性能。附图说明：图1为本专利技术的流程图。图2为课题组采集的简单场景下红外偏振度图像和红外光强图像，P1为红外偏振度图像，I1为红外光强图像。图3为课题组采集的复杂场景下红外偏振度图像和红外光强图像，P2为红外本文档来自技高网...

【技术保护点】
一种基于互补关系的红外偏振与光强图像多算法2D‑VMD内嵌式融合方法，其特征在于包括以下步骤：S1：选取能量加权、PCA、MSGT、NSST、NSCT和DWCT融合算法，融合红外偏振与光强图像，通过各个融合方法分别得到一个融合图像；分别计算各个融合图像与红外偏振图像和红外光强图像差值图；DI＝F‑P，DP＝F‑I，式中F为融合图像，I为红外光强图像，P为红外偏振图像，DI为F与P的差值图，DP为F与I的差值图,采用灰度均值和局部标准差分别描述DI和I的亮度特征和轮廓特征；利用Canny算子和局部能量拉普拉斯算子分别描述DP和P的边缘特征和细节特征；S2：计算S1中各融合算法亮度特征相似性指标、轮廓特征相似性指标、边缘特征相似性指标和细节特征相似性指标，根据算法融合性能评价指标值，确定算法间互补关系，选择基于能量加权的算法融合图像间亮度差异特征，获得低频特征融合图像；选择MSGT融合图像间边缘、轮廓差异特征；选择NSST融合图像细节差异特征；S3：根据红外偏振与光强图像的特征，确定MSGT和NSST内嵌顺序，获得高频特征融合图像；S4：利用2D‑VMD将低频特征融合图像和高频特征融合图像相结合，获得最终融合图像。...

【技术特征摘要】
1.一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，其特征在于包括以下步骤：S1：选取能量加权、PCA、MSGT、NSST、NSCT和DWCT融合算法，融合红外偏振与光强图像，通过各个融合方法分别得到一个融合图像；分别计算各个融合图像与红外偏振图像和红外光强图像差值图；DI＝F-P，DP＝F-I，式中F为融合图像，I为红外光强图像，P为红外偏振图像，DI为F与P的差值图，DP为F与I的差值图,采用灰度均值和局部标准差分别描述DI和I的亮度特征和轮廓特征；利用Canny算子和局部能量拉普拉斯算子分别描述DP和P的边缘特征和细节特征；S2：计算S1中各融合算法亮度特征相似性指标、轮廓特征相似性指标、边缘特征相似性指标和细节特征相似性指标，根据算法融合性能评价指标值，确定算法间互补关系，选择基于能量加权的算法融合图像间亮度差异特征，获得低频特征融合图像；选择MSGT融合图像间边缘、轮廓差异特征；选择NSST融合图像细节差异特征；S3：根据红外偏振与光强图像的特征，确定MSGT和NSST内嵌顺序，获得高频特征融合图像；S4：利用2D-VMD将低频特征融合图像和高频特征融合图像相结合，获得最终融合图像。2.根据权利要求1所述的一种基于互补关系的红外偏振与光强图像多算法2D-VMD内嵌式融合方法，其特征在于S2所述的分别计算不同算法融合性能评价指标值，根据评价指标值确定算法间互补关系选择融合算法，按以下步骤进行：S21：分别计算S1中各算法融合性能评价指标值，Rn为基于特征相似性的融合算法性能评价指标，R1为DI与I间亮度特征相似度指标，R2为DI与I间轮廓特征相...

【专利技术属性】
技术研发人员：杨风暴，吉琳娜，孙豫峰，张雷，王建萍，王肖霞，刘哲，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西,14