一种基于目标特征驱动的智能图像融合方法技术

本发明专利技术涉及一种基于目标特征驱动的智能图像融合方法，首先，基于显著性检测分割得到红外图像中的显著性目标区域；然后构造图像特征集合与融合算法集合，并利用模糊数学的原理和方法分析两者之间的模糊映射关系；最后，在NSCT分解框架下，利用目标区域特征驱动目标区域融合，对背景区域选择保留更多可见光信息的低频可见光、高频绝对值取大的策略，进行逆NSCT变换实现最终图像融合。本方法能够在自适应地选择目标区域的最优融合方式，在极大程度地保持目标特性，更多地保留图像的背景细节信息，解决了信息丢失，目标不完整，背景模糊等多方面的缺陷，融合图像呈现出高对比度、高细节信息、目标高亮等特点，具有较好的视觉效果。

【技术实现步骤摘要】
一种基于目标特征驱动的智能图像融合方法
本专利技术属于红外与可见光图像融合方法，涉及一种基于目标特征驱动的智能图像融合方法，将模糊数学中的模糊控制决策理论应用到异源图像融合领域，专利技术成果可应用于各类军事或民用异源图像处理系统中。
技术介绍
图像融合是把同一场景下多源、多时相、多分辨率的几幅图像合成一幅图像的过程，融合后图像包含所有输入图像中人们感兴趣的信息。通过对多幅图像的融合，能够克服单一传感器图像在几何、光谱或空间分辨率等方面的局限性使得最终获得的图像信息更精确和全面。因此，图像融合技术在空间监测、军事侦察、视频监控和遥感探测等领域均有重要的现实意义。红外与可见光图像融合是图像融合领域的一个重要分支。红外图像呈现出整体灰度分布低且集中、信噪比较低等特点，往往反映的不是真实场景。其利用物体的热辐射特性获取信息，图像中的目标往往呈现出高亮的特点；可见光图像作为反射图像，能够提供丰富的细节信息，且图像整体清晰度高。但在恶劣天气条件或夜晚等光照条件差的情况下，可见光的成像结果会受到极大的影响。单一的图像传感器不能保证同时获得目标与背景的有用信息。通过利用红外与可见光图像融合，充分利用两类图像的互补信息，可以有效地综合并挖掘图像信息，更利于场景理解与目标探测。目前，红外与可见光图像融合技术已被广泛应用于军事、监控、检测识别等领域。红外与可见光图像融合技术的研究对国民经济发展和国防事业建设具有重大意义。它既有利于提高我军现代化装备水平，又有助于进一步发展和完善图像融合技术理论体系，同时对遥感图像、医学图像等融合处理也有着巨大的借鉴意义。像素级图像融合在图像融合中已经得到了广泛的研究与应用。目前，大多数的图像融合算法主要分为三个阶段，即图像变换、变换系数的融合以及图像逆变换。基于所采用的图像变换方式，现有的图像融合方法可以分为四大类：基于多尺度分解的方法；基于稀疏表示的方法；直接对图像像素或在其它变换域进行融合的方法；结合多尺度分解、稀疏表示和其它变换的方法。其中，多尺度分解由于灵活的空域和频域局部性、良好的方向性，已经被证明是对图像融合应用非常有用的工具。在早期的研究中，常用的图像融合大都基于金字塔分解、小波变换、双树复小波变换等，然而，小波族的一个共有局限是不能很好地表示图像中的曲线和边缘，基于此，contourlet变换、非下采样轮廓波变换等被成功地提出并得到了广泛的应用。在多尺度分解框架下，学者们将研究重点放到了对变换系数融合策略的选取上。Zhang和Blum在其论文中回顾了经典的融合策略，如基于像素、基于窗口和基于区域的活性水平测量，这类方式简单地将图像变换系数进行融合，对图像信息损失较严重；BenHamza等人将图像融合算法作为一个优化问题，提出了多尺度框架下的信息论方法，并取得了不错的融合结果，但图像中不同区域特性不同，此类方式不能保证对图像的不同区域均取得理想的融合效果。GemmaPiella首先基于输入图像进行多分辨率分割，利用分割制单融合过程，取得了较好的效果。但这种方式仍然存在缺陷：基于人为先验选择的融合策略往往针对单一场景有效，不能适应图像特征的动态变化。传统的图像融合方法不能依据目标特征差异情况自适应地进行融合，导致融合图像存在目标不清晰，背景模糊的缺点。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出一种基于目标特征驱动的智能图像融合方法，提升融合图像的质量，在突出图像中目标的情况下，更多地保留图像的背景细节信息。技术方案一种基于目标特征驱动的智能图像融合方法，其特征在于步骤如下：步骤1、建立图像特征集合和融合算法两个集合：首先选择多组红外与可见光图像，并将其进行分块得到融合图像集；通过对图像集中的图像提取8类统计特征得到红外与可见光图像的差异情况；计算差异特征向量之间的相关系数ρXY，其公式如下：其中，X和Y分别为两个需要分析的特征向量，和分别为两个特征向量对应的均值向量；以互相关系数大于0.8作为条件对特征进行降维与分类，得到降维后图像特征分别为亮度、粗糙度、对比度以及边缘强度；所述8类统计特征为：灰度均值、标准差、Tmaura纹理特征、平均梯度、平均能量、空间频率和边缘强度；其中Tmaura纹理特征包括粗糙度和对比度(b)建立融合算法集合：采用NSCT非下采样轮廓波变换得到一系列图像的低频和高频子带图像，对高频和低频子带使用不同的融合策略得到不同的图像融合效果；建立的融合算法集将低频的红外IR、可见光VIS、加权平均AVE、基于区域能量RE，与高频的红外IR、可见光VIS、绝对值取大MAX、基于区域方差RV进行两两组合，得到16种不同的融合方法；步骤2、对步骤1建立的两个集合利用模糊数学理论与方法得到两者的模糊映射关系：首先，对图像库中的所有图像利用16种融合方法分别进行融合并对融合后图像块提取4类特征；利用三角隶属度函数评价在单一特征下融合图像块的融合优劣；通过最大隶属度原则得到在单一特征下某对图像块对应的各种融合方法的定性评价结果；第二，利用模糊统计法，将上述的评价结果得到单一特征与融合策略之间的模糊映射关系；通过进行n次重复独立的试验来确定论域中元素x对模糊集A的隶属度，当试验次数n足够大时，元素x的隶属频率趋于一个稳定的数，这个稳定的数即为元素x对A的隶属度；得到单一特征对应融合算法的模糊映射关系；步骤3：基于显著性检测对红外图像进行目标分割，并利用步骤2得到的映射关系得到目标区域的最优融合策略；首先，针对红外图像利用Frequency-tuned算法实现图像的显著性检测；然后，对生成的显著性图像，利用一种无监督式的参数核图割方法进行多区域分割得到图像的多区域精确分割；最后，计算每个区域的显著性均值，通过设置自适应阈值T进行分割，将红外图像中的显著目标分割出来：式中，W和H分别表示图像的宽和高，S(x,y)代表像素处显著值；然后，对于图像中的目标区域可以提取图像特征，并通过模糊综合决策理论进行模糊决策；①，求出评价矩阵P：其中，Pij表示融合方案F在第{i|1≤i≤4}个因素处于第{j|1≤j≤3}级评语的隶属度，各因素权重W我们定义为图像的特征显著度：W＝FSD＝sin((π/2)/|(T1i-T2i)/(T1i+T2i)|){i|1≤i≤4}其中，T1,i、T2,i分别为红外图像与可见光图像的特征；②，利用矩阵模糊乘法得到综合评价向量B：B＝W⊙P其中，“⊙”表示相乘取小，相加取大的模糊算子；③，通过模糊评价向量，做出综合评价；加权平均原则通过对评价向量设立等级值，以评价向量作为权数，评判被评对象所属的等级值：其中，b为权重值，取值为1～3，B为上面得到的综合评价向量，D为最终评价值；利用上式对所有融合方案进行综合评价，那么对于目标区域，评价值最大的融合策略就是对应的最优融合策略；步骤4：利用步骤3得到的融合策略指导图像融合：对红外与可见光图像进行NSCT多尺度分解，对于图像中的目标区域选择步骤3得到的融合策略进行融合，而对于图像中的背景区域则可以选择低频可见光、高频绝对值取大的策略，最后，进行逆NSCT变换，即得到融合后清晰图像。所述目标分割阈值为区域平均显著度的3倍。有益效果本专利技术提出的一种基于目标特征驱动的智能图像融合方法，首先利用本文档来自技高网...

【技术保护点】
1.一种基于目标特征驱动的智能图像融合方法，其特征在于步骤如下：步骤1、建立图像特征集合和融合算法两个集合：首先选择多组红外与可见光图像，并将其进行分块得到融合图像集；通过对图像集中的图像提取8类统计特征得到红外与可见光图像的差异情况；计算差异特征向量之间的相关系数ρXY，其公式如下：

【技术特征摘要】
1.一种基于目标特征驱动的智能图像融合方法，其特征在于步骤如下：步骤1、建立图像特征集合和融合算法两个集合：首先选择多组红外与可见光图像，并将其进行分块得到融合图像集；通过对图像集中的图像提取8类统计特征得到红外与可见光图像的差异情况；计算差异特征向量之间的相关系数ρXY，其公式如下：其中，X和Y分别为两个需要分析的特征向量，和分别为两个特征向量对应的均值向量；以互相关系数大于0.8作为条件对特征进行降维与分类，得到降维后图像特征分别为亮度、粗糙度、对比度以及边缘强度；所述8类统计特征为：灰度均值、标准差、Tmaura纹理特征、平均梯度、平均能量、空间频率和边缘强度；其中Tmaura纹理特征包括粗糙度和对比度(b)建立融合算法集合：采用NSCT非下采样轮廓波变换得到一系列图像的低频和高频子带图像，对高频和低频子带使用不同的融合策略得到不同的图像融合效果；建立的融合算法集将低频的红外IR、可见光VIS、加权平均AVE、基于区域能量RE，与高频的红外IR、可见光VIS、绝对值取大MAX、基于区域方差RV进行两两组合，得到16种不同的融合方法；步骤2、对步骤1建立的两个集合利用模糊数学理论与方法得到两者的模糊映射关系：首先，对图像库中的所有图像利用16种融合方法分别进行融合并对融合后图像块提取4类特征；利用三角隶属度函数评价在单一特征下融合图像块的融合优劣；通过最大隶属度原则得到在单一特征下某对图像块对应的各种融合方法的定性评价结果；第二，利用模糊统计法，将上述的评价结果得到单一特征与融合策略之间的模糊映射关系；通过进行n次重复独立的试验来确定论域中元素x对模糊集A的隶属度，当试验次数n足够大时，元素x的隶属频率趋于一个稳定的数，这个稳定的数即为元素x对A的隶属度；得到单一特征对应融合算法的模糊映射关系；步骤3：基于显著性检测对红...

【专利技术属性】
技术研发人员：李晖晖，苗宇宏，郭雷，杨宁，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61