一种基于区域稀疏表示的红外与可见光图像融合方法技术

本发明专利技术涉及一种基于区域稀疏表示的红外与可见光图像融合方法，该方法首先将红外与可见光图像分块；然后检索出每个图像块所在的一致性区域，对一致性区域进行联合稀疏编码并据此计算显著性测度；最后按照显著性测度对相应图像块进行加权融合，把所有的融合图像块组装成融合图像。与现有技术相比，本发明专利技术具有可以保存红外图像中局部不显著、但非局部显著的结构信息，能够有效提升融合图像的结构完整性及区域一致性等优点。

【技术实现步骤摘要】

本专利技术涉及一种图像融合方法，尤其是涉及一种基于区域稀疏表示的红外与可见光图像融合方法。
技术介绍
图像融合可以将关于某个具体场景的多个图像加以综合，并以符合特定任务需求的方式展现给观测者或供下一步处理。图像融合可以使信息覆盖更广泛的空间和时间范围、降低信息的冗余性及不确定性、提升信息的互补性及可靠性，在民用及国防领域都有着重要应用。红外图像与可见光图像的融合是多源图像融合的重要方面。红外图像可以提供较多的目标信息，可见光图像可以提供较多的背景信息，两者融合后可以显著提升观测者的认知表现。图像融合方法可以大体上分为两类，基于空间域的融合方法与基于变换域的融合方法。基于空间域的融合方法直接对源图像的像素值进行融合，包括取像素最值，取像素均值及主成分分析等。基于变换域的融合方法对源图像在变换域中的系数进行融合，再将融合后的系数进行反变换后得到融合图像。根据所变换区域的不同，基于变换域的融合方法可以分为全局变换融合与局部变换融合两种方案，前者对整幅源图像进行变换和融合处理，包括基于拉普拉斯金字塔的融合方法，基于离散小波变换的融合方法，基于离散余弦变换的融合方法等；后者将源图像分块，块间保留一定的重叠，从上至下，从左至右，逐个对图像块进行变换和融合处理，最后将所有图像块组装成融合图像，包括基于稀疏表示的融合方法、基于特征学习的融合方法等。与采用全局变换融合的方法相比，采用局部变换融合的方法可以更好地保留源图像中的边缘信息及对比度，具有更佳的融合效果，近年来引起广泛关注。与一般的图像融合问题相比，红外与可见光图像融合有其自身特点。图像融合的过程实质上就是保留显著性高的信息、忽略显著性低的信息的过程。然而，由于特殊的成像机制，红外图像画面模糊、细节缺乏，若仅从局部来看，与可见光图像中的细节信息相比，红外图像中的边界或轮廓等结构信息普遍具有较低的显著性。因此，在现有的采用局部变换融合的方法中，这些来自红外图像的、重要的结构信息，或是被可见光图像中的细节信息遮盖而在融合图中消失，或是被细节信息分割而在融合图中表现为不连续的结构。无论哪一种情况出现在融合图中，都会对识别任务造成负面影响，应该尽量避免。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于区域稀疏表示的红外与可见光图像融合方法，解决了现有融合方法对红外图像中的边界、轮廓等结构信息保留缺乏完整性的问题。本专利技术的目的可以通过以下技术方案来实现：一种基于区域稀疏表示的红外与可见光图像融合方法，该方法首先将红外与可见光图像分块；然后检索出每个图像块所在的一致性区域，对一致性区域进行联合稀疏编码并据此计算显著性测度；最后按照显著性测度对相应图像块进行加权融合，把所有的融合图像块组装成融合图像。所述的将红外与可见光图像分块时，其块间设有设定的重叠区域，并按照从上到下、从左到右依次逐个处理图像块。所述的一致性区域检索时以每个图像块为中心，所述的一致性区域是指位于中心图像块的半径为N个像素的搜索范围之内、与中心图像块最相似的一组图像块集合，该集合包含中心图像块。所述的图像块之间的相似性采用结构相似度进行度量。所述的结构相似度计算具体如下：给定两个大小同为r×r的图像块A和B，记和分别为A和B的均值，和分别A和B的方差，σAB为A和B之间的斜方差，则A与B的结构相似度为SSIM(A,B)即为评价图像块A和B之间结构相似度的指数，取值范围为[-11]，值越大越相似，乘积的第一部分为两图像块的相似系数，第二部分为亮度扭曲度，第三部分为对比度扭曲度。所述的联合稀疏编码使来自红外的图像块集合与来自可见光的图像块集合在进行稀疏分解时使用相同的字典基，只有系数不同；这能够保证区域间稀疏编码的可比较性。所述的显著性测度具体计算如下：图像块i的显著性测度ei定义为其中，Si为图像块i的相似集，xj为图像块i的相似集中的图像块j的稀疏编码，xj,t是xj中的第t个元素，I＝1，当xj,1(l)≠0。所述的按照显著性测度对相应图像块进行加权融合为：针对待融合的红外与可见光图像块分别重新进行独立稀疏编码，再根据显著性测度进行加权融合，可以最小化重建误差。所述的加权融合具体过程如下：在稀疏分解前对每个图像块都被减去其均值mi，并对系数和均值的融合分别进行处理；稀疏系数的融合公式为：均值的融合公式为：其中，xi(1)、ei(1)表示来自红外图像的图像块i及其显著性测度，xi(2)、ei(2)表示来自可将光图像的图像块i及其显著性测度，k为控制函数平滑度的参数，可以在(0,∞)间选择，k＝0时，融合公式为取平均值策略；k＝∞时，融合公式为取最大值策略融合图像块由下式得到：D为联合稀疏编码时使用过的字典基。所述的把所有的融合图像块组装成融合图像具体为：将所有融合图像块按照从上至下、从左至右依次逐个排列成融合图像，重叠部分取各图像块上相应像素的均值。与现有技术相比，本专利技术可以保存红外图像中局部不显著、但非局部显著的结构信息，能够有效提升融合图像的结构完整性及区域一致性。附图说明图1为本专利技术的工作流程图；图2为实施例使用本专利技术方法及现有主流融合方法的融合效果对比图，其中a)和b)分别为模拟伏击战情的红外图像和可见光图像，c)为拉普拉斯金字塔方法(LAP)的融合效果图，d)为平移不变离散小波变换方法(SIDWT)的融合效果图，e)为基于稀疏表示方法(SR)的融合效果图，f)为本专利技术方法的融合效果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。图2为实施例使用本专利技术方法及现有主流融合方法的融合效果对比图。其中，本专利技术方法的融合效果图通过以下具体方式实施：1)将红外与可见光图像分块，块间保留一定的重叠，从上至下，从左至右，逐个处理图像块。本实施例中，红外与可见光图像均为256×256像素，所分图像块的大小为5×5像素，重叠宽度为2像素。2)以每个图像块为中心，检索出其所在的一致性区域。所谓一致性区域是指位于中心图像块的半径为N个像素的搜索范围之内、与中心图像块相似的一组图像块集合，该集合包含中心图像块。图像块之间的相似性采用结构相似度进行度量。本实施例中，半径N为15个像素，每个图像集合包含了前15个与中心图像块最相似的图像块。本实施例中，用于度量图像块相似性的结构相似度定义为：给定两个大小同为r×r的图像块A和B，记和分别为A和B的均值，和分别A和B的方差，σAB为A和B之间的斜方差，则A与B的结构相似度为SSIM(A,B)即为评价图像块A和B之间结构相似度的指数，取值范围为[-11]，值越大越相似。乘积的第一部分为两图像块的相似系数，第二部分为亮度扭曲度，第三部分为对比度扭曲度。3)对每一对待融合的红外图像块与可见光图像块所在的两个一致性区域进行联合稀疏编码，并据此计算显著性测度。本实施例中，联合稀疏编码采用SOMP算法，针对每一对待融合图像块，参与联合稀疏编码的图像块共为30个，其中15个为红外图像块的相似集、15个为可见光图像块的相似集。本实施例中本文档来自技高网...

【技术保护点】
一种基于区域稀疏表示的红外与可见光图像融合方法，其特征在于，该方法首先将红外与可见光图像分块；然后检索出每个图像块所在的一致性区域，对一致性区域进行联合稀疏编码并据此计算显著性测度；最后按照显著性测度对相应图像块进行加权融合，把所有的融合图像块组装成融合图像。

【技术特征摘要】
1.一种基于区域稀疏表示的红外与可见光图像融合方法，其特征在于，该方法首先将红外与可见光图像分块；然后检索出每个图像块所在的一致性区域，对一致性区域进行联合稀疏编码并据此计算显著性测度；最后按照显著性测度对相应图像块进行加权融合，把所有的融合图像块组装成融合图像。2.根据权利要求1所述的一种基于区域稀疏表示的红外与可见光图像融合方法，其特征在于，所述的将红外与可见光图像分块时，其块间设有设定的重叠区域，并按照从上到下、从左到右依次逐个处理图像块。3.根据权利要求1所述的一种基于区域稀疏表示的红外与可见光图像融合方法，其特征在于，所述的一致性区域检索时以每个图像块为中心，所述的一致性区域是指位于中心图像块的半径为N个像素的搜索范围之内、与中心图像块最相似的一组图像块集合，该集合包含中心图像块。4.根据权利要求3所述的一种基于区域稀疏表示的红外与可见光图像融合方法，其特征在于，所述的图像块之间的相似性采用结构相似度进行度量。5.根据权利要求4所述的一种基于区域稀疏表示的红外与可见光图像融合方法，其特征在于，所述的结构相似度计算具体如下：给定两个大小同为r×r的图像块A和B，记和分别为A和B的均值，和分别A和B的方差，σAB为A和B之间的斜方差，则A与B的结构相似度为SSIM(A,B)即为评价图像块A和B之间结构相似度的指数，取值范围为[-11]，值越大越相似，乘积的第一部分为两图像块的相似系数，第二部分为亮度扭曲度，第三部分为对比度扭曲度。6.根据权利要求1所述的一种基于区域稀疏表示的红外与可见光图像融合方法，其特征在于，所述的联合稀...

【专利技术属性】
技术研发人员：谷小婧，董永昊，何雨旻，郑紫芊，符方昊，顾幸生，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：上海;31