基于显著性分析与低秩表示的红外与可见光图像融合方法技术

技术编号:21915240 阅读:28 留言:0更新日期:2019-08-21 12:48
本发明专利技术公开了基于显著性分析与低秩表示的红外与可见光图像融合方法,包括:步骤(1)、分别对输入的待融合红外图像与可见光图像执行图像块的划分,得到红外图像的图像块数据矩阵和可见光图像的图像块数据矩阵;步骤(2)、构建一个分层树形结构;步骤(3)、利用输入源图像,构建背景字典D;步骤(4)、构建分层联合低秩表示模型,然后执行分层联合低秩表示,得到红外/可见光图像的低秩表示系数矩阵以及代表显著信息的稀疏重构误差系数矩阵;步骤(5)、将系数矩阵分别执行融合操作,得到融后的表示系数矩阵,然后利用融合后的表示系数矩阵重构出粗融合图像IF;步骤(6)、利用引导滤波算法对粗融合结果IF进行进一步处理,得到最终的融合图像

Infrared and Visible Image Fusion Method Based on Significance Analysis and Low Rank Representation

【技术实现步骤摘要】
基于显著性分析与低秩表示的红外与可见光图像融合方法
本专利技术公开了基于显著性分析与低秩表示的红外与可见光图像融合方法,属于多源图像融合

技术介绍
图像融合技术旨在将多个成像传感器获得的关于同一场景的多幅图像融合成一幅图像,使得融合得到的图像能够综合每幅输入图像中的互补信息,同时尽可能地减少图像之间的冗余信息,实现对场景的更加全面和准确的描述,便于人眼和机器视觉的感知,以及后续的图像处理工作。红外与可见光图像融合技术作为图像融合领域的一个重要分支,其主要目标在于通过图像融合,不仅能够提取红外图像中的热目标信息,并且要求较好地保留可见光图像中丰富的纹理细节信息。红外与可见光图像融合技术能够广泛应用于军事管理、安防监控、工农业生产等重要领域。现有的基于稀疏表示理论或低秩表示理论的红外与可见光图像融合方法通常包括如下几个处理步骤:(1)利用滑动窗技术将输入图像划分为一系列具有一定像素重叠的图像块,得到源图像的向量化矩阵;(2)使用一定的优化求解算法,并结合字典,对源图像的向量化矩阵进行编码,得到图像块的稀疏或低秩表示系数;(3)根据表示系数向量计算活动度水平,并设计融合规则,得到融合后的稀疏或低秩表示系数;(4)利用融合后的表示系数,结合字典,重构出融合图像。这类方法在设计融合规则时通常只根据当前图像块的表示系数向量来确定其活动度水平,再根据活动水平来将当前对应位置的图像块加以融合,即由源图像的局部特征来确定该局部区域像素的活跃度(重要程度)。得到的融合结果虽然考虑了局部图像块的重要性,但是并不能反映出源图像中目标的全局显著特性,造成融合图像中目标对比度降低,以及其他细节信息存在不同程度的丢失。
技术实现思路
专利技术目的:本专利技术的目的在于克服上述现有技术的不足,提供一种基于显著性分析与低秩表示的红外与可见光图像融合方法。本专利技术公开的技术方案能够得到更高质量的融合结果,特别是能够完整保留以及凸显出源图像中的全局显著目标信息,并且融合结果具有较高的对比度和更好的视觉保真度。技术方案:基于显著性分析与低秩表示的红外与可见光图像融合方法,包括:步骤(1)、分别对输入的待融合红外图像与可见光图像执行图像块的划分,并将获取的图像块按字典语义顺序拉伸成向量形式,然后将同一幅图像的所有图像块的向量按列堆叠,分别得到红外图像的图像块数据矩阵和可见光图像的图像块数据矩阵;步骤(2)、对输入的两幅图像分别构建一个分层树形结构利用基于图的图像分割算法,对步骤(1)中得到的待融合红外图像与可见光图像的图像块划分结果,分别按照其位置关系以及特征相似性进行不同程度的聚合,分别得到红外图像以及可见光图像在不同阈值下的由粗糙至精细的聚合结果,即构建得到两幅输入图像对应的分层树形结构;步骤(3)、利用输入源图像,构建背景字典D;步骤(4)、构建分层联合低秩表示模型,然后向该分层联合低秩表示模型输入步骤(1)得到的红外图像的图像块数据矩阵/可见光图像的图像块数据矩阵,以及步骤(2)得到的对应图像的分层树形结构,分别执行分层联合低秩表示,得到红外/可见光图像的低秩表示系数矩阵以及代表显著信息的稀疏重构误差系数矩阵;步骤(5)、将步骤(4)计算得到的系数矩阵分别执行融合操作,得到融后的表示系数矩阵,然后利用融合后的表示系数矩阵重构出粗融合图像IF;步骤(6)、利用引导滤波算法对步骤(5)得到的粗融合结果IF进行进一步处理,得到最终的融合图像进一步地,步骤(1)包括如下步骤:(1a)输入经过配准且大小相等的红外图像IA和可见光图像IB,其中,IA∈RH×W,IB∈RH×W,H和W分别表示源图像IA和IB的高度和宽度;(1b)将输入图像划分为图像块采用大小为的窗口,按照步长s,从图像左上角开始,在图像上移动至图像右下角,对输入的两幅源图像IA和IB进行无像素重叠地遍历,得到N个无像素重叠的子图像块,表示向上取整操作,其中:n为正整数;(1c)将步骤(1b)得到的N个无像素重叠的子图像块按照字典语义顺序拉伸成向量形式,并将这些向量按列堆叠,得到对应输入源图像的向量化数据矩阵XA和XB,其中:对应了源图像IA的数据矩阵XA的第i列,对应了源图像IB的数据矩阵XB的第i列。进一步地,步骤(2)包括以下步骤:(2a)分别提取待融合红外图像与可见光图像的每个像素点的强度值、边缘、纹理特征,构成对应像素点的特征向量,然后再计算每个图像块的特征向量,其中:每个图像块的特征向量等于该图像块中所有像素点特征向量的平均值;(2b)基于图论的思想,将输入的整幅图像看作图论的图,将划分的图像块看作是图的节点,相邻图像块之间的特征相似性作为图的边权重。利用基于图的分割算法,将空间相邻且特征相似的图像块进行合并,通过设置多个不同的合并阈值,可以得到源图像的由粗糙至精细的分割结果,即构建得到的分层树形结构。进一步地,步骤(3)包括以下步骤:(3a)利用基于结构矩阵分解的图像显著性检测算法对输入的红外图像与可见光图像执行显著性检测,分别得到对应图像的显著图。在显著图中能够显示出显著目标的位置,并且显著图中像素值高的区域即为显著目标区域;(3b)将步骤(1b)的图像块划分结果映射在显著图中,计算显著图中每个图像块所有像素点显著值的平均值,作为该图像块的显著值,并用该值作为图像块的前景概率,记作pFG(i);图像块的显著值越大,则其背景概率越小,设置一个概率阈值Th,pFG(i)小于该阈值的图像块作为背景图像块;(3c)将得到的背景图像块作为字典学习的训练集,采用k-均值聚类算法对背景图像块进行聚类,再对属于每一类的聚类结果使用PCA算法,获取其中最主要的一部分主成分分量作为字典原子,学习得到一个子字典,最后将所有子字典加以综合,得到最终的背景字典D。进一步地,步骤(4)包括以下步骤:(4a)构建一种新的分层联合低秩表示模型,其表达式如下:其中:X∈Rn×N代表一幅输入图像的图像块数据矩阵;D∈Rn×K代表所构建的背景字典;Z∈RK×N为求解得到的联合低秩表示系数矩阵;E∈Rn×N为代表着图像显著部分的稀疏重构误差系数矩阵;为子矩阵的核范数,用来约束子区域的低秩特性;表示在树形结构某一尺度层d上的属于同一类的图像块的表示系数更具有低秩特性;为矩阵E的l2,1范数,用来约束显著部分的稀疏特性;参数λ>0以及β>0作为平衡因子,用来平衡模型中的三项所占的权重;矩阵Q代表图像的对比度先验信息;约束项Tr(ETQ)表示矩阵ETQ的迹,通过对E施加此约束,使得分解得到的E部分(显著部分)更加紧凑,能够包含完整的目标区域,并减少信息丢失;(4b)利用具有自适应惩罚因子的线性迭代方向算法对分层联合低秩表示模型进行求解,得到红外图像IA的表示系数以及可见光图像IB的表示系数其计算公式如下:更进一步地,矩阵Q的计算过程如下:计算图像向量化矩阵X的每一列的均值,表示对应位置处图像块的灰度均值,如此得到所有图像块的灰度均值向量;对某一图像块i,计算该图像块的像素灰度均值与其他图像块的像素灰度均值之差,并将所有差值的绝对值相加,结果作为该图像块的对比度先验q(i),q(i)公式表示为:其中:N为图像块个数;mean(X(:,i))表示计算矩阵X的第i列的均值;考虑到矩阵相乘的规则,对图像块灰度均值本文档来自技高网
...

【技术保护点】
1.基于显著性分析与低秩表示的红外与可见光图像融合方法,其特征在于,包括:步骤(1)、分别对输入的待融合红外图像与可见光图像执行图像块的划分,并将获取的图像块按字典语义顺序拉伸成向量形式,然后将同一幅图像的所有图像块的向量按列堆叠,分别得到红外图像的图像块数据矩阵和可见光图像的图像块数据矩阵;步骤(2)、对输入的两幅图像分别构建一个分层树形结构利用基于图的图像分割算法,对步骤(1)中得到的待融合红外图像与可见光图像的图像块划分结果,分别按照其位置关系以及特征相似性进行不同程度的聚合,分别得到红外图像以及可见光图像在不同阈值下的由粗糙至精细的聚合结果,即构建得到两幅输入图像对应的分层树形结构;步骤(3)、利用输入源图像,构建背景字典D;步骤(4)、构建分层联合低秩表示模型,然后向该分层联合低秩表示模型输入步骤(1)得到的红外图像的图像块数据矩阵/可见光图像的图像块数据矩阵,以及步骤(2)得到的对应图像的分层树形结构,分别执行分层联合低秩表示,得到红外/可见光图像的低秩表示系数矩阵以及代表显著信息的稀疏重构误差系数矩阵;步骤(5)、将步骤(4)计算得到的系数矩阵分别执行融合操作,得到融后的表示系数矩阵,然后利用融合后的表示系数矩阵重构出粗融合图像IF;步骤(6)、利用引导滤波算法对步骤(5)得到的粗融合结果IF进行进一步处理,得到最终的融合图像...

【技术特征摘要】
1.基于显著性分析与低秩表示的红外与可见光图像融合方法,其特征在于,包括:步骤(1)、分别对输入的待融合红外图像与可见光图像执行图像块的划分,并将获取的图像块按字典语义顺序拉伸成向量形式,然后将同一幅图像的所有图像块的向量按列堆叠,分别得到红外图像的图像块数据矩阵和可见光图像的图像块数据矩阵;步骤(2)、对输入的两幅图像分别构建一个分层树形结构利用基于图的图像分割算法,对步骤(1)中得到的待融合红外图像与可见光图像的图像块划分结果,分别按照其位置关系以及特征相似性进行不同程度的聚合,分别得到红外图像以及可见光图像在不同阈值下的由粗糙至精细的聚合结果,即构建得到两幅输入图像对应的分层树形结构;步骤(3)、利用输入源图像,构建背景字典D;步骤(4)、构建分层联合低秩表示模型,然后向该分层联合低秩表示模型输入步骤(1)得到的红外图像的图像块数据矩阵/可见光图像的图像块数据矩阵,以及步骤(2)得到的对应图像的分层树形结构,分别执行分层联合低秩表示,得到红外/可见光图像的低秩表示系数矩阵以及代表显著信息的稀疏重构误差系数矩阵;步骤(5)、将步骤(4)计算得到的系数矩阵分别执行融合操作,得到融后的表示系数矩阵,然后利用融合后的表示系数矩阵重构出粗融合图像IF;步骤(6)、利用引导滤波算法对步骤(5)得到的粗融合结果IF进行进一步处理,得到最终的融合图像2.如权利要求1所述的基于显著性分析与低秩表示的红外与可见光图像融合方法,其特征在于,步骤(1)包括如下步骤:(1a)输入经过配准且大小相等的红外图像IA和可见光图像IB,其中,IA∈RH×W,IB∈RH×W,H和W分别表示源图像IA和IB的高度和宽度;(1b)将输入图像划分为图像块采用大小为的窗口,按照步长s,从图像左上角开始,在图像上移动至图像右下角,对输入的两幅源图像IA和IB进行无像素重叠地遍历,得到N个无像素重叠的子图像块,表示向上取整操作,其中:n为正整数;(1c)将步骤(1b)得到的N个无像素重叠的子图像块按照字典语义顺序拉伸成向量形式,并将这些向量按列堆叠,得到对应输入源图像的向量化数据矩阵XA和XB,其中:对应了源图像IA的数据矩阵XA的第i列,对应了源图像IB的数据矩阵XB的第i列。3.如权利要求1所述的基于显著性分析与低秩表示的红外与可见光图像融合方法,其特征在于,步骤(2)包括以下步骤:(2a)分别提取待融合红外图像与可见光图像的每个像素点的强度值、边缘、纹理特征,构成对应像素点的特征向量,然后再计算每个图像块的特征向量,其中:每个图像块的特征向量等于该图像块中所有像素点特征向量的平均值;(2b)基于图论的思想,将输入的整幅图像看作图论的图,将划分的图像块看作是图的节点,相邻图像块之间的特征相似性作为图的边权重,利用基于图的分割算法,将空间相邻且特征相似的图像块进行合并,通过设置多个不同的合并阈值,可以得到源图像的由粗糙至精细的分割结果,即构建得到的分层树形结构。4.如权利要求2所述的基于显著性分析与低秩表示的红外与可见光图像融合方法,其特征在于,步骤(3)包括以下步骤:(3a)利用基于结构矩阵分解的图像显著性检测算法对输入的红外图像与可见光图像执行显著性检测,分别得到对应图像的显著图,在显著图中能够显示出显著目标的位置,并且显著图中像素值高的区域即为显著目标区域;(3b)将步骤(1b)的图像块划分结果映射在显著图中,计算显著图中每个图像块所有像素点显著值的平均值,作为该图像块的显著值,并用该值作为图像块的前景概率,记作pFG(i);图像块的显著值越大,则其背景概率越小,设置一个概率阈值Th,pFG(i)小于该阈值的图像块作为背景图像块;(3c...

【专利技术属性】
技术研发人员:张强田赛赛张鼎文史涛韩军功王龙
申请(专利权)人:西安电子科技大学
类型:发明
国别省市:陕西,61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1