【技术实现步骤摘要】
基于显著性分析与低秩表示的红外与可见光图像融合方法
本专利技术公开了基于显著性分析与低秩表示的红外与可见光图像融合方法,属于多源图像融合
技术介绍
图像融合技术旨在将多个成像传感器获得的关于同一场景的多幅图像融合成一幅图像,使得融合得到的图像能够综合每幅输入图像中的互补信息,同时尽可能地减少图像之间的冗余信息,实现对场景的更加全面和准确的描述,便于人眼和机器视觉的感知,以及后续的图像处理工作。红外与可见光图像融合技术作为图像融合领域的一个重要分支,其主要目标在于通过图像融合,不仅能够提取红外图像中的热目标信息,并且要求较好地保留可见光图像中丰富的纹理细节信息。红外与可见光图像融合技术能够广泛应用于军事管理、安防监控、工农业生产等重要领域。现有的基于稀疏表示理论或低秩表示理论的红外与可见光图像融合方法通常包括如下几个处理步骤:(1)利用滑动窗技术将输入图像划分为一系列具有一定像素重叠的图像块,得到源图像的向量化矩阵;(2)使用一定的优化求解算法,并结合字典,对源图像的向量化矩阵进行编码,得到图像块的稀疏或低秩表示系数;(3)根据表示系数向量计算活动度水平,并设计融合规则,得到融合后的稀疏或低秩表示系数;(4)利用融合后的表示系数,结合字典,重构出融合图像。这类方法在设计融合规则时通常只根据当前图像块的表示系数向量来确定其活动度水平,再根据活动水平来将当前对应位置的图像块加以融合,即由源图像的局部特征来确定该局部区域像素的活跃度(重要程度)。得到的融合结果虽然考虑了局部图像块的重要性,但是并不能反映出源图像中目标的全局显著特性,造成融合图像中目标对比 ...
【技术保护点】
1.基于显著性分析与低秩表示的红外与可见光图像融合方法,其特征在于,包括:步骤(1)、分别对输入的待融合红外图像与可见光图像执行图像块的划分,并将获取的图像块按字典语义顺序拉伸成向量形式,然后将同一幅图像的所有图像块的向量按列堆叠,分别得到红外图像的图像块数据矩阵和可见光图像的图像块数据矩阵;步骤(2)、对输入的两幅图像分别构建一个分层树形结构利用基于图的图像分割算法,对步骤(1)中得到的待融合红外图像与可见光图像的图像块划分结果,分别按照其位置关系以及特征相似性进行不同程度的聚合,分别得到红外图像以及可见光图像在不同阈值下的由粗糙至精细的聚合结果,即构建得到两幅输入图像对应的分层树形结构;步骤(3)、利用输入源图像,构建背景字典D;步骤(4)、构建分层联合低秩表示模型,然后向该分层联合低秩表示模型输入步骤(1)得到的红外图像的图像块数据矩阵/可见光图像的图像块数据矩阵,以及步骤(2)得到的对应图像的分层树形结构,分别执行分层联合低秩表示,得到红外/可见光图像的低秩表示系数矩阵以及代表显著信息的稀疏重构误差系数矩阵;步骤(5)、将步骤(4)计算得到的系数矩阵分别执行融合操作,得到融后的 ...
【技术特征摘要】
1.基于显著性分析与低秩表示的红外与可见光图像融合方法,其特征在于,包括:步骤(1)、分别对输入的待融合红外图像与可见光图像执行图像块的划分,并将获取的图像块按字典语义顺序拉伸成向量形式,然后将同一幅图像的所有图像块的向量按列堆叠,分别得到红外图像的图像块数据矩阵和可见光图像的图像块数据矩阵;步骤(2)、对输入的两幅图像分别构建一个分层树形结构利用基于图的图像分割算法,对步骤(1)中得到的待融合红外图像与可见光图像的图像块划分结果,分别按照其位置关系以及特征相似性进行不同程度的聚合,分别得到红外图像以及可见光图像在不同阈值下的由粗糙至精细的聚合结果,即构建得到两幅输入图像对应的分层树形结构;步骤(3)、利用输入源图像,构建背景字典D;步骤(4)、构建分层联合低秩表示模型,然后向该分层联合低秩表示模型输入步骤(1)得到的红外图像的图像块数据矩阵/可见光图像的图像块数据矩阵,以及步骤(2)得到的对应图像的分层树形结构,分别执行分层联合低秩表示,得到红外/可见光图像的低秩表示系数矩阵以及代表显著信息的稀疏重构误差系数矩阵;步骤(5)、将步骤(4)计算得到的系数矩阵分别执行融合操作,得到融后的表示系数矩阵,然后利用融合后的表示系数矩阵重构出粗融合图像IF;步骤(6)、利用引导滤波算法对步骤(5)得到的粗融合结果IF进行进一步处理,得到最终的融合图像2.如权利要求1所述的基于显著性分析与低秩表示的红外与可见光图像融合方法,其特征在于,步骤(1)包括如下步骤:(1a)输入经过配准且大小相等的红外图像IA和可见光图像IB,其中,IA∈RH×W,IB∈RH×W,H和W分别表示源图像IA和IB的高度和宽度;(1b)将输入图像划分为图像块采用大小为的窗口,按照步长s,从图像左上角开始,在图像上移动至图像右下角,对输入的两幅源图像IA和IB进行无像素重叠地遍历,得到N个无像素重叠的子图像块,表示向上取整操作,其中:n为正整数;(1c)将步骤(1b)得到的N个无像素重叠的子图像块按照字典语义顺序拉伸成向量形式,并将这些向量按列堆叠,得到对应输入源图像的向量化数据矩阵XA和XB,其中:对应了源图像IA的数据矩阵XA的第i列,对应了源图像IB的数据矩阵XB的第i列。3.如权利要求1所述的基于显著性分析与低秩表示的红外与可见光图像融合方法,其特征在于,步骤(2)包括以下步骤:(2a)分别提取待融合红外图像与可见光图像的每个像素点的强度值、边缘、纹理特征,构成对应像素点的特征向量,然后再计算每个图像块的特征向量,其中:每个图像块的特征向量等于该图像块中所有像素点特征向量的平均值;(2b)基于图论的思想,将输入的整幅图像看作图论的图,将划分的图像块看作是图的节点,相邻图像块之间的特征相似性作为图的边权重,利用基于图的分割算法,将空间相邻且特征相似的图像块进行合并,通过设置多个不同的合并阈值,可以得到源图像的由粗糙至精细的分割结果,即构建得到的分层树形结构。4.如权利要求2所述的基于显著性分析与低秩表示的红外与可见光图像融合方法,其特征在于,步骤(3)包括以下步骤:(3a)利用基于结构矩阵分解的图像显著性检测算法对输入的红外图像与可见光图像执行显著性检测,分别得到对应图像的显著图,在显著图中能够显示出显著目标的位置,并且显著图中像素值高的区域即为显著目标区域;(3b)将步骤(1b)的图像块划分结果映射在显著图中,计算显著图中每个图像块所有像素点显著值的平均值,作为该图像块的显著值,并用该值作为图像块的前景概率,记作pFG(i);图像块的显著值越大,则其背景概率越小,设置一个概率阈值Th,pFG(i)小于该阈值的图像块作为背景图像块;(3c...
【专利技术属性】
技术研发人员:张强,田赛赛,张鼎文,史涛,韩军功,王龙,
申请(专利权)人:西安电子科技大学,
类型:发明
国别省市:陕西,61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。