基于潜在低秩表示和结构张量的图像融合方法及装置制造方法及图纸

本发明专利技术提供的基于潜在低秩表示和结构张量的图像融合方法及装置，针对现有双通道PCNN模型在解决红外图像与可见光图像融合问题时存在的不足，利用基于LatLRR算法构成的LSR算子作为PCNN模型的外界刺激，解决红外图像与可见光图像之间较大的差异性，并且利用基于结构张量奇异值分解而构成的TSV算子作为链接强度，表征图像的特征变化，一定程度上可以解决红外图像与可见光图像光谱差异较大而导致融合图像对比度较低的问题，同时较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。

【技术实现步骤摘要】
基于潜在低秩表示和结构张量的图像融合方法及装置
本专利技术涉及图像融合领域，特别涉及一种基于潜在低秩表示和结构张量的图像融合方法及装置。
技术介绍
随着数字图像处理技术、数据融合技术的不断发展，红外(IR)与可见光(VI)图像融合技术的研究已逐渐成为了研究热点。红外与可见光图像融合就是将红外图像的显著性特征与可见光图像的梯度纹理特征相结合，从而有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。由于融合后的图像可以把源图像之间的优点结合起来，因此该技术目前已广泛应用于军事侦查、计算机视觉、安全监控等多个领域。针对IR与VI图像之间的融合，目前主要有两大类方法。第一类方法是基于多尺度分解(MST)的融合方法。MST工具如Curvelet变换，非下采样Contourlet变换(NSCT)，剪切波变换(ST)等已经成功用于图像融合领域。该类方法可以很好地提取图像的多尺度特征，但是在图像重构的过程中会平滑图像的细节，并且容易引入频谱混叠效应，影响融合效果。另一类方法则是在空间域选取具有更加明显特征的像素作为融合图像的像素，其中最具有代表性的就是PCNN方法。由于PCNN特有的仿生机制，能够保持输入图像空间二维信息的完整性，将图像的信息特征与其视觉特性完美结合，因此可以获得较好的融合效果。目前针对PCNN的研究，学者们从未停止，并且已经提出了大量的改进。传统PCNN模型大多以单通道为主，其内部含有大量不可省略的外设参数，并且多数都要靠经验设置，这导致融合的时效性与准确性大大降低。现有技术中，提出一种双通道PCNN(DUAL-PCNN)模型解决了上述问题。DUAL-PCNN继承了传统PCNN模型的所有优点，并且将单通道输入变为双通道模型输入。由于采用双通道使其内部集成了融合机制，因此很大程度上提高了PCNN模型的融合效果。作为PCNN模型内部最重要的两个参数，外界刺激与链接强度都反映了人眼视觉系统对图像不同特征区域反应的强烈程度。两个参数的设置与选择，也往往决定了最终的融合效果。为了对融合效果进行提高，学者们分别采用拉普拉斯能量和、平均梯度、空间频率等可以表征图像局部特征的算子对两个参数进行自适应设置。然而经过大量实验发现，针对图像光谱差异较大的IR与VI图像融合，上述算子容易导致PCNN模型中外界刺激与链接强度值的稳定性下降，因此最终的融合图像往往存在目标光晕和黑色伪影等问题。
技术实现思路
本专利技术实施例提供了一种基于潜在低秩表示和结构张量的图像融合方法及装置，解决了红外图像与可见光图像光谱差异较大而导致融合图像对比度偏低和出现大量黑色伪影等问题，可以更好地表达图像的特征，将可见光的纹理信息与红外图像的显著性特征完美结合，最终取得较好的融合效果第一方面，本专利技术提供一种基于潜在低秩表示和结构张量的图像融合方法，所述方法包括：获取来自同一场景并进行图像配准的红外图像和可见光图像；利用潜在低秩表示LatLRR算法对所述红外图像和所述可见光图像进行分解得到第一显著性特征图和第二显著性特征图，对所述第一显著性特征图和所述第二显著性特征图各自的灰度值进行归一化，分别对应形成第一加权系数矩阵和第二加权系数矩阵；利用所述第一加权系数矩阵和所述第二加权系数矩阵分别指导基于红外显著性红外显著性与可见光显著性的原图像自适应加权叠加，将叠加后的系数矩阵归一化构成低秩显著性LSR算子；获取图像任一点像素的梯度向量，利用利用所述梯度向量确定所述像素点的张量，对所述张量采用滤波技术进行平滑处理的到结构张量，所述结构张量进行矩阵奇异值分解得到相应的特征根，利用所述特征根确定张量奇异值TSV算子；将所述LSR算子和TSV算子输入到预先建立的自适应双通道PCNN模型中，以所述TSV算子作为PCNN模型的链接强度处理得到融合图像灰度值。可选地，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：分别获取同一场景的红外图像和可见光图像；对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。可选地，所述利用潜在低秩表示LatLRR算法对所述红外图像和所述可见光图像进行分解得到第一显著性特征图和第二显著性特征图，对所述第一显著性特征图和所述第二显著性特征图各自的灰度值进行归一化，分别对应形成第一加权系数矩阵和第二加权系数矩阵，包括：采用潜在低秩表示LatLRR算法分别对红外图像与可见光图像进行分解，获得各自的第一显著性特征图SIR(x,y)与第二显著性特征图SVI(x,y)，将第一显著性特征图SIR(x,y)与第二显著性特征图SVI(x,y)的灰度值进行归一化，形成第一加权系数矩阵Si(x,y)与第二加权系数矩阵Sv(x,y)，第一加权系数矩阵Si(x,y)或第二加权系数矩阵Sv(x,y)的表达式为：可选地，所述利用所述第一加权系数矩阵和所述第二加权系数矩阵分别指导基于红外显著性红外显著性与可见光显著性的原图像自适应加权叠加，将叠加后的系数矩阵归一化构成低秩显著性LSR算子，包括：利用第一加权系数矩阵Si(x,y)与第二加权系数矩阵Sv(x,y)分别指导基于红外显著性与可见光显著性的源图像自适应加权叠加，将叠加后的系数矩阵归一化，从而构成低秩显著性LSR算子，其具体表达式如下所示：L1(x,y)＝Si(x,y)·IR(x,y)+(1-Si(x,y))·VI(x,y))；(4)L2(x,y)＝Sv(x,y)·VI(x,y)+(1-Sv(x,y))·IR(x,y))；(5)其中IR(x,y)与VI(x,y)分别代表红外图像与可见光图像在(x,y)处的灰度值，LSR1/2(x,y)分别表示双通道PCNN模型的两个外界刺激。可选地，所述获取图像任一点像素的梯度向量，利用利用所述梯度向量确定所述像素点的张量，对所述张量采用滤波技术进行平滑处理的到结构张量，所述结构张量进行矩阵奇异值分解得到相应的特征根，利用所述特征根确定张量奇异值TSV算子，包括：设图像中某点像素(x,y)的梯度向量为则该点的张量G(x,y)可表示为：其中I(x,y)为该点的灰度值，为梯度符号，有如下表达式：滤波技术对矩阵场数据进行平滑，将经过滤波平滑后的张量定义为结构张量，结构张量表达式如下所示：其中Gσ为结构张量，gσ为方差是σ的高斯函数，*为卷积符号；对结构张量Gσ采取矩阵奇异值分解，获得相应的特征根：其中V是个2×2的正定矩阵，λ1与λ2分别为结构张量的特征值，张量奇异值TSV算子作为PCNN模型的链接强度，链接强度表达式如下：TSV的大小可以体现图像局部区域基本结构模式，TSV的值较大，则当前区域包含丰富的细节信息；TSV的值较小，则当前区域较为平坦，TSV算子可以作为链接强度的描述算子，TSV算子的值可用来表征图像的特征。可选地，所述将所述LSR算子和TSV算子输入到预先建立的自适应双通道PCNN模型中，以所述TSV算子作为PCNN模型的链接强度处理得到融合图像灰度值，包括：将LSR算子与TSV算子输入到自适应双通道PCNN模型中，其中自适应PCNN模型的表达式如下：接收域：Fxy1(n)＝Sxy1(n)；(12)Fxy2(n)＝Sxy2(n本文档来自技高网...

【技术保护点】
1.一种基于潜在低秩表示和结构张量的图像融合方法，其特征在于，所述方法包括：获取来自同一场景并进行图像配准的红外图像和可见光图像；利用潜在低秩表示LatLRR算法对所述红外图像和所述可见光图像进行分解得到第一显著性特征图和第二显著性特征图，对所述第一显著性特征图和所述第二显著性特征图各自的灰度值进行归一化，分别对应形成第一加权系数矩阵和第二加权系数矩阵；利用所述第一加权系数矩阵和所述第二加权系数矩阵分别指导基于红外显著性红外显著性与可见光显著性的原图像自适应加权叠加，将叠加后的系数矩阵归一化构成低秩显著性LSR算子；获取图像任一点像素的梯度向量，利用利用所述梯度向量确定所述像素点的张量，对所述张量采用滤波技术进行平滑处理的到结构张量，所述结构张量进行矩阵奇异值分解得到相应的特征根，利用所述特征根确定张量奇异值TSV算子；将所述LSR算子和TSV算子输入到预先建立的自适应双通道PCNN模型中，以所述TSV算子作为PCNN模型的链接强度处理得到融合图像灰度值。

【技术特征摘要】
1.一种基于潜在低秩表示和结构张量的图像融合方法，其特征在于，所述方法包括：获取来自同一场景并进行图像配准的红外图像和可见光图像；利用潜在低秩表示LatLRR算法对所述红外图像和所述可见光图像进行分解得到第一显著性特征图和第二显著性特征图，对所述第一显著性特征图和所述第二显著性特征图各自的灰度值进行归一化，分别对应形成第一加权系数矩阵和第二加权系数矩阵；利用所述第一加权系数矩阵和所述第二加权系数矩阵分别指导基于红外显著性红外显著性与可见光显著性的原图像自适应加权叠加，将叠加后的系数矩阵归一化构成低秩显著性LSR算子；获取图像任一点像素的梯度向量，利用利用所述梯度向量确定所述像素点的张量，对所述张量采用滤波技术进行平滑处理的到结构张量，所述结构张量进行矩阵奇异值分解得到相应的特征根，利用所述特征根确定张量奇异值TSV算子；将所述LSR算子和TSV算子输入到预先建立的自适应双通道PCNN模型中，以所述TSV算子作为PCNN模型的链接强度处理得到融合图像灰度值。2.根据权利要求1所述的基于潜在低秩表示和结构张量的图像融合方法，其特征在于，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：分别获取同一场景的红外图像和可见光图像；对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。3.根据权利要求1所述的基于潜在低秩表示和结构张量的图像融合方法，其特征在于，所述利用潜在低秩表示LatLRR算法对所述红外图像和所述可见光图像进行分解得到第一显著性特征图和第二显著性特征图，对所述第一显著性特征图和所述第二显著性特征图各自的灰度值进行归一化，分别对应形成第一加权系数矩阵和第二加权系数矩阵，包括：采用潜在低秩表示LatLRR算法分别对红外图像与可见光图像进行分解，获得各自的第一显著性特征图SIR(x,y)与第二显著性特征图SVI(x,y)，将第一显著性特征图SIR(x,y)与第二显著性特征图SVI(x,y)的灰度值进行归一化，形成第一加权系数矩阵Si(x,y)与第二加权系数矩阵Sv(x,y)，第一加权系数矩阵Si(x,y)或第二加权系数矩阵Sv(x,y)的表达式为：4.根据权利要求3所述的基于潜在低秩表示和结构张量的图像融合方法，其特征在于，所述利用所述第一加权系数矩阵和所述第二加权系数矩阵分别指导基于红外显著性红外显著性与可见光显著性的原图像自适应加权叠加，将叠加后的系数矩阵归一化构成低秩显著性LSR算子，包括：利用第一加权系数矩阵Si(x,y)与第二加权系数矩阵Sv(x,y)分别指导基于红外显著性与可见光显著性的源图像自适应加权叠加，将叠加后的系数矩阵归一化，构成低秩显著性LSR算子，其具体表达式如下所示：L1(x,y)＝Si(x,y)·IR(x,y)+(1-Si(x,y))·VI(x,y))；(4)L2(x,y)＝Sv(x,y)·VI(x,y)+(1-Sv(x,y))·IR(x,y))；(5)其中IR(x,y)与VI(x,y)分别代表红外图像与可见光图像在(x,y)处的灰度值，LSR1/2(x,y)分别表示双通道PCNN模型的两个外界刺激。5.根据权利要求1所述的基于潜在低秩表示和结构张量的图像融合方法，其特征在于，所述获取图像任一点像素的梯度向量，利用利用所述梯度向量确定所述像素点的张量，对所述张量采用滤波技术进行平滑处理的到结构张量，所述结构张量进行矩阵奇异值分解得到相应的特征根，利用所述特征根确定张量奇异值TSV算子，包括：设图像中某点像素(x,y)的梯度向量为则该点的张量G(x,y)可表示为：其中I(x,y)为该点的灰度值，为梯度符号，有如下表达式：滤波技术对矩阵场数据进行平滑，将经过滤波平滑后的张量定义为结构张量，结构张量表达式如下所示：其中Gσ为结构张量，gσ为方差是σ的高斯函数，*为卷积符号；对结构张量Gσ采取矩阵奇异值分解，获得相应的特征根：其中V是个2×2的正定矩阵，λ1与λ2分别为结构张量的特征值，张量奇异值TSV算子作为PCNN模型的链接强度，链接强度表达式如下：TSV的大小可以体现图像局部区域基本结构模式，TSV的值较大，则当前区域包含丰富的细节信息；TSV的值较小，则当前区域较为平坦，TSV算子可以作为链接强度的描述算子，TSV算子的值可用来表征图像的特征。6...

【专利技术属性】
技术研发人员：程博阳，金龙旭，李国宁，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：吉林,22