基于潜在低秩表示与NSST的图像融合方法及装置制造方法及图纸

本发明专利技术提供基于潜在低秩表示与NSST的图像融合方法及装置，通过含有小尺寸剪切波滤波器的NSST将源图像进行多尺度、多方向分解。由于NSST在分解阶段去除了采样操作，使其具备了平移不变性；同时在方向局部化阶段，局部化小尺寸剪切滤波器能够避免频谱混叠现象，使图像分解与重建效果更加好。针对低频分量，采用基于LatLRR显著特征提取的自适应加权融合，LatLRR能够从数据中鲁棒地提取图像的显著性特征，同时对噪声更加鲁棒，因此可以对图像中显著性目标及区域较为精准地识别；针对高频分量，由于平均梯度代表图像灰度值的变化，能够反映图像边缘、纹理的细节，因此采用平均梯度算子进行处理，可以更好表达图像的特征，取得较好的融合效果。

【技术实现步骤摘要】
基于潜在低秩表示与NSST的图像融合方法及装置
本专利技术涉及图像融合领域，特别涉及一种基于潜在低秩表示与NSST的图像融合方法及装置
技术介绍
红外和可见光图像融合技术的开发很大程度上是为了满足现代军用侦查技术的发展，其中可见光图像是反射图像，高频成分多，在一定照度下能反映场景的细节，但照度不佳时的可见光图像(即微光图像)的对比度较低；红外图像是辐射图像，灰度由目标与背景的温差决定，不能反映真实的场景。单独使用可见光或红外图像均存在不足之处，对于这两种具有互补性的图像，图像融合技术能够有效地综合和发掘它们的特征信息，增强场景理解，突出目标，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。目前针对红外与可见光融合，学者们提出了许多方法，特别是针对像素级的IR和VI图像融合。其中一些多尺度分析工具，例如Contourlet变换，非下采样Contourlet变换(NSCT)，非下采样剪切波变换(NSST)等，已经成功用于图像融合领域。研究表明，NSST是目前分解速度最快、分解效果最为精细的MGA工具，它不仅在空间和频域都具有良好的局部特性，而且采用局部化小尺寸剪切滤波器，能够避免块效应和弱化吉布斯振铃现象，同时提高时域卷积计算效率，因此受到很多研究者的青睐。文献《Adaptivefusionmethodofvisiblelightandinfraredimagesbasedonnon-subsampledshearlettransformandfastnon-negativematrixfactorization[J]，InfraredPhysics&Technology，2014，67：161–172》提出了一种采用NSST和快速非负矩阵分解(FNMF)相结合的融合方法，该算法利用非负矩阵指导低频系数的融合，但融合的图片亮度偏暗，而且丢失了许多可见光的纹理细节；文献《Afusionalgorithmforinfraredandvisibleimagesbasedonsaliencyanalysisandnon-subsampledShearlettransform[J]，InfraredPhysics&Technology，2015，73：286–297》提出一种基于显著性探测和NSST相结合的方式，该方法利用显著性检测将红外目标信息融入可将光图像中，但是背景信息的融合效果有待改进；文献《VisibleandinfraredimagefusionusingNSSTanddeepBoltzmannmachine[J]，Optik，2018，157：334–342》提出一种基于深度玻尔兹曼机与NSST相结合的方法，其想法比较新颖，但是深度学习在图像融合领域的应用尚未成熟，因此还有待改进；在文献《AfusionalgorithmforinfraredandvisibleimagesbasedonRDU-PCNNandICA-basesinNSSTdomain[J]，InfraredPhysics&Technology，2016，79：183–190》将PCNN与NSST相结合处理IR与VI图像融合，虽然PCNN具有仿生机制，但是融合图像引入了伪像，并且具有朦胧的图像边缘；文献《Techniqueforgray-scalevisuallightandinfraredimagefusionbasedonnon-subsampledshearlettransform，InfraredPhysics&Technology，2014，63：110–118》提出一种NSST域内基于区域平均能量(RAE)和局部方向对比度(LDC)的融合框架，其时效性较好，但融合后的图像丢失了一些重要的红外显著性信息。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于潜在低秩表示与NSST的图像融合方法及装置，可以更好表达图像的特征，取得较好的融合效果。第一方面，本专利技术提供一种基于潜在低秩表示与NSST的图像融合方法，所述方法包括：获取来自同一场景且经过图像配准的红外图像和可见光图像；利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行多尺度分解形成低频子带系数和高频子带系数；利用潜在低秩表示LatLRR对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图以及表征所述可见光图像显著特征的第二显著图，利用所述第一显著图和第二显著图对所述低频子带系数进行自适应加权融合得到低频融合系数；获取高频子带系数的平均梯度AVG，利用所述平均梯度作为高频子带系数的融合系数；利用NSST逆变换低频子带系数和高频子带系数得到融合图像。进一步地，所述获取来自同一场景且经过图像配准的红外图像和可见光图像，包括：分别获取同一场景的红外图像和可见光图像；对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。进一步地，所述利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行多尺度分解形成低频子带系数和高频子带系数，包括：利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数和高频子带系数其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。进一步地，所述利用潜在低秩表示LatLRR对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图以及表征所述可见光图像显著特征的第二显著图，利用所述第一显著图和第二显著图对所述低频子带系数进行自适应加权融合，包括：利用LatLRR对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图SIR(i,j)以及表征所述可见光图像显著特征的第二显著图SVI(i,j)；对所述第一显著图和所述第二显著图进行灰度值归一化分别对应形成第一加权系数矩阵S1(i,j)和第二加权系数矩阵S2(i,j)；利用第一加权系数矩阵S1(i,j)和第二加权系数矩阵S2(i,j)分别指导基于红外显著性与可见光显著性的自适应加权融合得到低频融合系数，所述低频融合系数Cl,k(i,j)表达式为：其中Cl,k(i,j)代表低频融合系数。进一步地，所述获取高频子带系数的平均梯度AVG，利用所述平均梯度作为高频子带系数的融合系数，包括：计算高频子带系数的平均梯度AVG，AVG的表达式为：▽Dh(i,j)＝Dl,k(i,j)-Dl,k(i+1,j)；▽Dv(i,j)＝Dl,k(i,j)-Dl,k(i,j+1)；其中AVG代表像素元(i,j)处的平均梯度，Dl,k(i,j)表示高频子带系数，▽Dh(i,j),▽Dv(i,j),▽Dmd(i,j),▽Dvd(i,j)分别表示水平、垂直与对角线方向上的梯度变化，M×N采取3×3窗口；通过比较高频子带系数之间的AVG，决定最终的融合系数Dl,k(i,j)，其中Dl,k(i,j)的融合规则为：第二方面，一种基于潜在低秩表示与NSST的图像融合装置，所述装置包括：图像配准单元，用于获取来自同一场本文档来自技高网...

【技术保护点】
1.一种基于潜在低秩表示与NSST的图像融合方法，其特征在于，所述方法包括：获取来自同一场景且经过图像配准的红外图像和可见光图像；利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行多尺度分解形成低频子带系数和高频子带系数；利用潜在低秩表示LatLRR对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图以及表征所述可见光图像显著特征的第二显著图，利用所述第一显著图和第二显著图对所述低频子带系数进行自适应加权融合得到低频融合系数；获取高频子带系数的平均梯度AVG，利用所述平均梯度作为高频子带系数的融合系数；利用NSST逆变换低频子带系数和高频子带系数得到融合图像。

【技术特征摘要】
1.一种基于潜在低秩表示与NSST的图像融合方法，其特征在于，所述方法包括：获取来自同一场景且经过图像配准的红外图像和可见光图像；利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行多尺度分解形成低频子带系数和高频子带系数；利用潜在低秩表示LatLRR对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图以及表征所述可见光图像显著特征的第二显著图，利用所述第一显著图和第二显著图对所述低频子带系数进行自适应加权融合得到低频融合系数；获取高频子带系数的平均梯度AVG，利用所述平均梯度作为高频子带系数的融合系数；利用NSST逆变换低频子带系数和高频子带系数得到融合图像。2.根据权利要求1所述的基于潜在低秩表示与NSST的图像融合方法，其特征在于，所述获取来自同一场景且经过图像配准的红外图像和可见光图像，包括：分别获取同一场景的红外图像和可见光图像；对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。3.根据权利要求2所述的基于潜在低秩表示与NSST的图像融合方法，其特征在于，所述利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行多尺度分解形成低频子带系数和高频子带系数，包括：利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数和高频子带系数其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。4.根据权利要求3所述的基于潜在低秩表示与NSST的图像融合方法，其特征在于，所述利用潜在低秩表示LatLRR对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图以及表征所述可见光图像显著特征的第二显著图，利用所述第一显著图和第二显著图对所述低频子带系数进行自适应加权融合，包括：利用LatLRR对所述红外图像和所述可见光图像进行分解，分别对应得到表征所述红外图像显著特征的第一显著图SIR(i,j)以及表征所述可见光图像显著特征的第二显著图SVI(i,j)；对所述第一显著图和所述第二显著图进行灰度值归一化分别对应形成第一加权系数矩阵S1(i,j)和第二加权系数矩阵S2(i,j)；利用第一加权系数矩阵S1(i,j)和第二加权系数矩阵S2(i,j)分别指导基于红外显著性与可见光显著性的自适应加权融合得到低频融合系数，所述低频融合系数Cl,k(i,j)表达式为：其中Cl,k(i,j)代表低频融合系数。5.根据权利要求4所述的基于潜在低秩表示与NSST的图像融合方法，其特征在于，所述获取高频子带系数的平均梯度AVG，利用所述平均梯度作为高频子带系数的融合系数，包括：计算高频子带系数的平均梯度AVG，AVG的表达式为：其中AVG代表像素元ij处的平均梯度，Dl,k(i,j)表示高频子带系数，分别表示水平、垂直与对角线方向...

【专利技术属性】
技术研发人员：程博阳，金龙旭，李国宁，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：吉林,22