一种总变分和结构张量的图像融合方法及装置制造方法及图纸

本发明专利技术提出一种总变分和结构张量的图像融合方法及装置，总变分TV模型利用图像的结构张量获取融合图像的目标梯度场，在目标梯度场内部利用Soft‑Max函数柔化梯度场的权重，将融合梯度场放入到TV模型的正则项内，保障融合图像的梯度场与目标梯度场接近，利用分裂Bregman算法求解全新的TV模型，获取最终的融合图像，通过采用本方案可以更好地表达图像的特征，将微光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果，可以较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。

【技术实现步骤摘要】
一种总变分和结构张量的图像融合方法及装置
本专利技术涉及图像融合领域，特别涉及一种总变分和结构张量的图像融合方法及装置。
技术介绍
图像融合作为信息融合的一门分支，是一门包含信号处理、图像处理、计算机技术、图像探测器技术等多种领域的综合高新技术。图像融合对某一场景获取的多幅图像信息加以提取，最终将两幅或多幅包含多样、冗余信息的图像合成为一幅含有更丰富信息的新图像。融合图像克服了单幅图像在空间分辨率、物理属性、时间分辨率以及光谱信息等方面的局限性，能更好地为重要目标的定位、识别和理解提供支撑。红外(IR)与可见光(VI)传感器之间的信息融合是目前应用最多，同时也是最具有现实意义的融合方式。通过将可见光的纹理细节信息与红外热辐射目标的显著信息相结合，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。针对IR与VI图像之间的融合，最为常见的就是加权平均法。该方法只是将源图像之间的亮度进行空间叠加，容易导致融合图像解析度下降，并且丢失很多纹理细节信息。为了能够获得更优良的融合效果，使融合图像符合人眼视觉特性，人们相继提出了新的融合方法。总变分法(TV)是一种新颖的融合方法，其独特之处在于将融合问题转化为图像优化和重建问题。由于其内部参数较少，并且能够完整地保持图像局部特征，因此目前受到了学者们的广泛关注。TV模型在解决融合问题时，往往在正则项内约束融合图像与给定VI图像具有相似的梯度特征，然而包含在IR图像的纹理信息却被忽略，导致融合图像出边缘细节缺失的问题。为此，我们希望可以直接获取融合图像的梯度场，将其放入到正则项内，从而保证源图像内部的纹理梯度信息较为全面的转移到融合图像中。作为另一个重要的分支，基于梯度域的图像融合方法也得到了的广泛应用。人类视觉对图像局部细节的变化非常敏感，而图像局部细节实际上就是图像梯度。在梯度域内对图像进行处理，可以使融合图像保留输入图像的重要特征。文献《G.Piella,Imagefusionforenhancedvisualization:avariationalapproach[J],Int.J.Comput.Vision83(1)(2009)1-11.》等人采用结构张量来获取融合图像的目标梯度场，并从目标梯度场中重建融合图像。该方法为本文的研究提供了一定的思路，我们可以将获取的目标梯度场放入到TV模型的正则项内，从而取代原有的VI图像梯度场。通过全新的约束关系，使融合图像的梯度场最大程度接近于目标梯度场，抑制了纹理细节的丢失。除此外，鉴于红外热像图与可见光图像的较大光谱差异性，单一地使用加权法来设计目标梯度场的光谱梯度权重，会导致融合结果出现光晕伪影现象。除此外，针对TV模型的求解问题，学者们一般采用梯度下降法。然而，利用该方法获取的欧拉-拉格朗日方程往往具有非线性和不可微性，并且由于其最小化速度较慢，会影响求解速度。
技术实现思路
本专利技术实施例提供了一种总变分和结构张量的图像融合方法及装置，可以弥补两种源图像较大的光谱差异性，同时较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。第一方面，本专利技术提供一种总变分和结构张量的图像融合方法，所述方法包括：获取来自同一场景并进行图像配准的红外图像和可见光图像；利用红外图像和可见光图像的结构张量获取融合图像的目标梯度场；利用Soft-Max函数柔化所述目标梯度场的权重；将融合梯度场放入总变分TV模型的正则项内，以使得融合图像的融合梯度场和目标梯度场接近；利用分裂Bregman算法求解TV模型得到融合图像。可选地，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：分别获取同一场景的红外图像和可见光图像；对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。可选地，所述利用红外图像和可见光图像的结构张量获取融合图像的目标梯度场，包括：对于每一幅源图像In(n＝1,2,····,N)及每一个像素元(x,y)，定义一个归一化权重Sn(x,y)，表示在图像In点(x,y)附近的显著性指标，可得加权的G矩阵为：利用合成梯度方向与原各波段梯度方向存在一致性使得合成梯度的方向与各图像的平均梯度方向在同一侧，定义目标梯度场VF为：可选地，所述利用Soft-Max函数柔化所述目标梯度场的权重，包括：利用Soft-Max函数构成目标梯度场的梯度权重，表达式如下：其中a为收缩因子，用于控制Soft-Max函数曲线的形状。可选地，所述将融合梯度场放入总变分TV模型的正则项内，以使得融合图像的融合梯度场和目标梯度场接近，包括：利用结构张量获取的目标梯度场放入到总变分TV模型的正则项内，约束融合图像的融合梯度场与目标梯度场Vf接近，表达式如下：在数据保真项内加入权重函数，用于表达源图像对融合图像的贡献程度，表达式如下：其中f代表融合图像，i代表红外图像，v代表可见光图像，α与β是两个非负权重函数，定义权重函数的表达式为：其中F(x,y)表示两种源图像中像素(x,y)的强度值，p表示像素强度，Mp表示其强度等于p的像素的数量，并且L是灰度级的数量，S(x,y)代表源图像的显著特征矩阵。可选地，所述利用分裂Bregman算法求解TV模型得到融合图像，包括：总变分模型的建立将TV模型的数据保真项与正则项相结合，得到如下表达式：将TV模型用离散化的l2范数与l1范数再次简化，表示为：其中λ为正则参数，并且：总变分模型的求解采用分裂Bregman算法实现TV模型的最优求解，其求解过程如下：引入变量d，将公式(8)变为以下形式：对fk+1可以按照如下方式求解：对f的最小化方程由以下最优性条件给出：(f-αi-βv)-Δf+γdiv(Vf+dk-bk)＝0；(12)根据公式(12)是线性的性质，把公式(12)重写为如下形式：f-Δf＝αi+βv-γdiv(Vf+dk-bk)；(13)对公式(13)的进行快速傅立叶FFT形式为：F(K)F(fk+1)＝F(rhsk)；(14)K＝I-Δ；(15)rhk＝αi+βv-γdiv(Vf+dk-bk)；(16)其中I表示单位矩阵，F表示快速傅里叶变换；公式(14)中fk+1的闭合形式解为：dk+1可以按照如下方式求解：公式(18)的解使用如下的软阈值形式获得：由Shrink算子得到dk+1的解为：对每一步迭代中对其做出如下约束：fk+1＝max[min(fk+1,1),0](21)。第二方面，本专利技术提供一种总变分和结构张量的图像融合装置，所述装置包括：图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；目标梯度场获取单元，用于利用红外图像和可见光图像的结构张量获取融合图像的目标梯度场；权重获取单元，用于利用Soft-Max函数柔化所述目标梯度场的权重；处理单元，用于将融合梯度场放入总变分TV模型的正则项内，以使得融合图像的融合梯度场和目标梯度场接近；融合单元，用于利用分裂Bregman算法求解TV模型得到融合图像。可选地，所述图像配准单元具体用于：分别获取同一场景的红外图像和可见光图像；对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的本文档来自技高网...

【技术保护点】
1.一种总变分和结构张量的图像融合方法，其特征在于，所述方法包括：获取来自同一场景并进行图像配准的红外图像和可见光图像；利用红外图像和可见光图像的结构张量获取融合图像的目标梯度场；利用Soft‑Max函数柔化所述目标梯度场的权重；将融合梯度场放入总变分TV模型的正则项内，以使得融合图像的融合梯度场和目标梯度场接近；利用分裂Bregman算法求解TV模型得到融合图像。

【技术特征摘要】
1.一种总变分和结构张量的图像融合方法，其特征在于，所述方法包括：获取来自同一场景并进行图像配准的红外图像和可见光图像；利用红外图像和可见光图像的结构张量获取融合图像的目标梯度场；利用Soft-Max函数柔化所述目标梯度场的权重；将融合梯度场放入总变分TV模型的正则项内，以使得融合图像的融合梯度场和目标梯度场接近；利用分裂Bregman算法求解TV模型得到融合图像。2.根据权利要求1所述的总变分和结构张量的图像融合方法，其特征在于，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：分别获取同一场景的红外图像和可见光图像；对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。3.根据权利要求1所述的总变分和结构张量的图像融合方法，其特征在于，所述利用红外图像和可见光图像的结构张量获取融合图像的目标梯度场，包括：对于每一幅源图像In(n＝1,2,····,N)及每一个像素元(x,y)，定义一个归一化权重Sn(x,y)，表示在图像In点(x,y)附近的显著性指标，可得加权的G矩阵为：利用合成梯度方向与原各波段梯度方向存在一致性使得合成梯度的方向与各图像的平均梯度方向在同一侧，定义目标梯度场VF为：4.根据权利要求3所述的总变分和结构张量的图像融合方法，其特征在于，所述利用Soft-Max函数柔化所述目标梯度场的权重，包括：利用Soft-Max函数构成目标梯度场的梯度权重，表达式如下：其中a为收缩因子，用于控制Soft-Max函数曲线的形状。5.根据权利要求4所述的总变分和结构张量的图像融合方法，其特征在于，所述将融合梯度场放入总变分TV模型的正则项内，以使得融合图像的融合梯度场和目标梯度场接近，包括：利用结构张量获取的目标梯度场放入到总变分TV模型的正则项内，约束融合图像的融合梯度场与目标梯度场Vf接近，表达式如下：在数据保真项内加入权重函数，用于表达源图像对融合图像的贡献程度，表达式如下：其中f代表融合图像，i代表红外图像，v代表可见光图像，α与β是两个非负权重函数，定义权重函数的表达式为：其中F(x,y)表示两种源图像中像素(x,y)的强度值，p表示像素强度，Mp表示其强度等于p的像素的数量，并且L是灰度级的数量，S(x,y)代表源图像的显著特征矩阵。6.根据权利要求5所述的总变分和结构张量的图像融合方法，其特征在于，所述利用分裂Bregman算法求解TV模型得到融合图像，包括：总变分模型的建立将TV模型的数据保真项与正则项相结合，得到如下表达...

【专利技术属性】
技术研发人员：程博阳，金龙旭，李国宁，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：吉林,22