一种基于变分原理的红外与可见光图像融合方法、系统技术方案

本发明专利技术公开了一种基于变分原理的红外与可见光图像融合方法、系统，该方法包括：构建基于变分原理的图像融合模型；准备数据集，将配准好的红外图像u和可见光图像v输入到基于变分原理的图像融合模型中，得到融合图像s，该融合图像保留了u的热辐射信息和v的详细外观信息；使用增广拉格朗日方法求解基于变分原理的图像融合模型，得到融合图像与可见光图像的差q

【技术实现步骤摘要】
一种基于变分原理的红外与可见光图像融合方法、系统


[0001]本专利技术属于图像融合
，具体涉及一种基于变分原理的红外与可见光图像融合方法、系统。

技术介绍

[0002]图像融合的目标是协同利用多源图像信息，使得不同形式的信息相互补充，以获取对同一事物更本质的认识。图像融合技术包括五类：多视点图像融合、多模态图像融合、多时相图像融合、多焦点图像融合和基于图像融合的图像恢复。红外和可见光图像融合作为图像融合领域不可或缺的重要分支，属于多模态图像融合，它在夜视技术和安全监控中发挥着重要作用。
[0003]红外与可见光图像融合属于像素级图像融合的范畴。为了解决像素级融合问题，在过去的几十年里提出了许多方法，包括LP(Laplacian pyramid,拉普拉斯金字塔)、DWT(Discrete Wavelet Transform,离散小波变换)、DTCWT(Dual Tree
‑
Complex Wavelet Transform,双树复小波变换)、CVT(Curvelet Transform,曲波变换)、NSCT(Nonsubsampled Contourlet Transform,非下采样轮廓波变换)、MSVD(Multi
‑
Resolution Singular Value Decomposition,多分辨率奇异值分解)、GFF(Guided Filtering Fusion,基于导向滤波的图像融合)等方法。但是，这些方法都是采用相同的策略从红外与可见光图像中提取特征进行融合，导致红外图像中的热辐射和可见光图像中的边缘和纹理等详细的外观信息在融合图像中并不显著；基于TV(Total Variation,全变差)的图像融合方法会在图像灰度梯度较小区域产生阶梯效应，影响最终融合图像的视觉效果。

技术实现思路

[0004]本专利技术所要解决的技术问题是：提出了一种基于变分原理的红外与可见光图像融合方法、系统，通过约束融合图像与红外图像相似的像素强度保持热辐射信息，以及约束融合图像与可见光图像相似的灰度梯度和像素强度保持图像的边缘和纹理等外观信息，能改善图像的阶梯效应，并保持图像对比度；并采用增广拉格朗日方法设计数值算法，通过快速傅里叶变换和逐点积分求解子问题保证算法的有效性。
[0005]本专利技术为解决上述技术问题采用以下技术方案：
[0006]本专利技术提出的一种基于变分原理的红外与可见光图像融合方法，包括以下步骤：
[0007]S1、构建基于变分原理的图像融合模型。
[0008]S2、将拍摄好的同一位置的红外图像u和可见光图像v作为数据集，对其进行配准，输入到基于变分原理的图像融合模型中；或者使用现有图像融合数据集，如TNO_Image_Fusion_Dataset等数据集，输入到基于变分原理的图像融合模型中。
[0009]S3、使用增广拉格朗日方法求解基于变分原理的图像融合模型，得到融合图像与可见光图像的差q
*
。
[0010]S4、结果归一化与保存：通过关系式s
*
＝q
*
+v得到融合图像s
*
，并将s
*
的范围归一
化为[0,1]，即为最终的融合图像，输出保存。
[0011]进一步的，步骤S1中，构建基于变分原理的图像融合模型的具体内容为：
[0012]势函数在x的梯度较大区域内，为增长率低于任何幂指数大于0的幂函数的增长率的函数，能改善融合图像边界模糊问题；在x的梯度较小区域为二次函数，能改善融合图像灰度梯度相对较小区域的阶梯效应。势函数φ
a
的具体公式为：
[0013][0014]其中，x是积分变量，其积分区域为Ω；a>0，|x|≤a表示s
‑
v的梯度较小区域，|x|>a表示s
‑
v的梯度较大的区域。
[0015]在的区域中，利用Tikhonov正则化对s
‑
v施加比总变分增长率更高的正则性，以缓解阶梯效应；在的区域中，正则化子的增长率低于全变差的区域中，正则化子的增长率低于全变差的增长率，这削弱了正则化项与保真项在该区域上的竞争，从而有助于保持图像对比度。
[0016]得到基于变分原理的图像融合模型，具体表达为：
[0017][0018]其中，s表示融合图像，α和λ是非负参数，u表示红外图像，v表示可见光图像，s
*
是最终的融合图像。
[0019]利用最小化泛函约束融合图像与红外图像相似的像素强度保持热辐射信息，利用最小化泛函约束融合图像与可见光图像相似的灰度梯度和像素强度保持图像的边缘和纹理的外观信息。
[0020]进一步的，步骤S3中，具体求解过程如下：
[0021]S301、为了方便计算，引入两个变量q和p，定义q＝s
‑
v，将图像融合模型看做是带有约束的约束优化问题，具体公式为：
[0022][0023]S302、使用增广拉格朗日泛函将约束优化问题转化为无约束优化问题，具体公式为：
[0024][0025]其中，γ1>0是惩罚参数，是拉格朗日乘子，Ω＝{(i,j)|1≤i≤M,1≤j≤N}是离散化的图像区域。
[0026]S303、基于最优化理论，为了找到图像融合模型的最优解，需要找到拉格朗日泛函的鞍点。初始化p0＝0和此时q子问题具体公式为：
[0027][0028]由于q子问题没有封闭的极小值解，因此采用欧拉
‑
拉格朗日方程得到其极小值解：在拉普拉斯卷积核
△
含有的矩阵中，
‑
4是矩阵中心位置元素，在
‑
4的左侧和上方划线将矩阵分为四个部分，即左上、右上、左下和右下；假设图像大小为(dataW，dataH)，将拉普拉斯卷积核从大小(3，3)扩展到图像大小(dataW，dataH)；将拉普拉斯卷积核中的左上、右上、左下和右下四部分的元素按顺时针顺序摆放在扩展的拉普拉斯卷积核中，其中中心位置元素
‑
4摆放在扩展的拉普拉斯卷积核的第一行第一列的位置；其余位置元素填充为0；为了使得基于傅里叶的卷积满足Neumann边界条件，图像需要在右侧和下方两个维度上从(dataW，dataH)的大小扩展和填充到(fftW，fftH)，其中fftW＝dataW+2，fftH＝dataH+2。因此q子问题极小值点的具体公式为：
[0029](λ+α)q
‑
γ1△
q＝B
[0030]其中
[0031]S304、更新q
k
：
[0032][0033]其中，是二维傅里叶变换函数，是扩展的拉普拉斯卷积核，q
k
是更新的第k步的q。
[0034]B在每个网格节点上的值的表示为：
[0035][0036]其中，是第k...

【技术保护点】

【技术特征摘要】
1.一种基于变分原理的红外与可见光图像融合方法，其特征在于，包括：S1、构建基于变分原理的图像融合模型；S2、准备数据集，将配准好的红外图像u和可见光图像v输入到基于变分原理的图像融合模型中；S3、使用增广拉格朗日方法求解基于变分原理的图像融合模型，得到融合图像与可见光图像的差q
*
；S4、通过关系式s
*
＝q
*
+v得到融合图像s
*
，并将s
*
的范围归一化为[0,1]，即为最终的融合图像，输出保存。2.根据权利要求1所述的基于变分原理的红外与可见光图像融合方法，其特征在于，步骤S1中，构建基于变分原理的图像融合模型的具体内容为：势函数φ
a
的具体公式为：其中，x是积分变量，其积分区域为Ω；a>0，|x|≤a表示s
‑
v的梯度较小区域，|x|>a表示s
‑
v的梯度较大的区域；在的区域中，利用Tikhonov正则化对s
‑
v施加比总变分增长率更高的正则性；在的区域中，正则化子的增长率低于全变差的增长率；得到基于变分原理的图像融合模型，具体表达为：其中，s表示融合图像，α和λ是非负参数，u表示红外图像，v表示可见光图像，s
*
是最终的融合图像；利用最小化泛函约束融合图像与红外图像相似的像素强度保持热辐射信息，利用最小化泛函约束融合图像与可见光图像相似的灰度梯度和像素强度保持图像的边缘和纹理的外观信息。3.根据权利要求1所述的基于变分原理的红外与可见光图像融合方法，其特征在于，步骤S3中，具体求解过程如下：S301、引入两个变量q和p，定义q＝s
‑
v，将图像融合模型看做是带有约束的约束优化问题，具体公式为：S302、使用增广拉格朗日泛函将约束优化问题转化为无约束优化问题，具体公式为：
其中，γ1>0是惩罚参数，是拉格朗日乘子，Ω＝{(i,j)|1≤i≤M,1≤j≤N}是离散化的图像区域；S303、初始化p0＝0和此时q子问题具体公式为：采用欧拉
‑
拉格朗日方程得到其极小值解：在拉普拉斯卷积核
△
含有的矩阵中，
‑
4是矩阵中心位置元素，在
‑
4的左侧和上方划线将矩阵分为四个部分，即左上、右上、左下和右下；设定图像大小为(dataW，dataH)，将拉普拉斯卷积核扩展到图像大小(dataW，dataH)；将拉普拉斯卷积核中的左上、右上、左下和右下四部分的元素按顺时针顺序摆放在扩展的拉普拉斯卷积核中，其中中心位置元素
‑
4摆放在扩展的拉普拉斯卷积核的第一行第一列的位置；其余位置元素填充为0；图像在右侧和下方两个维度上从(dataW...

【专利技术属性】
技术研发人员：杨文莉，黄忠亿，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：