基于低秩稀疏表示的红外与可见光图像融合方法和系统技术方案

本发明专利技术提供一种基于低秩稀疏表示的红外与可见光图像融合方法，该方法包括：将红外与可见光图像作为不同的任务输入由稀疏一致性的潜在低秩表示分解模块分解为显著性部分和基础部分；使用深度神经网络模型对分解出基础部分进一步挖掘，提取更有效的融合特征；在图像融合模块中，对基础部分与显著性部分应用不同的融合策略，得到最终融合图像。本发明专利技术还提供一种基于低秩稀疏表示的红外与可见光图像融合系统。本发明专利技术得到的最终融合图像利用了多模态传感器图像数据的互补信息，使得得到的最终融合图像清晰度高、层次鲜明，场景中的显著区域、目标相对更加突出。目标相对更加突出。目标相对更加突出。

【技术实现步骤摘要】
基于低秩稀疏表示的红外与可见光图像融合方法和系统


[0001]本专利技术涉及图像融合
，具体涉及一种基于低秩稀疏表示的红外与可见光图像融合方法和系统。

技术介绍

[0002]图像融合是一种图像增强技术，旨在将来自不同传感器的图像组合起来以生成具有互补信息和显著视觉效果的融合图像，使其具有更好的目标显著信息和全面的细节背景信息。因此，它可以为包括目标检测、计算机辅助诊断、语义分割等领域的高级视觉任务提供可靠且信息丰富的图像。
[0003]通常，图像融合的方法主要分为三类：(1)基于多尺度分解的方法；(2)基于稀疏表示的方法；(3)基于深度学习的方法。多尺度分解方法是图像融合领域研究和应用最广泛的一种方法，能将图像分解为低频子带和高频子带，然后进行权重融合。但是由于但它们不具有平移不变性，容易造成伪Gibbs现象。基于稀疏的表示方法，关键在于如何构造冗余字典，而字典的学习是极为耗时的。在基于深度学习的融合方法中，主要是利用源图像的深度特征来生成融合图像，但是很少关注图像分解。
[0004]为了得到具有丰富图像信息和良好视觉效果的融合图像，潜在低秩表示(Latent low
‑
rank representation,LatLRR)方法因其能够有效分解图像的显著性部分和基础部分，在红外与可见光图像融合领域得到了广泛的应用。基于LatLRR的算法着重于对图像行分解，并采用平均和求和策略对分解的基础部分和显著部分进行求解，得到最终的融合图像。同时由于深度学习的兴起，LatLRR与深度神经网络相结合的方法也取得了较大的成就。
[0005]然而，现有的基于LatLRR图像融合方法没有考虑到红外和可见光图像是由不同传感器在同一位置获得的。在进行图像融合时，分别对红外与可见光图像进行分解，忽略了它们之间的空间一致性关系，导致无法有效地捕捉更多的特征信息。因此，如何得到融合效果更好的图像，是红外与可见光图像融合领域的重大挑战。

技术实现思路

[0006]针对上述技术问题，本专利技术采用的技术方案为：
[0007]本专利技术提供了一种基于低秩稀疏表示的红外与可见光图像融合方法，
[0008]本专利技术一实施例提供一种基于低秩稀疏表示的红外与可见光图像融合方法，包括以下步骤：
[0009]S10，利用稀疏一致性的潜在低秩表示分解模型分别对红外图像和可见光图像进行分解；
[0010]所述稀疏一致性的潜在低秩表示分解模型满足如下条件：
[0011](1)
[0012](2)s.t.X
m
＝X
m
Z
m
+L
m
X
m
+E
m
；
[0013]其中，X
m
表示源图像，Z
m
表示图像的低秩矩阵，L
m
表示图像的显著性矩阵，E
m
表示图像的噪声部分，m＝1，2，分别表示红外图像和可见光图像；||Z
m
||
*
表示Z
m
的核范数，||L
m
||
*
表示L
m
的核范数，||Z||
2，1
表示对红外图像的低秩矩阵和可见光图像的低秩矩阵同时进行L
2，1
范数正则化约束；||E
m
||
2，1
表示分别对红外图像的噪声部分和可见光的噪声部分进行L
2，1
范数正则化约束；γ为平衡噪声参数，α为正则化平衡系数；
[0014]S20，利用交替方向乘子法对所述稀疏一致性的潜在低秩表示分解模型进行求解，分别得到红外图像的基础部分F
a1
和显著性部分F
b1
以及可见光图像的基础部分F
a2
和显著性部分F
b2
；
[0015]S30，利用深度神经网络模型对得到的F
a1
和F
a2
进行深度特征提取并进行融合，得到基础部分融合图像Fa；
[0016]S40，将F
b1
和F
b2
进行融合，得到显著性部分融合图像F
b
；
[0017]S50，将Fa和F
b
进行融合，得到红外与可见光融合图像。
[0018]本专利技术另一实施例提供一种基于低秩稀疏表示的红外与可见光图像融合系统，包括：图像分解模块、特征提取模块和图像融合模块；
[0019]所述图像分解模块，用于利用稀疏一致性的潜在低秩表示分解模型分别对红外图像和可见光图像进行分解，以及利用交替方向乘子法对所述稀疏一致性的潜在低秩表示分解模型进行求解，分别得到红外图像的基础部分F
a1
和显著性部分F
b1
以及可见光图像的基础部分F
a2
和显著性部分F
b2
；
[0020]其中，所述稀疏一致性的潜在低秩表示分解模型满足如下条件：
[0021][0022]s.t.X
m
＝X
m
Z
m
+L
m
X
m
+E
m
；
[0023]其中，X
m
表示源图像，Z
m
表示图像的低秩矩阵，L
m
表示图像的显著性矩阵，E
m
表示图像的噪声部分，m＝1，2，分别表示红外图像和可见光图像；||Z
m
||
*
表示Z
m
的核范数，||L
m
||
*
表示L
m
的核范数，||Z||
2，1
表示对红外图像的低秩矩阵和可见光图像的低秩矩阵同时进行L
2，1
范数正则化约束；||E
m
||
2，1
表示分别对红外图像的噪声部分和可见光的噪声部分进行L
2，1
范数正则化约束；γ为平衡噪声参数，α为正则化平衡系数；
[0024]所述特征提取模块，用于利用深度神经网络模型对得到的F
a1
和F
a2
进行深度特征提取并进行融合，得到基础部分融合图像Fa；
[0025]所述图像融合模块，用于将F
b1
和F
b2
进行融合，得到显著性部分融合图像F
b
，以及将Fa和F
b
进行融合，得到红外与可见光融合图像。
[0026]本专利技术实施例提供的基于低秩稀疏表示的红外与可见光图像融合方法和系统，首先，将红外与可见光图像作为不同的任务输入由稀疏一致性的潜在低秩表示分解模块分解。在分解过程中，采用L2，1范数对秩进行约束使其保持稀疏一致性，同步获取红外与可见光图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于低秩稀疏表示的红外与可见光图像融合方法，其特征在于，包括以下步骤：S10，利用稀疏一致性的潜在低秩表示分解模型分别对红外图像和可见光图像进行分解；所述稀疏一致性的潜在低秩表示分解模型满足如下条件：(1)(2)s.t.X
m
＝X
m
Z
m
+L
m
X
m
+E
m
；其中，X
m
表示源图像，Z
m
表示图像的低秩矩阵，L
m
表示图像的显著性矩阵，E
m
表示图像的噪声部分，m＝1，2，分别表示红外图像和可见光图像；||Z
m
||
*
表示Z
m
的核范数，||L
m
||
*
表示L
m
的核范数，||Z||
2，1
表示对红外图像的低秩矩阵和可见光图像的低秩矩阵同时进行L
2，1
范数正则化约束；||E
m
||
2，1
表示分别对红外图像的噪声部分和可见光的噪声部分进行L
2，1
范数正则化约束；γ为平衡噪声参数，α为正则化平衡系数；S20，利用交替方向乘子法对所述稀疏一致性的潜在低秩表示分解模型进行求解，分别得到红外图像的基础部分F
a1
和显著性部分F
b1
以及可见光图像的基础部分F
a2
和显著性部分F
b2
；S30，利用深度神经网络模型对得到的F
a1
和F
a2
进行深度特征提取并进行融合，得到基础部分融合图像Fa；S40，将F
b1
和F
b2
进行融合，得到显著性部分融合图像F
b
；S50，将Fa和F
b
进行融合，得到红外与可见光融合图像。2.根据权利要求1所述的方法，其特征在于，S20进一步包括：S201，获取由如下条件(3)和(4)限定的增广拉格朗日函数模型：s.t.X
m
＝X
m
S
m
+K
m
X
m
+E
m
，Z
m
＝j
m
，Z
m
＝S
m
，L
m
＝K
m
ꢀꢀ
(4)S202，按照如下条件(5)至(11)迭代交替更新各个变量，直至满足收敛条件：S202，按照如下条件(5)至(11)迭代交替更新各个变量，直至满足收敛条件：S202，按照如下条件(5)至(11)迭代交替更新各个变量，直至满足收敛条件：S202，按照如下条件(5)至(11)迭代交替更新各个变量，直至满足收敛条件：S202，按照如下条件(5)至(11)迭代交替更新各个变量，直至满足收敛条件：S202，按照如下条件(5)至(11)迭代交替更新各个变量，直至满足收敛条件：S202，按照如下条件(5)至(11)迭代交替更新各个变量，直至满足收敛条件：其中，k为迭代次数，k的取值为1到N，N为总迭代次数，ρ为迭代步长，u
k
为第k次迭代时的平衡因子，为第k次迭代时的增广拉格朗日乘子；I为单位矩阵，X
m
′
表示X
m
的转置矩阵；的转置矩阵；R为Z
k+1
中的每个1*n2维度的行向量重构成的n*n的矩阵。3.根据权利要求2所述的方法，其特征在于，S20还包括：S203，按照如下条件(12)
‑
(15)更新增广拉格朗日乘子：(15)更新增广拉格朗日乘子：(15)更新增广拉格朗日乘子：(15)更新增广拉格朗日乘子：4.根据权利要求2所述的方法，其特征在于，S20还包括：S30...

【专利技术属性】
技术研发人员：陶体伟，刘明霞，王琳琳，王倩倩，刘明慧，杨德运，
申请(专利权)人：泰山学院，
类型：发明
国别省市：