基于判别字典学习的图像融合与超分辨率联合实现方法技术

本发明专利技术涉及一种基于判别字典学习的图像融合与超分辨率联合实现方法，属于数字图像处理技术领域。具体来说，首先联合训练两对低秩、稀疏字典和一个高、低分辨图像编码系数转换矩阵。其中一对字典用于表示输入图像的低秩和稀疏分量，另一对用于重构高分辨率融合低秩和稀疏分量，转换矩阵用于建立高分辨率图像和低分辨率图像之间的潜在关系。然后构造了一个稀疏和低秩分离模型，有效地对输入图像分解为低秩和稀疏分量，从而可以通过不同词典构建高分辨率融合图像。该发明专利技术联合实现了图像的融合和超分辨率重构。实验结果表明，无论在视觉效果还是在客观指标上，本发明专利技术都具有更好的融合性能。

【技术实现步骤摘要】
基于判别字典学习的图像融合与超分辨率联合实现方法
本专利技术涉及一种基于判别字典学习的图像融合与超分辨率联合实现方法，属于数字图像处理

技术介绍
图像融合可以将不同传感器获取的关于同一场景的互补信息集成到一幅图像中，能够对该场景提供更全面，更准确的描述，从而有助于事件和物体的识别。近年来，该技术越来越受到研究者的关注，并取得了重大的研究进展。现有的图像融合方法大致可以分为三类，即基于多尺度变换(multiscaletransform,MST)的方法，基于字典学习(dictionaryleaning,DL)的方法和基于深度学习的方法。在基于MST的方法中，常用的MST包括小波变换，对偶树复变换(DTCWT)，剪切变换，曲波变换，contourlet变换和非下采样contourlet变换(NSCT)。通常MST的基是固定的，稀疏性较弱，不能自适应地稀疏地表示图像的局部信息。与MST方法不同，基于字典学习的稀疏表示(sparserepresentation，SR)技术可以有效地克服MST方法的缺陷，并显示出良好的融合性能。随着深度学习的发展，基于深度学习的图像融合越来越受到人们的关注，相应地，也出现了一些优秀的融合方法。然而，上述方法只有在源图像具有高分辨率时才具有良好的性能。如果输入图像是低分辨率的，则融合结果的分辨率也会很低，这就阻碍了融合结果的应用。为了提高融合图像分辨率，常用的解决方法是分步实现融合与超分辨率重建。但是，这种方法很可能会将第一步中创建的工件引入到下一步中，从而降低最终结果的视觉质量。
技术实现思路
本专利技术的目的在于针对现有技术的缺点和不足，提出了一种基于判别字典学习和形态成分分解的多源图像融合方法。本专利技术所采用的技术方案是：一种基于判别字典学习和形态成分分解的多源图像融合方法，包括以下步骤：1)构建字典学习的训练样本。选取8个HR训练样本用来训练高分辨率图像判别字典对，然后进行降采样，再通过双三次插值法上采样恢复为与高分辨率图像相同大小的图像作为相应的LR训练图像；2)随机生成初始字典。然后提出一种新的字典学习方法，用于将输入图像分解为低秩和稀疏分量。为同步实现图像融合与超分辨率重建，联合训练一对HR字典和一对LR字典，以及高、低分辨率图像块的编码系数之间的系数转换矩阵H，一对HR字典为Dh,l和Dh，s，一对LR字典为Dl，l和Dl，s；3)从步骤2)中得到低秩字典Dl，l和稀疏字典Dl，s后，取成对的LR图像，分解LR图像块Yl得到低秩、稀疏编码系数Al,l和Al,s；4)通过步骤3)得到的LR编码系数Al，s、Al，l和步骤2)中得到的转换矩阵H，采用“绝对值最大”方法构造HR融合图像的编码系数和最后得到高分辨率的融合图像块。具体地，所述步骤2)包括如下步骤：Step2.1利用构建好的训练样本学习字典，提出的判别字典学习模型如下：和是HR图像的低秩字典和稀疏字典。Xh是高分辨率训练图像，Xl是相应的低分辨率图像。此外，低分辨率低秩、稀疏字典用Dl，l和Dl,s表示，其中M×K代表了矩阵维度是M行K列的，ε1、ε2、ε3和ε4控制不同字典中每个原子幅度的常数。Zl，l和Zl，s是Xl在字典Dl，l和Dl，s下的编码系数，而Zh，l和Zh，s是分别是Xh在字典Dh，l和Dh，s的编码系数。H是Zl，i和Zh，i(i＝l，s)之间的转换矩阵；||·||F为F范数运算符；Ψ(H，Zl，l，Zh，l，Zl，s，Zh,s)和Φ(Dl，l，Dh，l，Zl，l，Zh，l，Zl，s，Zh,s)是判别正则项，确保学习字典Dl，l、Dh，l、Dl，s和Dh，s的判别能力。为了便于处理，通过双三次插值处理将LR图像设置成与HR图像相同的大小。那么，LR图像和HR图像的编码系数之间的关系可以描述为：式(2)中λ1，λ2，和λ5是正则化参数。在式(2)中，用于避免过度拟合，是一个关系变换项，用于表示稀疏分量编码系数之间的关系，其中||·||F为F范数运算符。在LR图像及其对应的HR图像中，用于建立Zh，l和Zl,l之间的关系。显然低秩分量之间具有很强的线性相关性，并且同一编码系数向量中的每个元素具有相似的值。基于这一事实，引入了全为1的矩阵并利用正则项来描述低秩分量编码系数的特性。为了提高学习词典的辨别力，定义如下正则项：式(3)中λ3和λ4是正则化参数。||Dh,lZh,l||*和||Dl,lZl,l||*用于确保从输入图像对分离的Dh,lZh,l和Dl,lZl,l是低秩的，其中||·||*为核范数运算符。在获得低秩分量之后，也可以通过Xi-Di,lZi,l获得稀疏分量，其中Xi表示输入源数据。因此，判别表示词典学习的目标函数可以表述为：Step2.2字典学习模型的优化求解。需求解变量Dl,l、Dl,s、Dh，l、Dh，s、Zh，s、Zh，l、Zl，s、Zl，l和H，它们是非凸的，难以直接求解。如果在其他变量固定的时候求解其中一个变量，每个子问题就是凸函数。因此，用交替迭代方法依次求解(4)中每个变量。Step2.2.1为了便于优化，引入四个变量矩阵Xh，s、Xh，l、Xl,s和Xl,l，即训练输入的高分辨率图像的稀疏成分和低秩成分以及低分辨率图像的的稀疏成分和低秩成分，将式(4)中的优化问题转化为：Step2.2.2更新Xh,s、Xh,l和编码系数矩阵Zh,s和Zh,l。首先，固定其他变量，更新Xh,s，则式(5)转换为如下表达式：上式有如下闭合解形式：同理，固定其他变量，Xh,l的求解形式如下：通过SVT算法可有效求解式(8)。更新完Xh,s和Xh,l后，进一步更新编码系数矩阵Zh,s和Zh,l：式(9)中式(9)属于l1极小化问题，采用两步迭代收缩/阈值算法(Two-StepIterativeShrinkage/ThresholdingAlgorithms,TwIST)[57]来求解。对于式(10)，求解结果如下：Step2.2.3更新Xl,s，Xl,l和编码系数矩阵Zl,s和Zl,l。首先固定其他变量，优化Xl,s和Xl,l，求解表达式分别如下：其中式(13)用SVT算法可有效求解。进一步地，通过固定其他变量，得到Zl,s更新表达和Zl,l闭合解形式如下：其中同理用TwIST算法求解(14)。Step2.2.4更新转换矩阵H。固定其他变量矩阵不变，由式(5)得到H的更新表达式如下：式(16)均为F范数，通过对H求偏导，得到关于H的如下表达式：上述式子，通过MATLAB的Sylvester函数可有效求解H。Step2.2.5更新字典对Dh,s、Dh,l和Dl,s、Dl,l。固定其他变量不变，用拉格朗日对本文档来自技高网...

【技术保护点】
1.一种基于判别字典学习和形态成分分解的多源图像融合方法，其特征在于：具体步骤如下：/n1)构建字典学习的训练样本：选取8个HR训练样本用来训练高分辨率图像判别字典对，然后进行降采样，再通过双三次插值法上采样恢复为与高分辨率图像相同大小的图像作为相应的LR训练图像；/n2)随机生成初始字典：提出一种新的字典学习方法，用于将输入图像分解为低秩和稀疏分量，为同步实现图像融合与超分辨率重建，联合训练一对HR字典和一对LR字典，以及高、低分辨率图像块的编码系数之间的系数转换矩阵H，一对HR字典为D

【技术特征摘要】
1.一种基于判别字典学习和形态成分分解的多源图像融合方法，其特征在于：具体步骤如下：
1)构建字典学习的训练样本：选取8个HR训练样本用来训练高分辨率图像判别字典对，然后进行降采样，再通过双三次插值法上采样恢复为与高分辨率图像相同大小的图像作为相应的LR训练图像；
2)随机生成初始字典：提出一种新的字典学习方法，用于将输入图像分解为低秩和稀疏分量，为同步实现图像融合与超分辨率重建，联合训练一对HR字典和一对LR字典，以及高、低分辨率图像块的编码系数之间的系数转换矩阵H，一对HR字典为Dh，l和Dh，s，一对LR字典为Dl，l和Dl,s；
3)从步骤2)中得到低秩字典Dl,l和稀疏字典Dl,s后，取成对的LR图像，分解LR图像块Yl得到低秩、稀疏编码系数Al,l和Al,s；
4)通过步骤3)得到的LR编码系数Al,s，Al，l和步骤2)中得到的转换矩阵H，采用“绝对值最大”方法构造HR融合图像的编码系数和最后得到高分辨率的融合图像块。


2.根据权利要求1所述的基于判别字典学习和形态成分分解的多源图像融合方法，其特征在于，所述步骤2)包括如下步骤：
Step2.1利用构建好的训练样本学习字典，提出的判别字典学习模型如下：







和是HR图像的低秩字典和稀疏字典，Xh是高分辨率训练图像，Xl是相应的低分辨率图像，此外，低分辨率低秩、稀疏字典用Dl，l和Dl，s表示，其中M×K代表了矩阵维度是M行K列的，ε1、ε2、ε3和ε4控制不同字典中每个原子幅度的常数，Zl，l和Zl，s是Xl在字典Dl，l和Dl，s下的编码系数，而Zh,l和Zh,s是分别是Xh在字典Dh,l和Dh,s的编码系数，H是Zl，i和Zh，i(i＝l，s)之间的转换矩阵；||·||F为F范数运算符；Ψ(H,Zl,l,Zh,l,Zl,s,Zh,s)和Φ(Dl,l,Dh,l,Zl,l,Zh,l,Zl,s,Zh,s)是判别正则项，确保学习字典Dl,l、Dh,l、Dl,s和Dh,s的判别能力；
通过双三次插值处理将LR图像设置成与HR图像相同的大小，那么，LR图像和HR图像的编码系数之间的关系描述为：



式(2)中λ1,λ2和λ5是正则化参数；
在式(2)中，用于避免过度拟合，是一个关系变换项，用于表示稀疏分量编码系数之间的关系，其中||·||F为F范数运算符，在LR图像及其对应的HR图像中，用于建立Zh,l和Zl,l之间的关系，显然低秩分量之间具有很强的线性相关性，并且同一编码系数向量中的每个元素具有相似的值，基于这一事实，引入了全为1的矩阵并利用正则项来描述低秩分量编码系数的特性；
定义如下正则项：



式(3)中λ3和λ4是正则化参数，||Dh,lZh,l||*和||Dl，lZl，l||*用于确保从输入图像对分离的Dh,lZh，l和Dl，lZl，l是低秩的，其中||·||*为核范数运算符，在获得低秩分量之后，通过Xi-Di，lZi，l获得稀疏分量，其中Xi表示输入源数据，因此，判别表示词典学习的目标函数表述为：






Step2.2字典学习模型的优化求解
需求解变量Dl，l、Dl,s、Dh,l、Dh,s、Zh,s、Zh,l、Zl,s、Zl,l和H，它们是非凸的，难以直接求解，如果在其他变量固定的时候求解其中一个变量，每个子问题就是凸函数，因此，用交替迭代方法依次求解(4)中每个变量；
Step2.2.1引入四个变量矩阵Xh,s、Xh,l、Xl,s和Xl,l，即训练输入的高分辨率图像的稀疏成分和低秩成分以及低分辨率图像的的稀疏成分和低秩成分，将式(4)中的优化问题转化为：






Step2.2.2更新Xh,s、Xh,l和编码系数矩阵Zh,s和Zh,l：首先，固定其他变量，更新Xh,s，则式(5)转换为如下表达式：



上式有如下闭合解形式：



同理，固定其他变量，Xh,l的求解形式如下：



通过S...

【专利技术属性】
技术研发人员：李华锋，陈怡文，杨默远，余正涛，张亚飞，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南;53