基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法技术

本发明专利技术公开了基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，包括近红外(NIR)图像超分辨率分析网络，使用三原色(RGB)图像作为边信息，我们使用EPFL三原色(RGB)‑近红外(NIR)数据集，并将我们的模型应用于低分辨率近红外(NIR)图像的超分辨率分析，以高分辨率三原色(RGB)图像作为辅助信息，数据集包含477对空间对齐的近红外(NIR)/三原色(RGB)图像对，我们的训练集包含从50张图像中提取的大约30,000张裁剪后的图像对，每个训练图像的尺寸为44×44像素，这个尺寸是根据内存需求和计算复杂度选择的，我们还创建了一个包含25个图像对的测试集；对整个图像进行测试。

【技术实现步骤摘要】
基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法
本专利技术涉及图像处理
，具体为基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法。
技术介绍
图像超分辨率分析是成像算法中常见的逆问题，是指用低分辨率观测图像重建高分辨率图像，因为从低分辨率到高分辨率图像的映射不是唯一的，超分辨率分析问题是不适定的。逆问题的深度学习的最新研究主要考虑深度展开，深度展开是指将迭代算法展开为深度神经网络形式。这些方法主要有三类，第一类单模态图像超分辨率分析方法使用基于插值的方法。这些方法既简单又快速，但是，混叠和模糊效果使它们无法获得高质量的高分辨率图像。第二类单模态图像超分辨率分析方法使用重建方法，该方法使用多个图像先验信息来规则化不适定的重建问题，并产生具有精细纹理细节的图像。然而，用图像先验信息很难对自然图像的复杂细节建模。第三类单模态图像超分辨率分析方法使用基于学习的方法，这些方法使用机器学习技术从数据中学习低分辨率和高分辨率图像之间的复杂映射，深度学习模型具有出色的恢复质量，因此备受关注。新进提出的方法主要有B.Ham等在2018年提出的static/dynamicfilter(SDF)方法[1]，H.Sreter等在2018年提出的approximateconvolutionalsparsecode(ACSC)方法[2]，Y.Li等在2019年提出的imagesuper-resolutionfeedbacknetwork(SRFBN)方法[3]，目前这些新方法集中在单模态数据上，缺乏从不同成像模态吸收的边信息的利用。X.Deng等在2020年最新提出的deepcouplediterativeshrinkageandthresholdingalgorithm(COISTA)方法[4]，是最新提出的多模态图像超分辨率方法，采用了联合多模式字典学习(JMDL)算法，采用跨模式依赖性建模方法，性能上不如本方法提出的学习卷积稀疏编码网络建模方法，为此我们提出基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法用于解决上述问题。
技术实现思路
本专利技术的目的在于利用低分辨率的观测图像来重构高分辨率图像是不适定的成像逆问题，医学成像和遥感的实际应用通常涉及捕获同一场景的不同图像模态，例如近红外(NIR)图像和三原色(RGB)图像，因此可以考虑多种图像模态的联合使用以完成成像，即使用来自另一个模态的引导图像(也称为边信息)作为辅助从低分辨率观测图像重建高分辨率图像。深度学习方法依赖于训练数据来学习从低分辨率输入到高分辨率输出的端到端映射。本设计提出一种新颖的深度展开算子，其执行的步骤类似于包含边信息的卷积稀疏编码的迭代算法，将近端算法转换为人工学习的多模态卷积稀疏编码的神经网络形式；该网络结合了稀疏先验信息，并能够将引导模式有效地集成到解决方案中。以深度展开架构作为图像超分辨率分析的多模态框架的核心组件，通过采用残差学习来提高训练效率。本方法提出的多模态方法适用于近红外和多光谱图像的超分辨率分析以及使用三原色(RGB)图像作为边信息的深度上采样处理，实验结果表明，我们的模型优于现存的最新方法，为此我们提出一种基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，包括包括近红外(NIR)图像超分辨率分析网络，其特征在于：使用三原色(RGB)图像作为边信息，下面介绍采用的数据集以及实验实施细节；由于近红外(NIR)传感器与三原色(RGB)传感器相比，每像素成本较高，因此近红外(NIR)传感器以较低的分辨率获取近红外(NIR)图像，我们使用EPFL三原色(RGB)-近红外(NIR)数据集，并将我们的模型应用于低分辨率近红外(NIR)图像的超分辨率分析，以高分辨率三原色(RGB)图像作为辅助信息，数据集包含477对空间对齐的近红外(NIR)/三原色(RGB)图像对，我们的训练集包含从50张图像中提取的大约30,000张裁剪后的图像对，每个训练图像的尺寸为44×44像素，这个尺寸是根据内存需求和计算复杂度选择的，我们还创建了一个包含25个图像对的测试集；对整个图像进行测试；近红外(NIR)图像由一个通道组成，训练所用和测试所用近红外(NIR)图像的低分辨率版本是通过模糊和缩小真实高分辨率版本生成的，我们将三原色(RGB)图像转换为YCbCr，使用其中的亮度通道作为边信息，我们将双三次插值作为预处理步骤来放大低分辨率输入，以使输入和输出图像的大小相同；本方法提出的多模态学习卷积稀疏编码网络的图像超分辨率分析方法(LMCSC-SR)，它由3种共5个模块组合成：(1)1个多模态学习卷积稀疏编码器(LMCSC)，该网络借助边信息来生成低分辨率输入图像的卷积隐式表达；(2)2个边信息编码器，即近似卷积稀疏编码器(ACSC)，其中一个用于生成引导高分辨率图像的隐式表达、另一个用于在不使用边信息的情况下，增强目标模态的低分辨率和高分辨率图像之间的转换；(3)2个卷积解码器，计算目标高分辨率图像，同时，通过使用与输入一致的映射，将网络的输出作为高频细节信息，网络输入作为低频信息融合在一起，即通过采用残差学习来提高训练效率；本方法的核心是多模态学习卷积稀疏编码器(LMCSC)，这里先给出基本问题的设定，然后给出多模态学习卷积稀疏编码器(LMCSC)的构建方法，用于图像超分辨率的分析。所述图像超分辨率分析可以看成为线性逆问题，公式如下：y＝Lx+η\*MERGEFORMAT(16)，其中，是未知高分辨率图像的矢量化形式，表示参杂了噪声的低分辨率观测值，线性算子n＜k描述了观测机制，它可以表示为下采样算子E和模糊滤波器H的乘积。所述线性观测算子L需要进行额外的正则化以求解，稀疏性已广泛用作解决稀疏近似问题的正则化器，在本方法采用稀疏建模方法取代直接求解x的方法，通过联合稀疏表示来表达双三次放大的低分辨率图像中的n维(矢量化的)斑块y和相应高分辨率图像中的相应斑块x，通过联合学习两个字典n≤m，分别面向低分辨率和高分辨率图像斑块，我们可以强制斑块对的稀疏表示的相似性，使得y＝Ψyα，和x＝Ψxα，然后，通过求解计算出高分辨率斑块x，这等同于找到低分辨率斑块y的稀疏表示，其中λ是正则化参数，是趋近稀疏性的l1范数，这里采用卷积稀疏编码求解问题(2)，用表示感兴趣的图像，通过解决以下问题获得卷积稀疏码：步骤3)中，其中是Frobenius范数，i＝1,K,k是是卷积字典的原子，i＝1,K,k是相对于字典D的稀疏特征映射，l1范数是计算Ui中元素的绝对值之和(就像Ui是作为向量展开)，如果可以获得与目标信号y相关的边信息ω，则可以提高稀疏近似问题的准确性，假设和在字典n≤m，d≤m的情况下分别具有相似的稀疏表示形式稀疏表示α将可通过l1-l1最小化问题求解：这里通过神经网络设计解决这个稀疏近似的问题，使用学习迭代软阈值算法。所述学习迭代本文档来自技高网...

【技术保护点】
1.基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，包括近红外(NIR)图像超分辨率分析网络，其特征在于：使用三原色(RGB)图像作为边信息，下面介绍采用的数据集以及实验实施细节；/n由于近红外(NIR)传感器与三原色(RGB)传感器相比，每像素成本较高，因此近红外(NIR)传感器以较低的分辨率获取近红外(NIR)图像，我们使用EPFL三原色(RGB)-近红外(NIR)数据集，并将我们的模型应用于低分辨率近红外(NIR)图像的超分辨率分析，以高分辨率三原色(RGB)图像作为辅助信息，数据集包含477对空间对齐的近红外(NIR)/三原色(RGB)图像对，我们的训练集包含从50张图像中提取的大约30,000张裁剪后的图像对，每个训练图像的尺寸为44×44像素，这个尺寸是根据内存需求和计算复杂度选择的，我们还创建了一个包含25个图像对的测试集；对整个图像进行测试；/n近红外(NIR)图像由一个通道组成，训练所用和测试所用近红外(NIR)图像的低分辨率版本是通过模糊和缩小真实高分辨率版本生成的，我们将三原色(RGB)图像转换为YCbCr，使用其中的亮度通道作为边信息，我们将双三次插值作为预处理步骤来放大低分辨率输入，以使输入和输出图像的大小相同；/n本方法提出的多模态学习卷积稀疏编码网络的图像超分辨率分析方法(LMCSC-SR)，它由3种共5个模块组合成：(1)1个多模态学习卷积稀疏编码器(LMCSC)，该网络借助边信息来生成低分辨率输入图像的卷积隐式表达；(2)2个边信息编码器，即近似卷积稀疏编码器(ACSC)，其中一个用于生成引导高分辨率图像的隐式表达、另一个用于在不使用边信息的情况下，增强目标模态的低分辨率和高分辨率图像之间的转换；(3)2个卷积解码器，计算目标高分辨率图像，同时，通过使用与输入一致的映射，将网络的输出作为高频细节信息，网络输入作为低频信息融合在一起，即通过采用残差学习来提高训练效率；/n本方法的核心是多模态学习卷积稀疏编码器(LMCSC)，这里先给出基本问题的设定，然后给出多模态学习卷积稀疏编码器(LMCSC)的构建方法，用于图像超分辨率的分析。/n...

【技术特征摘要】
1.基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，包括近红外(NIR)图像超分辨率分析网络，其特征在于：使用三原色(RGB)图像作为边信息，下面介绍采用的数据集以及实验实施细节；
由于近红外(NIR)传感器与三原色(RGB)传感器相比，每像素成本较高，因此近红外(NIR)传感器以较低的分辨率获取近红外(NIR)图像，我们使用EPFL三原色(RGB)-近红外(NIR)数据集，并将我们的模型应用于低分辨率近红外(NIR)图像的超分辨率分析，以高分辨率三原色(RGB)图像作为辅助信息，数据集包含477对空间对齐的近红外(NIR)/三原色(RGB)图像对，我们的训练集包含从50张图像中提取的大约30,000张裁剪后的图像对，每个训练图像的尺寸为44×44像素，这个尺寸是根据内存需求和计算复杂度选择的，我们还创建了一个包含25个图像对的测试集；对整个图像进行测试；
近红外(NIR)图像由一个通道组成，训练所用和测试所用近红外(NIR)图像的低分辨率版本是通过模糊和缩小真实高分辨率版本生成的，我们将三原色(RGB)图像转换为YCbCr，使用其中的亮度通道作为边信息，我们将双三次插值作为预处理步骤来放大低分辨率输入，以使输入和输出图像的大小相同；
本方法提出的多模态学习卷积稀疏编码网络的图像超分辨率分析方法(LMCSC-SR)，它由3种共5个模块组合成：(1)1个多模态学习卷积稀疏编码器(LMCSC)，该网络借助边信息来生成低分辨率输入图像的卷积隐式表达；(2)2个边信息编码器，即近似卷积稀疏编码器(ACSC)，其中一个用于生成引导高分辨率图像的隐式表达、另一个用于在不使用边信息的情况下，增强目标模态的低分辨率和高分辨率图像之间的转换；(3)2个卷积解码器，计算目标高分辨率图像，同时，通过使用与输入一致的映射，将网络的输出作为高频细节信息，网络输入作为低频信息融合在一起，即通过采用残差学习来提高训练效率；
本方法的核心是多模态学习卷积稀疏编码器(LMCSC)，这里先给出基本问题的设定，然后给出多模态学习卷积稀疏编码器(LMCSC)的构建方法，用于图像超分辨率的分析。


2.根据权利要求1所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述图像超分辨率分析可以看成为线性逆问题，公式如下：
y＝Lx+η\*MERGEFORMAT(16)，
其中，是未知高分辨率图像的矢量化形式，表示参杂了噪声的低分辨率观测值，线性算子描述了观测机制，它可以表示为下采样算子E和模糊滤波器H的乘积。


3.根据权利要求2所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述线性观测算子L需要进行额外的正则化以求解，稀疏性已广泛用作解决稀疏近似问题的正则化器，在本方法采用稀疏建模方法取代直接求解x的方法，通过联合稀疏表示来表达双三次放大的低分辨率图像中的n维(矢量化的)斑块y和相应高分辨率图像中的相应斑块x，通过联合学习两个字典分别面向低分辨率和高分辨率图像斑块，我们可以强制斑块对的稀疏表示的相似性，使得y＝Ψyα，和x＝Ψxα，然后，通过求解



计算出高分辨率斑块x，这等同于找到低分辨率斑块y的稀疏表示，其中λ是正则化参数，是趋近稀疏性的l1范数，这里采用卷积稀疏编码求解问题(2)，用表示感兴趣的图像，通过解决以下问题获得卷积稀疏码：





4.根据权利要求1所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：步骤3)中，其中是Frobenius范数，k是是卷积字典的原子，k是相对于字典D的稀疏特征映射，l1范数是计算Ui中元素的绝对值之和(就像Ui是作为向量展开)，如果可以获得与目标信号y相关的边信息ω，则可以提高稀疏近似问题的准确性，假设和在字典的情况下分别具有相似的稀疏表示形式稀疏表示α将可通过l1-l1最小化问题求解：



这里通过神经网络设计解决这个稀疏近似的问题，使用学习迭代软阈值算法。


5.根据权利要求4所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述学习迭代软阈值算法的第t层计算可表示为：
αt＝φγ(Sαt-1+Wy),α0＝0\*MERGEFORMAT(20)
其中
φγ(vi)＝sign(vi)max{0,|vi|-γ},i＝1,...,k\*MERGEFORMAT(21)
公式(6)代表软阈值运算符；和γ＞0是参数，这些参数在迭代软阈值算法中固定设定，而学习迭代软阈值算法从数据中学习得到，因此，学习迭代软阈值算法仅需几次迭代即可达到较高精度，前述算法针对的是单模态数据，在实际应用中，除了目标信号的观测值Y之外，是可以找到可用的与Y相关的另一个图像模态Ω，并且这两个图像模态可以用l1范数相似的卷积稀疏码表示，如果结合来自另一种模态的边信息，可以得出依赖于(4)的解的近端方法，得出迭代过程。


6.根据权利要求5所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述迭代过程为：



其中μ，L代表适当的参数。近端算子ξμ包含边信息s，表示为：
当si≥0,i＝1,...,m时：



当si＜0,i＝1,...,m时：



通过将近端算法写成：
αt＝ξμ(Sαt-1+Wy；s),α0＝0\*MERGEFORMAT(25)
进一步地将(10)转换成深度神经网络。


7.根据权利要求6所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述深度神经网络具体转换方式为：
令为相对于卷积字典DY的观察图像Y的稀疏表示，其中表示卷积字典DY的原子，通过使用具有原子的卷...

【专利技术属性】
技术研发人员：陈伦强，龙学军，陈东文，
申请(专利权)人：肇庆市博士芯电子科技有限公司，
类型：发明
国别省市：广东;44