一种低采样率下的深度学习图像恢复方法技术

本发明专利技术公开了一种低采样率下的深度学习图像恢复方法，包括采样步骤和重建步骤，其中，采样部分引入离散小波变换，减少了由于应用单一尺度采样方法所丢失的高频部分内容，提高了方法的图像重建质量。将采样部分的矩阵乘法转换为半张量积的形式，显著减小了采样矩阵的大小，减少了矩阵的存储空间，节约了大量的计算资源。将AMP算法以去噪视角展开到深度卷积网络中，提高了图像的视觉效果和重建速度。在低采样率的条件下，与其他方法相比，本发明专利技术方法有着更好的量化指标和重建效果，在存储空间占用和运行时间方面有着优势，获得了更好的视觉效果。效果。效果。

【技术实现步骤摘要】
一种低采样率下的深度学习图像恢复方法


[0001]本专利技术涉及图像处理
，尤其涉及一种低采样率下的深度学习 图像恢复方法。

技术介绍

[0002]图像恢复算法主要可以分为两类：基于优化的图像恢复算法和基于网 络的图像恢复算法。许多传统算法用来解决优化问题从而进行图像恢复， 例如基础追踪算法(BP)、正交匹配追踪算法(OMP)、全差分算法(TVAL3)、 快速迭代收缩阈值算法(FISTA)和近似消息传递算法(AMP)等。
[0003]然而，这些传统方法产生了较高的计算成本，限制了CS在有限资源限 制情况下的应用。因此，很多基于网络的算法被用于图像恢复。其中有ShiW等人设计了由不同子网络组成的深度网络来执行压缩感知过程、Canh T N等人提出了一种多尺度离散余弦卷积神经网络、Yao H等人进一步提出 了一种新的深度残差重构网络。
[0004]这些方法虽然大大降低了图像恢复的时间开销，然而缺乏结构多样性， 因此考虑将两种方法相结合，其中现有技术中，AMP算法以去噪视角展开 映射到深度神经网络中，称为AMP
‑
Net，此外采样矩阵与网络参数联合训 练，提高了图像恢复速度和精度，且优于其他现有方法。然而，由于AMP
‑
Net 中应用了单一尺度的采样，恢复后的图像会丢失一些高频部分内容，需要 对其方法做出进一步优化。

技术实现思路

[0005]本专利技术针对上述技术问题，提供一种低采样率下的深度学习图像恢复 方法。
[0006]为了实现上述目的，本专利技术提供如下技术方案：
[0007]本专利技术提供一种低采样率下的深度学习图像恢复方法，包括采样步骤 和重建步骤，其中，将近似消息传递算法展开到卷积神经网络上，采样步 骤引入离散小波变换，同时采样矩阵使用半张量积进行处理，将原始图像 分解为多尺度，对所有尺度的图像进行分块采样，并重建原始图像。
[0008]进一步地，采样步骤由离散小波变换和分块采样组成。
[0009]进一步地，离散小波变换过程为：利用DWT将原始图像转换为4个 不同频带的图像，分别是低频分量、水平方向高频分量、垂直平方向高频 分量和对角线方向高频分量。
[0010]进一步地，分块采样过程为：利用逐块采样方法独立采样每个尺度图 像。
[0011]进一步地，恢复步骤由一个初始步骤和多个迭代恢复步骤组成。。
[0012]进一步地，初始步骤用于生成一个初始恢复图像，初始恢复由测量值 线性恢复得到。
[0013]进一步地，迭代恢复步骤包括去噪过程和去块过程。
[0014]进一步地，去噪过程是把去噪视角下的AMP算法展开到深度神经网络 上，对初始恢复图像进行逐块处理，将处理后的图像块进行整形和连结， 最后得到一个完整恢复图
像。
[0015]进一步地，去块过程利用卷积神经网络来进行去块操作。
[0016]进一步地，上述的低采样率下的深度学习图像恢复方法，采用均方误 差作为损失函数描述原始图像和重建后图像的差异。
[0017]与现有技术相比，本专利技术的有益效果为：
[0018]本专利技术提供的低采样率下的深度学习图像恢复方法，采样部分引入离 散小波变换，减少了由于应用单一尺度采样方法所丢失的高频部分内容， 提高了方法的图像重建质量。将采样部分的矩阵乘法转换为半张量积的形 式，显著减小了采样矩阵的大小，减少了矩阵的存储空间，节约了大量的 计算资源。将AMP算法以去噪视角展开到深度卷积网络中，提高了图像的 视觉效果和重建速度。在低采样率的条件下，通过实验证明，与其他方法 相比，本专利技术方法有着更好的量化指标和重建效果。在存储空间占用和运 行时间方面有着优势，在采样率为1％、4％、10％时，本专利技术的AMP
‑
Net+ 获得了更好的PSNR和SSIM，获得了更好的视觉效果。
附图说明
[0019]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对 实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附 图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可 以根据这些附图获得其他的附图。
[0020]图1为本专利技术实施例提供的近似消息传递增强型网络(AMP
‑
NET+)。
[0021]图2为本专利技术实施例提供的采样过程流程图。
[0022]图3为本专利技术实施例提供的AMP
‑
NET+的第K个重构模块。
具体实施方式
[0023]本专利技术提供了一种低采样率下的深度学习图像恢复方法，在AMP
‑
NET 的基础上，引入离散小波变换，同时其中的采样矩阵使用半张量积进行处 理，将原始图像分解为多尺度，然后对所有尺度的图像进行分块采样，并 重建原始图像，最后得到一个比之前提出的恢复算法重建质量好的图像。 此时将网络称作AMP
‑
NET+，将网络模型应用于图像重建过程中，提高了 图像重建质量，同时运行速度有着显著提升。
[0024]为了使本领域的技术人员更好地理解本专利技术的技术方案，下面将结合附图 和实施例对本专利技术作进一步的详细介绍。
[0025]首先，关于半张量压缩感知、近似消息传递算法，介绍如下。
[0026]1、半张量压缩感知
[0027]压缩感知是以低于奈奎斯特采样率条件下，对原信号或图像进行随机 稀疏采样，以采集到的比较少的测量样本来恢复原始信号或图像。压缩感 知的信号采样过程可以表示为：
[0028]y＝φx＝φψs＝Φs
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0029]其中φ∈R
M*N
为测量矩阵，由于M＜N，原始信号x∈R
N*1
通过与φ矩阵 相乘可以达到维数减小的目的。由于只有在信号稀疏或可压缩的情况下才 可以进行压缩感知操作，因此引入稀疏基ψ∈R
N*N
，使原始信号x在稀疏基 ψ下是稀疏的，s称为稀疏系数，其中只有K个
大系数，K＜M＜N，剩 下的都是零项或趋近于零项。将φ
ψ
合并成一个传感矩阵Φ∈R
M*N
。而对 于采样后的原始信号或图像恢复过程，就是已知y和Φ，求解s。
[0030]由于在压缩感知中主要使用了矩阵乘法，传统的矩阵乘法有维数限制， 因此提出了将半张量积用于压缩感知中，打破了传统矩阵乘法中的维数匹 配条件。因此定义两个矩阵D∈R
m*n
，G∈R
q*p
，n是p的因数或p是n的 因数，其间的半张量积为：
[0031][0032]其中D
i
表示D的第i行，G
j
表示G的第j列。
[0033]半张量积还可以用Kronecker积进行定义，两个矩阵D∈R
m*n
，G∈R
q*p
的Kronecker积定义为：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低采样率下的深度学习图像恢复方法，包括采样步骤和重建步骤，其特征在于，将近似消息传递算法展开到卷积神经网络上，采样步骤引入离散小波变换，同时采样矩阵使用半张量积进行处理，将原始图像分解为多尺度，对所有尺度的图像进行分块采样，并重建原始图像。2.根据权利要求1所述的低采样率下的深度学习图像恢复方法，其特征在于，采样步骤由离散小波变换和分块采样组成。3.根据权利要求2所述的低采样率下的深度学习图像恢复方法，其特征在于，离散小波变换过程为：利用DWT将原始图像转换为4个不同频带的图像，分别是低频分量、水平方向高频分量、垂直平方向高频分量和对角线方向高频分量。4.根据权利要求2所述的低采样率下的深度学习图像恢复方法，其特征在于，分块采样过程为：利用逐块采样方法独立采样每个尺度图像。5.根据权利要求1所述的低采样率下的深度学习图像恢复方法，其特征...

【专利技术属性】
技术研发人员：彭海朋，暴爽，李丽香，李思睿，梁俊英，赵洁，范林萱，张卓群，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：