超分辨率轻量化的图像压缩感知重构系统及其方法技术方案

本发明专利技术公开了一种超分辨率轻量化的图像压缩感知重构系统及其方法，涉及图像成像与重建技术领域。本系统是：输入的图像测量值、非重叠分组模块和多路并行的低分辨率图像重构模块依次交互，多路并行的低分辨率图像重构模块分别与高分辨率图像上采样重构模块和残差图像超分辨率深度重构模块交互，高分辨率图像上采样重构模块和残差图像超分辨率深度重构模块分别与和加法器模块交互，加法器模块的输出为重构的图像本发明专利技术在保证重构性能的同时，可显著降低重构系统的计算复杂度和资源消耗；适用于压缩成像等应用。适用于压缩成像等应用。适用于压缩成像等应用。

【技术实现步骤摘要】
超分辨率轻量化的图像压缩感知重构系统及其方法


[0001]本专利技术涉及图像成像与重建
，尤其涉及一种超分辨率轻量化的图像压缩感知重构系统及其方法；详细地说，本专利技术是一种基于超分辨率与深度卷积网络，利用超分辨率技术减少网络复杂度的高性能图像压缩感知重构系统及其方法。

技术介绍

[0002]压缩感知是一种新的信号采样理论。比较传统的香农采样，压缩感知证明了可实现对稀疏信号降维采样的准确重构，因此可大大减少采样的数据量，从而有效减少数据存储空间和数据传输带宽。压缩感知在图像成像中已得到广泛应用。图像压缩感知重构是压缩感知成像涉及的核心问题，自压缩感知理论提出至今一直是该领域关注的研究热点。近年来，随着深度学习在图像识别领域取得的成功应用，基于深度网络的压缩感知重构实现也得到了极大关注和飞速发展。【参见文献：[1]E.J.Candes and T.Tao，“Near
‑
optimal signal recovery from random projections:Universal encoding strategies？”IEEE Transactions on Information Theory,vol.52,no.12,pp.5406
–
5425,2006；[2]W.Dong,G.Shi,X.Li,Y.Ma,and F.Huang,“Compressive sensing via nonlocal low
‑
rank regularization,”IEEE Transactions on Image Processing,vol.23,no.8,pp.3618
–
3632,2014；[3]A.Mousavi,A.B.Patel,and R.G.Baraniuk,“A deep learning approach to structured signal recovery,”in Proceedings of IEEE Annual Allerton Conference on Communication,Control,and Computing,2015,pp.1336
–
1343；[4]W.Shi,F.Jiang,S.Liu and D.Zhao,"Image Compressed Sensing Using Convolutional Neural Network,"IEEE Transactions on Image Processing,vol.29,pp.375
‑
388,2020】。
[0003]深度学习方法与传统方法比较，能够极大地提升压缩感知图像的重构质量，并且因为采用端对端映射，因此可以得到重构速度的极大提升。深度学习方法还可以实现压缩感知编码端的测量矩阵与重构网络的联合优化，因而可以更加有效地提升测量效率和重构性能。然而，图像的压缩感知因为图像的维度较高，面临的一个很重要的问题是如何减少采样及重构系统的复杂度。基于分块压缩感知的方案可以较好平衡重构性能和系统的复杂度。【参见文献：[6]L.Gan,“Block compressed sensing of natural images,”in Proc.IEEE 15th Int.Conf.Digit.Signal Process.,Jul.2007,pp.403
–
406】。但是，如何在保证系统重构性能的同时，有效减少系统的参数规模及计算复杂度，以更好满足系统实时和低成本应用的需要，仍然是一个具有挑战性的问题。

技术实现思路

[0004]本专利技术的目的就在于克服上述
技术介绍
的缺点和不足，提供一种超分辨率轻量化的图像压缩感知重构系统及其方法；具体地说，本专利技术是基于超分辨率与深度卷积网络，采用分组低分辨率初始重构与超分辨率深度重构策略的复杂度减少的图像压缩感知重构系统及其方法，通过引入分组机制，对输入的测量值进行分组后先重构出原始图像的降维估
计，然后通过上采样和超分辨率深度重构，在有效降低重构系统复杂度的同时得到原始图像的高质量重建结果。
[0005]本专利技术的技术思路是：
[0006]首先采用分组策略对输入的图像测量值进行均等非重叠分解，得到测量值的多组分量表示；然后，利用多个并联的通路，每一通路分别对输入的一组分量表示进行变换，得到原始图像的降维重构表示；再对所有通路输出的降维重构表示联合进行上采样变换，得到原始图像的粗略估计，同时利用超分辨率深度卷积网络，得到原始图像的残差估计；最后通过相加运算得到原始图像的高质量重构结果。本专利技术通过采用分组低分辨率重构与上采样及超分辨率技术，有效降低重构系统的参数规模和计算复杂度，并通过引入卷积采样与重构网络的联合训练，保障了图像重构质量的有效提升。
[0007]具体地说，本专利技术的技术方案是：
[0008]一、超分辨率轻量化的图像压缩感知重构系统(简称系统)
[0009]本系统包括输入的图像测量值Y，设置有非重叠分组模块、多路并行的低分辨率图像重构模块、高分辨率图像上采样重构模块、残差图像超分辨率深度重构模块和加法器模块；
[0010]输入的图像测量值Y、非重叠分组模块和多路并行的低分辨率图像重构模块依次交互；多路并行的低分辨率图像重构模块分别与高分辨率图像上采样重构模块和残差图像超分辨率深度重构模块交互；高分辨率图像上采样重构模块和残差图像超分辨率深度重构模块分别与和加法器模块交互，加法器模块的输出为重构的图像
[0011]二、超分辨率轻量化的图像压缩感知重构方法(简称方法)
[0012]本方法包括下列步骤：
[0013]①
非重叠分组
[0014]非重叠分组模块(10)接收输入的图像测量值Y，将对应所有块图像的测量值均等或近似均等地分成L等分，分别表示为Y1、Y2、
…
、Y
L
；L为自然数，设定为4、8或16；
[0015]②
多路并行的低分辨率图像重构
[0016]多路并行的低分辨率图像重构模块(20)内并行的L个低分辨率图像重构LRIR单元，对应第i低分辨率图像重构LRIR
i
单元接收输入Y
i
，生成原始图像X的维度减少的低分辨率图像x
i
，i＝1、2、
…
、L，x
i
表示第i通道生成的第i幅图像，维度减少因子一般设定为S＝2；
[0017]③
高分辨率图像上采样重构与残差图像超分辨率深度重构
[0018]高分辨率图像上采样重构模块(30)并行接收低分辨率图像重构模块输出的低分辨率图像x
i
,i＝1、2
…
L，通过反卷积上采样运算，生成维度与原始图像相同的原始图像的粗略估计
[0019]残差图像超分辨率深度重构模块(40)同时并行接收低分辨率图像重构模块输出的低分辨率图像x本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超分辨率轻量化的图像压缩感知重构系统，其特征在于：统包括输入的图像测量值Y，设置有非重叠分组模块(10)、多路并行的低分辨率图像重构模块(20)、高分辨率图像上采样重构模块(30)、残差图像超分辨率深度重构模块(40)和加法器模块(50)；输入的图像测量值Y、非重叠分组模块(10)和多路并行的低分辨率图像重构模块(20)依次交互，多路并行的低分辨率图像重构模块(20)分别与高分辨率图像上采样重构模块(30)和残差图像超分辨率深度重构模块(40)交互，高分辨率图像上采样重构模块(30)和残差图像超分辨率深度重构模块(40)分别与和加法器模块(50)交互，加法器模块(50)的输出为重构的图像2.按权利要求1所述的超分辨率轻量化的图像压缩感知重构系统，其特征在于：所述的非重叠分组模块(10)是一种数据分割模块，完成将输入的数据均匀分割成多组数据；所述的多路并行的低分辨率图像重构模块(20)是一种图像生成模块，利用输入的图像测量值，通过简单的卷积运算，并行生成原始图像的分辨率减少的多幅低分辨率图像；所述的高分辨率图像上采样重构模块(30)是一种图像上采样模块，根据输入的多幅低分辨率图像，通过简单的上采样运算，生成原始图像的低质量重构结果；所述的残差图像超分辨率深度重构模块(40)是一种采用深度网络的超分辨率模块，根据输入的多幅低分辨率图像，首先利用多层卷积网络进行深度特征提取，然后对深度特征进行升维和变换，预测出原始图像的残差图像；所述的加法器模块(50)是一种执行加法运算的模块，完成将输入的原始图像的低质量估计与残差图像的相加，生成原始图像的高质量重建结果。3.按权利要求1或2所述的一种超分辨率轻量化的图像压缩感知重构系统的方法，其特征在于包括下列步骤：
①
非重叠分组非重叠分组模块(10)接收输入的图像测量值Y，将对应图像的测量值均等或近似均等地分成L等分，分别表示为Y1、Y2、
…
、Y
L
；L为自然数，设定为4、8或16；

【专利技术属性】
技术研发人员：熊承义，刘川鄂，高志荣，李帆，马帅，
申请(专利权)人：中南民族大学，
类型：发明
国别省市：