一种结合超分辨率和残差编码技术的图像压缩框架制造技术

本发明专利技术公布了一种结合超分辨率和残差编码技术的图像压缩框架。主要包括以下步骤：在离线状态建立起原图与不同码率压缩后的采样图间的映射关系，构建出各码率下的超分辨率重建模型；对原始图像迭代反投影下采样，得到采样后的小图；将小图通过第三方编码器压缩，传输码流和去噪辅助信息；在解码端将解码小图利用超分辨率重建模型重建成大图；结合去噪辅助信息抑制大图中的压缩噪声；在编码端计算出解码大图与原始图像的残差，并通过残差编码技术传输到解码端；在解码端解码残差图，并与解码大图叠加，恢复出最终的解码图像。实验表明，本文所提框架能实现比JPEG2000更高的压缩率。

An image compression framework combining super-resolution and residual coding techniques

The invention discloses an image compression frame combined with super-resolution and residual coding techniques. Mainly includes the following steps: establish the original image and the different rate of compressed sampling mapping between offline, and builds a model of super resolution reconstruction of each bit rate; the original image projection iterative sampling, get a small map after sampling; the small figure third by compression encoder, transport stream and to noise auxiliary information; at the decoder will decode the super-resolution reconstruction model to enlarge the use of a small map; combining with the denoising auxiliary information to suppress the noise in image compression; calculate the residual image and the original image decoding in encoding, and through the residual transmission encoding technique to the decoder decoding; residual image in the decoder, and the superposition and decoding over, restore the final image decoding. Experimental results show that the proposed framework can achieve higher compression ratio than JPEG2000.

【技术实现步骤摘要】
一种结合超分辨率和残差编码技术的图像压缩框架
本专利技术涉及图像超分辨率和图像压缩技术，具体涉及一种结合超分辨率和残差编码技术的图像压缩框架，属于图像通信领域。
技术介绍
图像是人类生产和生活当中不可或缺的信息载体，相关科技和产业的发展对图像的质量提出了愈加苛刻的需求。高质量图像往往占用大量的存储空间，在网络传输过程中同样需要耗费庞大的数据流量，造成信道带宽不足的问题。对此，经典的图像压缩技术，如JPEG、JPEG2000能够在尽可能保证图像质量的前提下最大限度地压缩数据量。然而随着高清和超高清图像的出现，伴随着网络带宽和存储介质的局限，客观上对图像压缩技术提出了更加苛刻的需求。JPEG和JPEG2000等主流压缩标准的编码性能尽管已经被越来越多的后起之秀所超越，然而由于多媒体领域大量系统和设备依然对其保持着强烈的依赖性，短时间之内还不可能被完全取代。为了适应现有主流图像压缩标准，本专利技术设计出一种图像压缩框架。该框架可仍然保留使用现有的主流编解码器(如JPEG/JPEG2000)，同时引入超分辨率技术和残差反馈技术，定位于提升对该编解码器在低码率段的率失真性能。
技术实现思路
本专利技术提出的一种结合超分辨率和残差编码技术的图像压缩框架，该压缩框架可利用现有经典的图像压缩编码标准作为第三方编码器并提升其性能。以经典的JPEG2000压缩标准为例，本专利技术所提框架在低码率段能有效提升其率失真性能；在相同解码图像质量的需求下，本专利技术所提框架能实现更高的压缩率。本专利技术所提出的一种结合超分辨率和残差编码技术的图像压缩框架，主要包括以下操作步骤：(1)对原始待压缩图像迭代反投影下采样，得到采样后的小图；(2)在编码端将小图通过JPEG2000标准压缩，将码流和去噪边信息一并传输到解码端；(3)在解码端得到解码小图，并将小图通过基于码率分类的超分辨率重建成解码大图；(4)结合去噪边信息抑制解码大图中的压缩噪声，提升解码大图的质量；(5)在编码端计算解码大图与原始待压缩图像的残差，并通过残差编码技术传输到解码端；(6)在解码端得到解码残差图，并与解码大图叠加，恢复出最终的解码图像。附图说明图1是本专利技术结合超分辨率和残差编码技术的图像压缩框架流程图图2是残差图像的树状结构分割示意图图3是本专利技术和JPEG2000压缩算法对‘leaves’测试图像的率失真性能比较图4是本专利技术及JPEG2000压缩算法对‘butterfly’测试图像的率失真性能比较图5是‘lena’原图在码率为0.1bpp时，JPEG2000及本专利技术的解码图像的视觉效果比较图6是‘butterfy’原图在码率为0.6bpp时，JPEG2000及本专利技术的解码图像的视觉效果比较具体实施方式下面结合附图对本专利技术作进一步说明：图1中，一种结合超分辨率和残差编码技术的图像压缩框架，包括以下步骤:(1)对原始待压缩图像迭代反投影下采样，得到采样后的小图；(2)在编码端将小图通过JPEG2000标准压缩，将码流和去噪边信息一并传输到解码端；(3)在解码端得到解码小图，并将小图通过基于码率分类的超分辨率重建成解码大图；(4)结合去噪边信息抑制解码大图中的压缩噪声，提升解码大图的质量；(5)在编码端计算解码大图与原始待压缩图像的残差，并将残差通过残差编码技术传输到解码端；(6)在解码端得到解码残差图，并与解码大图叠加，恢复出最终的解码图像。具体地，所述步骤(1)中，我们首先将待压缩的图像通过迭代反投影下采样方法↓得到小图。该采样方法↓得到的采样图像X通过超分辨率方法↑重建到原始大小之后，与原始输入图像Y的误差尽可能小，其数学模型即满足公式(1)。同时为实现快速收敛，↓可具体定义为双三次下采样，↑可具体定义为简单的双三次插值。X＝argmin||Y-↑X||(1)所述步骤(2)中，在编码端通过JPEG2000对小图压缩成码码流传输到解码端。同时，在编码端执行与步骤(3)同样的解码和重建过程，然后对重建出的图像通过去噪技术抑制压缩噪声。由于去噪强度可调，因此可在此过程中计算出最优的去噪系数，该系数将传输到解码端用于协助解码图像的质量提升。所述步骤(3)中，使用基于码率分类的A+(Anchoredneighborhoodregression)算法对解码小图超分辨重建成原始大小。A+算法本身是纯粹的超分辨率算法，其字典学习模型与基于稀疏表示的字典学习颇为相似，本质上仍然是学习高低分辨率图像之间的对应关系。因此准确地把握图像降质模型尤为重要。在本框架中，输入图像Y经历了两次降质过程：(1)自适应下采样↓；(2)JPEG2000压缩损失J。并且，JPEG2000在不同码率时信息损失程度不一样。因此本节提出，对码率进行间隔为0.1bpp的分类，并对每一类训练出转换关系Pi满足公式(2)，从而构建出融合迭代反投影下采样损失和压缩损失的“一对多”映射模型。Pi＝argmin|Y-(↓JY)*Pi||(2)所述步骤(4)中，从码流中分离出的去噪边信息，获取到对于当前解码大图的最优去噪系数。使用该系数控制去噪强度，从而最大限度地抑制解码大图的压缩噪声，提升解码大图的质量。所述步骤(5)中，通过在编码端模拟解码、重建及去噪过程，可以计算出解码大图，将该解码大图与原始待压缩图像相减从而构建成闭环反馈回路。由于压缩过程和采样过程必然会造成图像信息的大量损失，这部分损失信息被定义为解码图像与原图之间的残差。通过闭环反馈回路得到的残差图像通常不具备自然图像的普遍特征，因此我们利用针对性的残差编码技术压缩成码流并传输到解码端。残差图像编码采用树状结构编码模式，即图像被分割为大小为16×16的宏块分别处理。根据其纹理复杂等特征，每个宏块可以4种方式分割：一个16×16；两个16×8；两个8×16；四个8×8；对于8×8的子宏块同样可以进行相似的划分。这样的分割方法充分考虑了各图像数据块之间的相关性。如图2，树状结构编码中，细节比较丰富的区域划分较为细致，而平滑区域则采用较大的编码单元。这种自适应的编码方法，能够高效率地压缩残差图像信息。同时，由于分块一定程度上会导致解码图像出现块效应，残差编码中采用环路滤波的方法抑制块效应的产生。最后将残差编码码流传输到解码端。所述步骤(6)中，在解码端分离出残差码流可得到解码残差图，并通过环路滤波的方法抑制块效应。解码残差图与开环框架得到的解码大图叠加，可得到最终的解码图像。在测试图像库中随机选择出两幅图像‘leaves’，‘butterfly’，用上述步骤对其进行测试，并与JPEG2000比较率失真性能。率失真比较如图3及图4所示，其中横轴是码率，单位是bpp；纵轴是峰值信噪比(PSNR)，单位是dB。在相同的码率下，PSNR越高，率失真性能越好。图5表示在码率为0.1bpp时，JPEG2000与本专利技术对‘lena’压缩结果的视觉效果对比。图6表示码率为0.6pp时，JPEG2000与本专利技术对‘leaves’压缩结果的视觉效果对比。实验结果对于其他图像具有普适性。本文档来自技高网...

【技术保护点】
一种结合超分辨率和残差编码技术的图像压缩框架，其特征在于包括以下步骤：步骤一：对原始待压缩图像迭代反投影下采样，得到采样后的小图；步骤二：在编码端将小图通过第三方图像编码器压缩，将码流和去噪边信息一并传输到解码端；步骤三：在解码端得到解码小图，并将小图通过基于码率分类的超分辨率重建成解码大图；步骤四：结合去噪边信息抑制解码大图中的压缩噪声，提升解码大图的质量；步骤五：在编码端计算出解码大图与原始待压缩图像的残差，并通过残差编码技术传输到解码端；步骤六：在解码端得到解码残差图，并与解码大图叠加，恢复出最终的解码图像。

【技术特征摘要】
1.一种结合超分辨率和残差编码技术的图像压缩框架，其特征在于包括以下步骤：步骤一：对原始待压缩图像迭代反投影下采样，得到采样后的小图；步骤二：在编码端将小图通过第三方图像编码器压缩，将码流和去噪边信息一并传输到解码端；步骤三：在解码端得到解码小图，并将小图通过基于码率分类的超分辨率重建成解码大图；步骤四：结合去噪边信息抑制解码大图中的压缩噪声，提升解码大图的质量；步骤五：在编码端计算出解码大图与原始待压缩图像的残差，并通过残差编码技术传输到解码端；步骤六：在解码端得到解码残差图，并与解码大图叠加，恢复出最终的解码图像。2.根据权利要求1所述的结合超分辨率和残差编码技术的图像压缩框架，其特征在于步骤一中所述的迭代反投影下采样方法，该方法以采样图重建后与原图误差最小为目标函数，通过迭代反投影的采样方式，求得最终的下采样图像，该方法将原始输入图像尺寸缩减到一半之后，仍然能够最大限度地保证超分辨率重建图像的质量，客观上满足图像压缩过程中尽可能减少信息损失的需求。3.根据权利要求2所述的结合超分辨率和残差编码技术的图像压缩框架，其特征在于迭代反投影下采样的求解过程中每一...

【专利技术属性】
技术研发人员：何小海，马名浪，滕奇志，陈洪刚，卿粼波，吴小强，陶青川，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51