基于超分辨技术的图像编码方法和装置、解码方法和装置制造方法及图纸

本发明专利技术公开了一种基于超分辨技术的图像编码方法和装置、解码方法和装置。图像编码装置位于图像的发送端，包括：下采样模块，对原始图像进行下采样；第一压缩模块，对下采样后的图像进行第一次压缩；神经网络，对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；第一加法模块，将所述原始图像与第一重建后的图像相减，得到第一残差图像；以及第二压缩模块，对第一残差图像进行第二次压缩；以及发送模块，将压缩后的第一残差图像和第一次压缩后的图像共同发送到图像的接收端。本发明专利技术大大减少了码率，同时深度学习技术的应用也可使得重建图像质量有一个非常好的提升。

Image coding method and device, decoding method and device based on super resolution technology

The invention discloses an image coding method and device based on super-resolution technology, a decoding method and a device. The image coding device is located at the transmitter of the image, which includes: downsampling module to downsample the original image; the first compression module to compress the downsampled image for the first time; the neural network to super-resolution reconstruction of the first compressed image to obtain the first reconstructed image; and the first addition module. The first residual image is obtained by subtracting the original image from the first reconstructed image, and the second compression module is used to compress the first residual image for the second time, and the transmission module transmits the compressed first residual image and the first compressed image to the receiving end of the image. The invention greatly reduces the bit rate, and the application of depth learning technology can also make the quality of reconstructed image have a very good improvement.

【技术实现步骤摘要】
基于超分辨技术的图像编码方法和装置、解码方法和装置
本专利技术涉及一种基于超分辨技术的图像编码方法和装置、解码方法和装置。
技术介绍
图像是客观对象的一种近似并且生动的表示，极大程度的包含了表示对象的相关信息。统计数据表明，一个人获取的信息量大致有四分之三都来自于视觉。可以说，图像是人们获取信息很重要的来源。尤其是在近几年，互联网技术尤其是移动互联网技术飞速发展，在包括娱乐、教育等与人们生活密切相关领域带来了颠覆式的改变与创新。为了交付更好的用户体验，层出不穷的各类应用都在努力的让一切结果可视化从而满足人们的视觉体验，包括直播、社交、媒体等领域。而图像，作为媒介传播中最基本的视觉单元，便显得尤为重要。在许多应用场景之中，我们都需要得到高质量的图像或者视频信息，然而由于带宽或者存储资源的限制，实际获得的信息经常无法满足要求。因此不得不采用低码率编码技术来对图像进行压缩，随之造成的图像失真便会带来视觉上的不佳体验。图像的超分辨率重建是一种特殊的图恢复技术，能够从一张低分辨率图像恢复出具有细节信息的高分辨率图像。通常来看，现有的超分辨率方法基本可以大致分为三类：基于插值、基于重构、基于学习的方法。基于插值的方法主要是利用插值核来预测高分辨率图像中缺失的像素。经典的插值方法包括双线性插值法、双三次插值法以及最近邻插值法等。然而这些插值核所具有的各向同性导致其无法预测高分辨率的图像结构信息，因此重建图像会产生模糊效果。为了解决这一问题，一些基于结构适应的插值方法经常被应用于各类图像的结构信息重建。基于插值的方法具有简单、快速、便于实现的优点，但无法在重建图像中有效的减少模糊信息。基于重构的方法主要利用在重建的过程中加入确定的先验信息(通常是一个或几个正则项)作为约束使得超分辨率重建这个不适定问题变得可解,主要包括全变分、双边全变分、梯度先验信息、边缘先验信息、Zernike矩、非局部相似性、转向内核先验信息以及反馈控制框架。尽管基于重构的超分辨率方法能够较好的保持锐利的边缘并且能够抑制噪声，但是这种方法依然难以实现高分辨率图像所必须的额外信息增加，导致了重建结果的过度平滑纹理。基于学习的方法主要是通过学习低分辨率图像与高分辨率图像特征空间之间的映射关系来完成重建。根据映射的建立方式，可将基于学习的重建方法分为两类：基于编码的重建方法与基于回归的重建方法。现有技术中公开了一种超分辨率重建用于视频压缩的方法，主要包括两部分:发送端的编码方法和接收端的解码方法。在发送端，对高分辨率图像序列进行基于区域的分割并在空域进行下采样，然后对低分辨率图像序列进行压缩。接收端在收到压缩数据后，先进行解压缩，然后对低分辨率图像序列进行上采样从而得到重建的高分辨率图像序列。然而，现有技术中没有公开超分辨率重建用于图像压缩的方法。传统的图像编码主要是对图像进行分块变换、量化、熵编码等，这些方法是在与原图相同的分辨率维度进行各种操作，这就导致了码率无法进一步降低，或者说在码率低的时候解码图像质量很差。
技术实现思路
鉴于以上问题，本专利技术提供一种基于超分辨技术的图像编码方法和装置、解码方法和装置，创新性的采用了变换域的下采样技术，先将图像进行下采样，减小待压缩图像的大小，然后再通过神经网络进行图像编码，经过传输后，对图像进行超分辨率重建从而得到最终的解码结果，采用这种方法大大减少了码率，同时深度学习技术的神经网络的应用也可使得重建图像质量有一个非常好的提升。为了实现上述目的，本专利技术采用以下技术方案：本专利技术公开了一种基于超分辨技术的图像编码装置，位于图像的发送端，所述图像编码装置包括：下采样模块，对原始图像进行下采样；第一压缩模块，对下采样后的图像进行第一次压缩；神经网络，对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；第一加法模块，将所述原始图像与所述第一重建后的图像相减，得到第一残差图像；以及第二压缩模块，对所述第一残差图像进行第二次压缩；以及发送模块，将压缩后的第一残差图像和所述第一次压缩后的图像共同发送到图像的接收端。优选地，所述下采样模块包括：变换模块，将所述原始图像从空域变换到变换域，所述变换域为离散余弦域或小波域；变换域下采样模块，对变换的图像在变换域进行下采样；以及反变换模块，将在变换域进行下采样的图像反变换到空域。优选地，所述神经网络包括图像修复部分和超分辨率重建部分，其中，所述图像修复部分包括基于残差学习的图像修复神经网络和第二加法模块，所述图像修复神经网络将所述第一次压缩后的图像通过残差学习得到所述第一次压缩后的图像与第一修复图像的第二残差图像，所述第二加法模块将所述第二残差图像与所述第一次压缩后的图像相加得到所述第一修复图像；以及所述超分辨率重建部分包括插值模块、基于残差学习的超分辨率重建神经网络和第三加法模块，所述插值模块对所述第一修复图像进行插值，所述超分辨率重建神经网络将经过插值的图像通过残差学习得到所述经过插值的图像与所述第一重建后的图像之间的第三残差图像，所述第三加法模块将所述第三残差图像加上经过插值的图像以输出所述第一重建后的图像。本专利技术还公开了一种基于超分辨技术的图像编码方法，在图像的发送端进行，包括如下步骤：S11：对原始图像进行下采样；S12：对下采样后的图像进行第一次压缩；S13：对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；S14：将所述原始图像与第一重建后的图像相减，得到第一残差图像；S15：对所述第一残差图像进行第二次压缩；以及S16：将压缩后的第一残差图像和第一次压缩后的图像从图像的发送端共同发送到图像的接收端。优选地，在S11中，对原始图像进行下采样的步骤包括：S111：将所述原始图像从空域变换到变换域，所述变换域为离散余弦域或小波域；S112：对变换后的图像在变换域进行下采样；以及S113：将在变换域进行下采样的图像反变换到空域。优选地，S13包括：将所述第一次压缩后的图像通过残差学习得到所述第一次压缩后的图像与第一修复图像的第二残差图像，将所述第二残差图像与所述第一次压缩后的图像相加得到所述第一修复图像；然后对所述第一修复图像进行插值，然后将经过插值的图像通过残差学习得到所述经过插值的图像与所述第一重建后的图像之间的第三残差图像，将所述第三残差图像加上经过插值的图像以输出所述第一重建后的图像。本专利技术还公开了一种基于超分辨技术的图像解码装置，位于图像的接收端，所述图像解码装置包括：接收模块，从图像的发送端接收压缩后的第一残差图像和第一次压缩后的图像；解压缩模块，将压缩后的第一残差图像进行解压缩，得到第一残差图像；神经网络，将所述第一次压缩后的图像进行超分辨率重建，得到第二重建后的图像；以及第四加法模块，将所述第二重建后的图像和所述第一残差图像相加，从而得到恢复的原始图像。优选地，所述神经网络包括图像修复部分和超分辨率重建部分，其中，所述图像修复部分包括基于残差学习的图像修复神经网络和第五加法模块，所述图像修复神经网络将所述第一次压缩后的图像通过残差学习得到所述第一次压缩后的图像与第二修复图像的第四残差图像，所述第五加法模块将所述第四残差图像与所述第一次压缩后的图像相加得到所述第二修复图像；以及所述超分辨率重建部分包括插值模块、基于残差学习的超分辨率重建神本文档来自技高网...

【技术保护点】
1.一种基于超分辨技术的图像编码装置，位于图像的发送端，所述图像编码装置包括：下采样模块，对原始图像进行下采样；第一压缩模块，对下采样后的图像进行第一次压缩；神经网络，对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；第一加法模块，将所述原始图像与所述第一重建后的图像相减，得到第一残差图像；以及第二压缩模块，对所述第一残差图像进行第二次压缩；以及发送模块，将压缩后的第一残差图像和所述第一次压缩后的图像共同发送到图像的接收端。

【技术特征摘要】
1.一种基于超分辨技术的图像编码装置，位于图像的发送端，所述图像编码装置包括：下采样模块，对原始图像进行下采样；第一压缩模块，对下采样后的图像进行第一次压缩；神经网络，对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；第一加法模块，将所述原始图像与所述第一重建后的图像相减，得到第一残差图像；以及第二压缩模块，对所述第一残差图像进行第二次压缩；以及发送模块，将压缩后的第一残差图像和所述第一次压缩后的图像共同发送到图像的接收端。2.根据权利要求1所述的基于超分辨技术的图像编码装置，其中，所述下采样模块包括：变换模块，将所述原始图像从空域变换到变换域，所述变换域为离散余弦域或小波域；变换域下采样模块，对变换的图像在变换域进行下采样；以及反变换模块，将在变换域进行下采样的图像反变换到空域。3.根据权利要求1所述的基于超分辨技术的图像编码装置，其中，所述神经网络包括图像修复部分和超分辨率重建部分，其中，所述图像修复部分包括基于残差学习的图像修复神经网络和第二加法模块，所述图像修复神经网络将所述第一次压缩后的图像通过残差学习得到所述第一次压缩后的图像与第一修复图像的第二残差图像，所述第二加法模块将所述第二残差图像与所述第一次压缩后的图像相加得到所述第一修复图像；以及所述超分辨率重建部分包括插值模块、基于残差学习的超分辨率重建神经网络和第三加法模块，所述插值模块对所述第一修复图像进行插值，所述超分辨率重建神经网络将经过插值的图像通过残差学习得到所述经过插值的图像与所述第一重建后的图像之间的第三残差图像，所述第三加法模块将所述第三残差图像加上经过插值的图像以输出所述第一重建后的图像。4.一种基于超分辨技术的图像编码方法，在图像的发送端进行，包括如下步骤：S11：对原始图像进行下采样；S12：对下采样后的图像进行第一次压缩；S13：对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；S14：将所述原始图像与第一重建后的图像相减，得到第一残差图像；S15：对所述第一残差图像进行第二次压缩；以及S16：将压缩后的第一残差图像和第一次压缩后的图像从图像的发送端共同发送到图像的接收端。5.根据权利要求4所述的基于超分辨技术的图像编码方法，其中，在S11中，对原始图像进行下采样的步骤包括：S111：将所述原始图像从空域变换到变换域，所述变换域为离散余弦域或小波域；S112：对变换后的图像在变换域进行下采样；以及S113：将在变换域进行下采样的图像反变换到空域。6.根据权利要求4所述的基于超分辨技术的图像编码方法，其中，S13包括：将所述第一次压缩后的图...

【专利技术属性】
技术研发人员：叶龙，张胜前，钟微，帖云，张勤，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：北京,11