结合超分辨率重建的图像压缩方法技术

本发明专利技术针对图像编码，公开了一种视频及图像有损压缩方法。把传统JPEG、JPEG2000、H.264和HEVC编码标准算法与超分辨图像重建结合起来，在此基础上发明专利技术设计出了一种结合超分辨率重建的图像压缩方法。对输入视频及图像进行下采样，下采样方法采用Bicubic算法，下采样倍数为二倍。下采样图像点阵数仅为原图像1/4，其编码码率远低于原始输入图像编码码率，从而降低编码码率。同时，在分析残差图像和一般图像鲁棒性区别的基础上，设计引入了负反馈环节，弥补在超分辨率图像重建环节中损失的部分高频细节信息，提升了重建视频及图像质量。本发明专利技术公开的压缩方法与JPEG、H.264标准算法相比，在图像质量相同的情况下，大幅度地降低了编码码率。

【技术实现步骤摘要】
结合超分辨率重建的视频图像压缩方法
本专利技术涉及图像通信领域中的图像有损压缩技术，尤其是涉及了把图像超分辨率与视频及图像压缩结合在一起的一种新的编码方法。
技术介绍
图像压缩是数字多媒体计算和通信技术的基础,其中针对视频及图像的有损压缩方法是多年来研究的重点。随着数字多媒体技术的飞速发展，高清视频及图像已经在各个领域和人们日常生活中普及。高清图像占用的数据量大且传输中的传输带宽有限，在未来可预见的一段时期内，数字图像的分辨率和数据率还将进一步提高，而现有的主流编解码标准，如主要适用于静止图像压缩的编解码标准JPEG、JPEG2000，主要适用于视频图像压缩的编解码标准MPEG4、H.264等，在数字图像传输中已显露出诸多不足，为了适应高清视频及图像通讯的发展，需要开发新的图像压缩技术。在现有的图像压缩技术中，编解码的基本过程为，对于静止图像，以JPEG标准为例，输入一副图像进行JPEG编码，生成JPEG编码码流，而后对码流进行解码，生成解码重建图像；对于视频，以H.264为例，输入视频进行H.264编码，生成H.264编码码流，而后对码流进行H.264解码，生成解码重建视频。JPEG和H.264标准的核心部分是变换。根据信号处理的时间频率分析理论，将信号中的能量集中在少数几个变换系数中，从而可实现减少数据量的压缩目的。从信息论的观点来看，这些主流方案都是利用图像中像素间的相关性，试图去除其中的统计冗余。然而，经过20多年的发展，变换编码方法逐渐趋于成熟，现阶段在没有更好的信号分析手段的前提下，要对其继续改进已经十分困难。更为重要的是，高清视频图像压缩在数据存储和视频通信中具有迫切的需求和广阔的应用前景，实践急需研究适用于视频及图像高效压缩编码的新技术。在图像压缩
，把超分辨率重建技术和传统视频及图像编码方法结合起来以得到更好的压缩效果是目前研究的热点。申请号为201010292294.1的专利技术专利申请提出了一种基于关键帧超分辨率重建的视频编解码系统，该系统通过在编码前对视频下采样，在解码后对视频采用基于与关键帧分层块匹配的视频超分辨率重建技术进行分辨率提升。上海交通大学的陈静涛提出基于超分辨率重建的图像压缩方案，该方案先对下采样后的低分辨率图像进行编解码，之后对解码后的低分辨率图像进行重建。该方案同时又提出了一种基于特征字典学习和卡尔曼滤波运动估计的视频压缩框架，以在编码器端用退化模型处理部分帧达到减小信息复杂度的目的，再在解码器端利用重建技术恢复原始序列。上述方法在将超分辨率重建技术应用到视频图像压缩编码的过程中，未充分考虑解码图像的质量，直接将超分辨率图像作为最终解码图像。以目前的超分辨率技术而言，视频超分辨率中的配准问题，及单幅图像超分辨率重建缺少足够的额外先验知识等不足，都较大程度限制了超分辨率重建图像的质量。本申请的专利技术人对上述方法进行了实验，从实验的结果看，这些方法与传统编解码标准相比，对于各种分辨率、类型的视频，在相同的图像质量下尚未充分有效地降低编码码率。因此，如何更好地把超分辨率重建融合到压缩编码中，除超分辨率重建环节外，在保证较低码率前提下如何提高最终解码图像质量是一项全新的研究工作，是所述
的科技工作者面临的任重而道远的任务。
技术实现思路
随着数字图像的分辨率和数据率不断提升，针对图像压缩编码的重要性，本专利技术的目的旨在提出一种结合超分辨率重建技术的新的视频图像压缩方法，以实现在保证视频图像质量的前提下，大幅度地降低编码码率。本专利技术提供的结合超分辨率重建的视频图像压缩方法，主要包括视频图像编码和视频图像解码两个部分，所述视频图像编码主要包括以下步骤：(1)将输入的视频序列图像进行下采样，得到下采样后的视频图像；(2)对下采样后的视频图像用编解码标准进行编码，得到压缩的下采样数据，用相同的编解码标准对压缩的下采样数据进行解码，得到解码后的下采样视频图像；(3)对解码后的下采样视频图像先分解成单幅图像再进行超分辨率重建，得到超分辨率重建视频图像；(4)，将输入的视频图像先分解成单幅原始图像，而后用原始单幅图像减去对应的超分辨率重建单幅图像得到残差单幅图像，再把残差单幅图像合成为残差视频图像；(5)将步骤(4)获得的残差视频图像用编解码标准进行编码，得到压缩的残差视频图像数据；(6)将步骤(2)获得的压缩后的下采样数据和步骤(5)得到的压缩的残差视频图像数据合并得到输入视频图像压缩后的数据；所述视频图像解码主要包括以下步骤：(1)将输入视频图像压缩后的数据中的压缩的残差数据用编解码标准进行解码，而后把得到的重建残差视频图像分解为单幅残差视频图像；(2)将输入图像压缩后的数据中的压缩的下采样数据用编解码标准进行解码，而后把得到的重建下采样视频图像先分解为单幅重建下采样视频图像，再对每一帧重建下采样视频图像进行超分辨率重建，得到下采样视频图像的超分辨率重建视频图像；(3)把步骤(1)生成得到的单幅残差视频图像和步骤(2)生成得到的下采样视频图像的超分辨率重建视频图像相加，得到输入视频图像的重建图像。在本专利技术的上述技术方案中，所述编解码标准为选自JPEG、JPEG2000、HEVC-I、H.264和HEVC的构成组标准。特别是，静止图像的编解码标准优先选用JPEG或JPEG2000；视频序列图像的编解码标准优先选用HEVC-I、H.264或HEVC。在本专利技术的上述技术方案中，所述下采样方法优先选用Bicubic算法；所述下采样的倍数优先选为二倍。在本专利技术的上述技术方案中，所述超分辨率重建最好采用基于信号稀疏表示理论的图像超分辨率算法。在本专利技术技术方案的所述图像编码中，由于最终编码码率为下采样后图像编码码率和残差辅助视频及图像编码码率之和，因此在本专利技术的技术方案中将最终编码码率定义为：Bitrateproposed＝Bitrate1/4+Bitrate2其中，Bitrate1为步骤(2)中下采样后视频及图像编码码率，由于本专利技术采样为二倍下采样，下采样后图像由原始输入图像二倍下采样后得到，其图像点阵数为原图像1/4，故真实码率为Bitrate1/4；Bitrate2为步骤(5)中残差辅助视频及图像编码码率。由于下采样图像和残差图像的鲁棒性不同，且各自编码量化参数对最终码率有明显影响。所以Bitrateproposed的值是根据在步骤(2)和步骤(5)中分别多次设置不同量化参数，相加后与编解码标准相比，在相同图像峰值信噪比(PSNR)下码率最小和值。具体设置方法为：1、在步骤(2)，对于静止图像，采用JPEG或JPEG2000编码，量化参数每间隔10，按照90～30设置量化参数分别进行多次编解码，获得每次编码时的码率，定义为Bitrate1；对于视频序列图像，采用H.264或HEVC编码，量化参数按28、32、36、40设置分别进行多次编解码，获得每次编码时的码率，定义为Bitrate1。2、在步骤(5)，对于静止图像，采用HEVC-I编码中，量化参数每间隔4，按照28～40设置量化参数分别进行多次编解码，获得每次编码时的码率，定义为Bitrate2；对于视频序列图像，采用H.264或HEVC编码，量化参数按28、32、36、40设置分别进行多次编解码，获得每次编码时的码率，定本文档来自技高网...

【技术保护点】
一种结合超分辨率重建的图像压缩方法，其特征在于主要包括图像编码和图像解码两个部分，所述图像编码主要包括以下步骤：（1）将输入图像进行下采样，得到下采样后的图像；（2）对下采样后的图像用编解码标准进行编码，得到压缩的下采样数据，用相同的编解码标准对压缩的下采样数据进行解码，得到解码后的下采样图像；（3）对解码后的下采样图像进行超分辨率重建，得到超分辨率重建图像；（4）用输入图像减去超分辨率重建图像，得到残差图像；（5）将步骤（4）获得的残差图像用编解码标准进行编码，得到压缩的残差图像数据；（6）将步骤（2）获得的压缩后的下采样数据和步骤（5）得到的压缩的残差数据合并得到输入图像压缩后的数据；所述图像解码主要包括以下步骤：（1）对编码生成的输入图像压缩后的数据中的压缩的残差数据用编解码标准进行解码，得到重建残差图像；（2）对生成的输入图像压缩后的数据中的压缩的下采样数据用编解码标准进行解码，得到重建下采样图像，对重建下采样图像进行超分辨率重建，得到下采样图像的超分辨率重建图像；（3）把步骤（1）生成得到的重建残差图像和步骤（2）生成得到的下采样图像超分辨率重建图像相加，得到输入图像的重建图像。...

【技术特征摘要】
1.一种结合超分辨率重建的视频图像压缩方法，其特征在于主要包括视频图像编码和视频图像解码两个部分，所述视频图像编码主要包括以下步骤：(1)将输入的视频序列图像进行下采样，得到下采样后的视频图像；(2)对下采样后的视频图像用编解码标准进行编码，得到压缩的下采样数据，用相同的编解码标准对压缩的下采样数据进行解码，得到解码后的下采样视频图像；(3)对解码后的下采样视频图像先分解成单幅图像再进行超分辨率重建，得到超分辨率重建视频图像；(4)将输入的视频图像先分解成单幅原始图像，而后用原始单幅图像减去对应的超分辨率重建单幅图像得到残差单幅图像，再把残差单幅图像合成为残差视频图像；(5)将步骤(4)获得的残差视频图像用编解码标准进行编码，得到压缩的残差视频图像数据；(6)将步骤(2)获得的压缩后的下采样数据和步骤(5)得到的压缩的残差视频图像数据合并得到输入视频图像压缩后的数据；所述视频图像解码主要包括以下步骤：(1)将输入视频图像压缩后的数据中的压缩的残差数据用编解码标准进行解码，而后把得到的重建残差视频图像分解为单幅残差视频图像；(2)将输入图像压缩后的数据中的压缩的下采样数据用编解码标准进行解码，而后把得到的重建下采样视频图像先分解为单幅重建下采样视频图像，再对每一帧重建下采样视频图像进行超分辨率重建，得到下采样视频图像的超分辨率重建视频图像；(3)把步骤(1)生成得到的单幅残差视频图像和步骤(2)生成得到的下采样视频图像...

【专利技术属性】
技术研发人员：何小海，吴笛，滕奇志，黄建秋，卿粼波，吴晓红，王正勇，
申请(专利权)人：四川大学，
类型：发明
国别省市：