用于视频编码/解码系统的多维量化技术技术方案

本发明专利技术公开了为视频压缩和解压缩系统提供改进的带宽控制的视频压缩和解压缩技术。具体地讲，视频编码和解码技术在多个维度中对输入视频进行量化。根据这些技术，可从对输入数据的阵列与预测数据的阵列的比较生成像素残差。可在第一维度量化像素残差。在量化之后，可以将量化像素残差变换成变换系数的阵列。变换系数可在第二维度量化，并且进行熵编码。解码技术将这些过程颠倒。在其他实施方案中，可以并行地或级联地在变换阶段的上游提供多个量化器，这为视频编码器提供更大的灵活性以争取在不同维度量化数据，从而平衡压缩效率的竞争兴趣和重建视频的质量。

【技术实现步骤摘要】
【国外来华专利技术】用于视频编码/解码系统的多维量化技术优先权要求本公开得益于2016年8月29日提交的题为“MultidimensionalQuantizationTechniquesForVideoCoding/DecodingSystems”的美国专利申请15/250,608的优先权，该专利申请的全部以引用方式并入本文。
技术介绍
本公开涉及视频压缩和解压缩技术，更具体地讲，涉及为视频压缩和解压缩系统提供改善的带宽控制和编码性能。现代视频压缩系统，例如MPEG-4AVC/H.264，MPEG-H第二部分/HEVC/H.265，VP9，VP10和其他系统采用多种工具，包括空间和时间预测，变换，量化，回路滤波和熵编码等，作为其实现压缩的编码过程的一部分。在执行预测过程之后，通常将变换编码应用于特定块大小的残差数据，以更好地与该信息去相关并实现能量压缩。对转换处理后产生的系数进行量化，然后对其进行熵编码。这相当于单个维度中的量化。通常使用均匀量化。在较早期系统中，使用离散余弦变换(“DCT”)，然而，最近使用该变换的整数近似以及离散正弦变换(“DST”)。还使用其他变换，例如WalshHadamard，Haar等。通常使用用于预测，例如4x4，8x8，16x16，32x32和64x64块预测和变换两者的不同块大小。非正方形变换以及形状自适应变换也被一些系统使用，而在应用变换之前也可应用对残差数据的自适应色彩空间变换。对于一些场景，尤其是对于高比特率/低压缩比，发现跳过块的变换过程实际上是有利的，并且在量化之后比变换编码提供更好的编码效率。此类方案在HEVC中采用，并且被命名为“变换跳过”编码模式。另一方面，除了变换编码和量化之外，一些编解码器诸如H.263+还引入了在应用变换和量化之前减少残差数据的分辨率的想法。解码器随后将必须对数据进行去量化，反转变换系数，然后使用预定义插值滤波器将所得的块放大，以最终重建残差信号。然后将该残差信号添加到预测信号以生成最终重建块。然后可应用附加的回路滤波。该编码模式被命名为“降低分辨率更新”(“RRU”)编码模式。在H.263中以及在MPEG-4AVC/H.264和HEVC/H.265中提出时，将该编码模式应用于整个图像。现有的编码技术仅提供有限的灵活性来控制视频的回路量化。现有编码器仅能够在子帧/子画面级量化输入数据的单个特征—变换系数的量化，其在块或宏块级进行。一些类型的量化根本不在回路中执行，并且不能在子帧级别控制。因此，本专利技术人认为需要允许视频编码器沿多个维度对输入图像数据进行量化并且针对子帧级别的那些维度选择量化参数的编码技术。附图说明图1为根据本公开的实施方案的视频递送系统的简化框图。图2是根据本公开的实施方案的编码系统的功能框图。图3是根据本公开的实施方案的解码系统的功能框图。图4示出了根据图2的编码系统和图3的解码系统由示例性像素块进行的处理。图5示出了根据本公开的实施方案的解码方法。图6是根据本公开的实施方案的编码系统的功能框图。图7为与图6的编码系统可操作的解码系统的功能框图。图8是根据本公开的另一实施方案的编码系统的功能框图。图9是根据本公开的实施方案的解码系统的功能框图。图10是根据本公开的另一实施方案的编码系统的功能框图。图11是根据本公开的实施方案的解码系统的功能框图。图12和图13示出了根据本公开的实施方案的帧的量化的示例性选择。具体实施方式本公开的实施方案提供沿多个维度对输入视频进行量化的视频编码和解码技术。根据这些技术，像素残差可由输入数据的阵列与预测数据的阵列的比较生成。可在第一维度量化像素残差。在量化之后，可以将量化像素残差变换成变换系数的阵列。变换系数可在第二维度量化，并且进行熵编码。解码技术将这些过程颠倒。在其他实施方案中，可以并行地或级联地在变换阶段的上游提供多个量化器，这为视频编码器提供更大的灵活性以争取在不同维度量化数据，从而平衡压缩效率的竞争兴趣和恢复视频的质量。可在子帧颗粒度下进行各种量化器的参数选择。图1(a)示出了根据本公开的一个实施方案的一种视频递送系统100的简化框图。系统100可包括经由网络互连的多个终端110，150。终端110，150可编码视频数据以用于经由网络传输给其对应终端。因此，第一终端110可本地捕获视频数据，对视频数据进行编码并经由信道将经编码的视频数据传输至对应终端150。接收终端150可接收经编码的视频数据，对其解码，并将其本地呈现，例如在终端150处的显示器上。如果在视频数据的双向交换中接合终端，则终端150可本地捕获视频数据，对视频数据进行编码并经由另一信道将经编码的视频数据传输至对应终端110。接收终端110可接收从终端150传输的编码视频数据，对其解码，并且例如在其自己的显示器上本地呈现。所述过程可在帧和场画面编码两者上操作，但为简单起见，本讨论将描述在整体帧的上下文中的技术。视频编码系统100可在多种应用中使用。在第一应用中，终端110，150可支持编码视频的实时双向交换以在它们之间建立视频会议会话。在另一应用中，终端110可编码预先产生的视频(例如电视或电影节目)并存储经编码的视频用于递送给一个或者经常递送给多个进行下载的客户端(例如，终端150)。因此，正在编码的视频可以是实时的或预先产生的，并且终端110可以充当媒体服务器，根据一到一或一到多分发模型来递送经编码的视频。出于本论述的目的，除非另外指明，视频的类型和视频发布方案是无关紧要的。在图1(a)中，将终端110，150分别示为智能电话和平板电脑，但本公开的原理并不限于此。本公开的实施方案还可用于计算机(台式计算机和膝上型计算机两者)，计算机服务器，媒体播放器，专用视频会议设备和/或专用视频编码设备。网络表示在终端110,150之间传递已编码视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的，除非另外指明，否则网络的体系结构和拓扑结构对本专利技术的操作是无关紧要的。图1(b)是示出编码终端的部件的功能框图。编码终端可包括视频源130，预处理器135，编码系统140和发射器150。视频源130可供应要编码的视频。视频源130可被提供为捕获本地环境或者存储来自其他源的视频的存储设备的图像数据的相机。预处理器135可对要编码的视频执行信号调节操作以用于编码的视频数据。例如，预处理器135可改变源视频的帧速率，帧分辨率和其他特性。预处理器135还可对源视频执行滤波操作。编码系统140可对视频执行编码操作以减小其带宽。通常，编码系统140利用源视频内的时间和/或空间冗余。例如，编码系统140可执行运动补偿预测编码，其中视频帧或场画面被解析为子单元(为方便起见称为“像素块”)，并且各个像素块相对于预测像素块进行差分编码，所述预测像素块来源于先前编码的视频数据。给定像素块可根据多种预测编码模式中的任一种来编码，诸如：·帧内编码，其中输入像素块相对于共同帧的先前编码/解码数据差分编码；·单预测帧间编码，其中输入像素块相对于先前编码/解码的帧的数据差分编码；和·双预测帧间编码，其中输入像素块相对于一对先前编码/解码本文档来自技高网...

【技术保护点】
1.一种视频编码方法，包括：从输入数据的阵列与预测数据的阵列的比较生成像素残差，在第一维度对所述像素残差进行第一量化，将量化的像素残差变换为变换系数的阵列，在第二维度对所述变换系数进行第二量化；以及对量化的变换系数进行熵编码。

【技术特征摘要】
【国外来华专利技术】2016.08.29 US 15/250,6081.一种视频编码方法，包括：从输入数据的阵列与预测数据的阵列的比较生成像素残差，在第一维度对所述像素残差进行第一量化，将量化的像素残差变换为变换系数的阵列，在第二维度对所述变换系数进行第二量化；以及对量化的变换系数进行熵编码。2.根据权利要求1所述的视频编码方法，其中所述第一量化包括缩减所述像素残差的阵列。3.根据权利要求1所述的视频编码方法，其中所述第一量化包括通过颜色分量均匀地量化所述像素残差的阵列。4.根据权利要求1所述的视频编码方法，其中所述第一量化包括通过颜色分量非均匀地量化所述像素残差的阵列。5.根据权利要求1所述的视频编码方法，其中所述第一量化包括量化所述像素残差的值。6.根据权利要求1所述的视频编码方法，其中所述第一量化包括沿所述像素残差的阵列的一个方向非均匀地量化该阵列。7.根据权利要求1所述的视频编码方法，其中所述第一量化包括基于相应像素的预测值强度来非均匀地量化值。8.根据权利要求1所述的视频编码方法，还包括：在第三维度量化所述像素残差，产生量化的像素残差的第二阵列，将所述量化的像素残差的第二阵列变换为变换系数的第二阵列，在所述第二维度量化所述变换系数的第二阵列；以及对量化的变换系数的第二阵列进行熵编码。9.根据权利要求1所述的视频编码方法，还包括在所述第一量化和所述变换步骤之间，在另一维度对从所述第一量化获得的数据进行第三量化。10.根据权利要求1所述的视频编码方法，还包括将所述第一量化和所述第二量化的参数连同从所述熵编码获得的编码数据传输至信道。11.一种视频解码方法，包括：对从信道接收的编码视频数据进行熵解码，产生量化的变换系数；在第一维度对所述量化变换系数进行第一去量化，产生重建的变换系数；将所述重建的变换系数变换到像素域；在第二维度对从所述变换获得的像素域值进行第二去量化，产生像素残差的阵列；以及由所述像素残差的阵列和预测数据的阵列生成重建的像素值的阵列。12.根据权利要求11所述的视频解码方法，其中所述第二去量化包括将所述像素域值的阵列放大。13.根据权利要求11所述的视频解码方法，其中所述第二去量化包括通过颜色分量对所述像素域值的阵列进行均匀去量化。14.根据权利要求11所述的视频解码方法，其中所述第二去量化包括通过颜色分量对所述像素域值的阵列进行非均匀去量化。15.根据权利要求11所述的视频解码方法，其中所述第二去量化包括对所述像素域值的值进行去量化。16.根据权利要求11所述的视频解码方法，还包括：在所述第一维度对所述量化的变换系数进行第三去量化，产生重建的变换系数的第二阵列；以及将所述重建的变换系数的第二阵列第二变换到所述像素域；在另一维度对从所述第二变换获得的像素域值的第二阵列进行第四去量化，产生像素残差阵列的第二阵列；其中生成重建的像素值是基于像素残差阵列的所述第二阵列的。17.根据权利要求11所述的视频解码方法，还包括在所述变换步骤和所述第二去量化之间，在与所述第二维度分开的另一维度对从所述变换步骤获得的数据进行第三量化。18.根据权利要求11所述的视频解码方法，其中在信道中接收所述第一去量化步骤和所述第二去...

【专利技术属性】
技术研发人员：A·多拉佩斯，苏野平，D·辛格，HJ·吴，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US