解耦视频系数的规范和实现数据路径交织的转换缓冲器制造技术

论述了一种视频编码器转换缓冲器，用于为视频系数解耦合规范编码顺序和处理顺序以便对这种视频系数进行内编码处理，并且论述了用于该处理顺序的交织方案。交织方案包括下述步骤：接收按规范编码顺序的与视频帧的编码单元相对应的量化残差变换系数的多个块；把量化残差变换系数的多个块从规范编码顺序交织成处理顺序；按处理顺序对量化系数的多个块执行逆量化、逆变换和内预测操作。

Specification of Decoupled Video Coefficient and Conversion Buffer for Implementing Data Path Interleaving

This paper describes a video encoder conversion buffer, which is used to decouple the video coefficients to specify the coding order and processing order so that the video coefficients can be processed internally. The interleaving scheme for the processing order is also discussed. The interleaving scheme includes the following steps: receiving a plurality of blocks of quantization residual transform coefficients corresponding to the coding unit of the video frame in the standard coding order; interweaving the blocks of quantization residual transform coefficients from the standard coding order into the processing order; and performing inverse quantization, inverse transformation and internal prediction operations on the blocks of quantization coefficients in the processing order.

【技术实现步骤摘要】
【国外来华专利技术】解耦视频系数的规范和实现数据路径交织的转换缓冲器优先权声明本申请要求于2016年11月10日递交的标题为“CONVERSIONBUFFERTODECOUPLENORMATIVEANDIMPLEMENTATIONDATAPATHINTERLEAVINGOFVIDEOCOEFFICIENTS”的美国专利申请15/348,783的优先权，这里通过引用将该美国专利申请全部并入以用于所有目的。
技术介绍
在压缩/解压缩(编解码器)系统中，压缩效率、视频质量和计算效率是重要的性能标准。此外，编码视频的比特流或其他数据表示被基于下述项来标准化是有利的：H.264/MPEG-4高级视频编码(advancedvideocoding，AVC)标准、高效率视频编码(highefficiencyvideocoding，HEVC)标准、VP9编码标准、开放媒体联盟(AllianceforOpenMedia，AOM)标准、MPEG-4标准及其扩展。因此，在维护编码视频数据的基于标准的比特流或其他数据表示的同时增大编码器和解码器的计算效率，可能是有利的。正是考虑到这些和其他考虑事项，所以需要本改进。随着压缩和发送视频数据的愿望变得更普遍，这种改进可变得关键。附图说明在附图中以示例方式而非限制方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，附图标记在附图之间被重复以指示对应的或相似的元素。在附图中：图1是示例预测单元和相应的变换单元的图示；图2是示例内预测环依从性的图示；图3是示例变换单元流水线处理的图示；图4是示例编码器的图示；图5是示例编码器转换缓冲器的图示；图6是示例解码器的图示；图7是示例解码器转换缓冲器的图示；图8是包括颜色交织的示例处理顺序的图示；图9是包括颜色交织的示例处理顺序的图示；图10A-10C图示出用于提供编码顺序的预测单元的变换单元的示例扫描和排序；图11A和图11B图示出用于提供编码顺序的预测单元的变换单元的示例扫描和排序；图12A-12C图示出用于提供编码顺序的预测单元的变换单元的示例扫描和排序；图13A-13C图示出用于提供编码顺序的预测单元的变换单元的示例扫描和排序；图14是图示出用于视频编码的示例过程的流程图，视频编码包括按颜色将变换块交织成处理顺序；图15是图示出用于视频编码的示例系统的示意图，视频编码包括按颜色将变换块交织成处理顺序；图16是示例系统的示意图；并且图17图示了全都根据本公开的至少一些实现方式布置的示例设备。具体实施方式现在参考附图描述一个或多个实施例或实现方式。虽然论述了具体配置和布置，但应当理解这么做只是为了说明性目的。相关领域的技术人员将认识到，在不脱离描述的精神和范围的情况下，可以采用其他配置和布置。相关领域的技术人员将会清楚，本文描述的技术和/或布置也可用在与本文所述不同的多种其他系统和应用中。虽然接下来的描述阐述了可在诸如片上系统(system-on-a-chip，SoC)体系结构之类的体系结构中显现的各种实现方式，但本文描述的技术和/或布置的实现方式不限于特定的体系结构和/或计算系统，而是可由任何体系结构和/或计算系统为类似的目的而实现。例如，采用例如多个集成电路(integratedcircuit，IC)芯片和/或封装的各种体系结构和/或诸如机顶盒、智能电话等等之类的各种计算设备和/或消费电子(consumerelectronic，CE)设备可实现本文描述的技术和/或布置。另外，虽然接下来的描述可阐述许多具体细节，例如逻辑实现方式、系统组件的类型和相互关系、逻辑分区/集成选择等等，但要求保护的主题可在没有这种具体细节的情况下实现。在其他情况下，可能没有详细示出一些素材，例如控制结构和完整软件指令序列，以免模糊本文公开的素材。本文公开的素材可以用硬件、固件、软件或者其任何组合来实现。本文公开的素材也可实现为存储在机器可读介质上的指令，这些指令可被一个或多个处理器读取和执行。机器可读介质可包括用于以机器(例如计算设备)可读的形式存储或传输信息的任何介质和/或机构。例如，机器可读介质可包括只读存储器(readonlymemory，ROM)；随机访问存储器(randomaccessmemory，RAM)；磁盘存储介质；光存储介质；闪存设备；电的、光的、声的或其他形式的传播信号(例如，载波、红外信号、数字信号等等)，以及其他。说明书中提及“一个实现方式”、“一实现方式”、“一种示例实现方式”等等指示的是描述的实现方式可包括特定的特征、结构或特性，但可能不一定每个实施例都包括该特定的特征、结构或特性。另外，这种短语不一定指同一实现方式。另外，当联系一实施例来描述特定的特征、结构或特性时，认为联系其他实现方式(无论本文是否明确描述)来实现这种特征、结构或特性是在本领域技术人员的知识范围内的。本文描述了与视频编码、尤其是将规范数据路径或顺序与处理数据路径或顺序解耦合以获得改善的吞吐量有关的方法、设备、装置、计算平台和物品。论述的技术和系统可提供一种用于将视频编解码器系数的规范和实现数据路径交织解耦合的转换缓冲器以及要结合这种转换缓冲器使用以改善编码器和/或解码器的吞吐量的交织技术方案。例如，转换缓冲器和关联的技术可将不同颜色的系数在视频编解码器的实际比特流中如何被交织与相同系数在这种视频编解码器的实现中的交织解耦合。论述的技术可用在任何适当的编码情境中，例如用在基于H.264/MPEG-4高级视频编码(AVC)标准的编解码器、基于高效率视频编码(H.265/HEVC)标准的编解码器、基于诸如AV1标准之类的开放媒体联盟(AOM)标准的编解码器、基于诸如MPEG-4标准之类的MPEG标准的编解码器、基于VP9标准的编解码器或者经由编码器或解码器实现的任何其他适当的编解码器或者其扩展或简档(profile)的实现中。如本文进一步论述的，在一个或多个视频编解码器的实现中可提供一个或多个缓冲器，以使得不同颜色的系数在这样的一个或多个视频编解码器的实际比特流中被交织的顺序可不同于相同系数在这样的一个或多个视频编解码器处理流水线的一些部分中的交织。处理流水线中的不同顺序在生成或处理符合这样的一个或多个视频编解码器规范的一个或多个比特流的同时提供了改善的视频吞吐量和性能。因此，论述的技术在生成或处理不要求对其的规范改变的基于标准的比特流的同时改善了吞吐量和性能。例如，转换缓冲器可被实现为改变亮度(Y)和色度(Cb和Cr或U和V)系数被交织的顺序以降低内预测环延迟的影响并且增大重建像素处理的吞吐量。在下文中，对于在像素域执行的内预测进行论述(例如，像在HEVC及其扩展和简档、VP9及其扩展和简档、AV1及其扩展和简档中那样)。然而，接下来的技术和系统可被应用到在变换域执行内预测的编解码器(例如，MPEG-4第1部分)。此外，可在编码器和/或解码器处提供这些技术来改善吞吐量和效率。图1是根据本公开的至少一些实现方式布置的示例预测单元101和相应的变换单元的图示。如图1中所示，预测单元(PU)101可具有四个相应的亮度变换单元(TU)111、112、113、114和两个相应的色度本文档来自技高网...

【技术保护点】
1.一种用于视频编码的由计算机实现的方法，包括：接收按规范编码顺序的与视频帧的编码单元相对应的量化残差变换系数的多个块以用于编码，所述规范编码顺序包括两个或更多个紧邻的亮度块、其后是一个或多个色度通道一块、其后是一个或多个色度通道二块；把量化残差变换系数的所述多个块从所述规范编码顺序交织成处理顺序，所述处理顺序至少包括所述两个或更多个亮度块中的第一亮度块、其后紧跟所述一个或多个色度通道一块中的第一色度通道一块；并且按所述处理顺序对量化系数的所述多个块执行逆量化、逆变换和内预测操作以生成与量化残差变换系数的所述多个块相对应的重建编码单元。

【技术特征摘要】
【国外来华专利技术】2016.11.10 US 15/348,7831.一种用于视频编码的由计算机实现的方法，包括：接收按规范编码顺序的与视频帧的编码单元相对应的量化残差变换系数的多个块以用于编码，所述规范编码顺序包括两个或更多个紧邻的亮度块、其后是一个或多个色度通道一块、其后是一个或多个色度通道二块；把量化残差变换系数的所述多个块从所述规范编码顺序交织成处理顺序，所述处理顺序至少包括所述两个或更多个亮度块中的第一亮度块、其后紧跟所述一个或多个色度通道一块中的第一色度通道一块；并且按所述处理顺序对量化系数的所述多个块执行逆量化、逆变换和内预测操作以生成与量化残差变换系数的所述多个块相对应的重建编码单元。2.如权利要求1所述的方法，其中，所述处理顺序包括：所述第一亮度块、其后紧跟所述第一色度通道一块、其后紧跟所述一个或多个色度通道二块中的第一色度通道二块、其后紧跟所述两个或更多个亮度块中的第二亮度块。3.如权利要求2所述的方法，其中，所述第一亮度块对应于所述编码单元的空间上左上区域，并且所述第二亮度块对应于所述编码单元的紧挨在所述左上区域右侧的第二区域。4.如权利要求1所述的方法，其中，所述处理顺序包括：所述第一亮度块、其后紧跟所述第一色度通道一块、其后紧跟所述两个或更多个亮度块中的第二亮度块、其后紧跟所述一个或多个色度通道二块中的第一色度通道二块、其后紧跟所述两个或更多个亮度块中的第三亮度块。5.如权利要求4所述的方法，其中，所述第一亮度块对应于所述编码单元的空间上左上区域，所述第二亮度块对应于所述编码单元的紧挨在所述左上区域右侧的第二区域，并且所述第三亮度块对应于所述编码单元的紧挨在所述左上区域下方的第三区域。6.如权利要求1所述的方法，其中，交织所述多个块包括：提供由下述项组成的连续群组：第一单个亮度块、其后紧跟单个色度通道一块、其后紧跟第二单个亮度块、其后紧跟单个色度通道二块，直到色度通道一块和色度通道二块被耗尽为止；并且随后提供剩余亮度块的连续群组。7.如权利要求1所述的方法，其中，交织所述多个块包括：提供由下述项组成的一个或多个连续群组：单个亮度块、其后紧跟单个色度通道一块、其后紧跟色度通道二块，直到色度通道一块和色度通道二块被耗尽为止；并且随后提供剩余亮度块的连续群组。8.如权利要求1所述的方法，其中，所述处理顺序包括对于所述编码单元在空间上按空间波阵面顺序扫描并且基于亮度块之间的相邻依从性排序的亮度块。9.如权利要求1所述的方法，其中，所述处理顺序包括各自基于多个空间上左下朝向的扫描来排序的亮度块、色度通道一块和色度通道二块，其中所述多个左下朝向的扫描中的第一扫描开始于所述编码单元的左上块并且每个随后的左下朝向的扫描开始于每个先前左下朝向的扫描右侧的块。10.如权利要求1所述的方法，其中，所述处理顺序包括基于亮度块的空间扫描来排序的亮度块，所述空间扫描至少包括在所述编码单元的左上亮度块处的第一块，紧挨在所述第一块右侧的第二块，紧挨在所述第一块下方的第三块，紧挨在所述第二块右侧的第四块以及紧挨在所述第三块右侧的第五块。11.如权利要求1所述的方法，其中，所述处理顺序包括基于亮度块的空间扫描来排序的亮度块，所述空间扫描至少包括在所述编码单元的左上亮度块处的第一块，紧挨在所述第一块右侧的第二块，紧挨在所述第二块右侧的第三块，紧挨在所述第一块下方的第四块以及紧挨在所述第四块右侧的第五块。12.一种用于视频编码的系统，包括：解耦合缓冲器，用于存储与视频帧的编码单元相对应的量化残差变换系数的多个块；以及耦合到所述解耦合缓冲器的处理器，所述处理器用于：将量化残差变换系数的所述多个块按规范编码顺序存储在所述解耦合缓冲器中，所述规范编码顺序包括两个或更多个紧邻的亮度块、其后是一个或多个色度通道一块、其后是一个或多个色度通道二块；按交织的处理顺序从所述解耦合缓冲器取回所述多个块，所述处理顺序至少包括所述两个或更多个亮度块中的第一亮度块、其后紧跟所述一个或多个色度通道一块中的第一色度通道一块；并且按所述处理顺序对量化系数的所述多个块执行逆量化、逆变换和内预测操作以生成与量化残差变换系数的所述多个块相对应的重建编码单元。13.如权利要求12所述的系统，其中，所述处理顺序包括：所述第一亮度块、其后紧跟所述第一色度通道一块、其后紧跟所述一个或多个色度通道二块中的第一色度通道二块、其后紧跟所述两个或更多个亮度块中的第二亮度块，并且其中，所述第一亮度块对应于所述编码单元的空间上左上区域并且所述第二亮度块对应于所述编码单元的紧挨在所述左上区域右侧的第二区域。14.如权利要求12所述的系统，其中，所述处理顺序包括：所述第一亮度块、其后紧跟所述第一色度通道一块、其后紧跟所述两个或更多个亮度块中的第二亮度块、其后紧跟所述一个或多个色度通道二块中的第一色度通道二块、其后紧跟所述两个或更多个亮度块中的第三亮度块，并且其中，所述第一亮度块对应于所述编码单元的空间上左上区域，所述第二亮度块对应于所述编码单元的紧挨在所述左上区域右侧的第二区域，并且所述第三亮度块对应于所述编码单元的紧挨在所述左上区域下方的第三区域。15.如权利要求12所述的系统，其中，所述处理器按交织的处理顺序从所述解耦合缓冲器取回所述多个块包括：所述处理器取回由下述项组成的连续群组：第一单个亮度块、其后紧跟单个色度通道一块、其后紧跟第二单个亮度块、其后紧跟单个色度通道二块，直到色度通道一块和色度通道二块被耗尽为止，并且随后取回剩余亮度块的连续群组。16.如权利要求12所述的系统，其中，所述处理器按交织的处理顺序从所述解耦合缓冲器取回所述多个块包括所述处理器：取回由下述项组成的一个或多个连续群组：单个亮度块、其后紧跟单个色度通道一块、其后紧跟色度通道二块，直到色度通道一块和色度通道二块被耗尽为止，并且随后取回剩余亮度块的连续群组。17.如权利要求12所述的系统，其中，所述处理顺序包括各自基于多个空间上左下朝向的扫描来排序的亮度块、色度通道一块和色度通道二块，其中...

【专利技术属性】
技术研发人员：唐文，约莱·莫卡加塔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US