最大变换大小控制制造技术

一种对视频序列的解码执行最大变换大小控制的方法和装置，包括：解码器识别与所述视频序列相关联的高级语法元素。基于识别与所述视频序列相关联的所述高级语法元素，确定与所述视频序列相关联的最大变换大小。基于确定与所述视频序列相关联的所述最大变换大小，使用所述最大变换大小对所述视频序列进行解码。基于使用所述最大变换大小对所述视频序列进行解码，传输所述视频序列。传输所述视频序列。传输所述视频序列。

【技术实现步骤摘要】
【国外来华专利技术】最大变换大小控制
[0001]相关申请的交叉引用
[0002]本申请要求于2020年2月28日提交的、申请号为16/804,547、名称为“最大变换大小控制”的美国专利申请的优先权，其要求于2019年3月4日提交的、申请号为62/813,665、名称为“最大变换大小控制”的美国申请的优先权。在先申请的全部公开内容通过引用整体并入本文。


[0003]本公开是针对超越HEVC(高效视频编解码)的下一代视频编解码技术(例如通用视频编解码(VVC))而提出的。更具体地，提出了一种用于控制最大变换大小的方案，此外，还讨论了最大变换大小和变换分区方案之间的交互(例如，子块变换(SBT)和帧内子分区(ISP))。

技术介绍

[0004]ITU
‑
T VCEG(国际电信联盟(ITU)电信标准化部门(ITU
‑
T)的视频编解码专家组(VCEG))(Q6/16)和ISO/IEC MPEG(JTC 1/SC 29/WG 11)(国际标准化组织(ISO)和国际电工委员会(IEC)联合技术委员会ISO/IEC JTC 1的标准化小组委员会)于2013年(第1版)、2014年(第2版)、2015年(第3版)和2016年(第4版)发布了H.265/HEVC(高效视频编解码)标准。从那时起，他们一直在研究对于压缩能力明显超过HEVC标准(包括其扩展)的未来视频编解码技术标准化的潜在需求。2017年10月，他们发布了针对能力超出HEVC(CfP)的视频压缩提案的联合征集。截至2018年2月15日，分别提交了针对标准动态范围(SDR)的共22个CfP回复、针对高动态范围(HDR)的12个CfP回复和针对360种视频类别的12个CfP回复。2018年4月，在122运动图象专家组(MPEG)/第十次联合视频开发组
‑
联合视频专家组(JVET)会议上，对所有收到的CfP回复进行了评估。通过仔细的评估，JVET正式启动了超越HEVC的下一代视频编解码的标准化，即所谓的通用视频编解码(VVC)。VTM的当前版本(VVC测试模型)，即VTM4。

技术实现思路

[0005]根据本公开的一个方面，一种对视频序列的解码执行最大变换大小控制的方法包括：解码器识别与所述视频序列相关联的高级语法元素；基于识别与所述视频序列相关联的所述高级语法元素，所述解码器确定与所述视频序列相关联的最大变换大小；基于确定与所述视频序列相关联的所述最大变换大小，所述解码器使用所述最大变换大小对所述视频序列进行解码；以及基于使用所述最大变换大小对所述视频序列进行解码，所述解码器传输所述视频序列。
[0006]根据本公开的一个方面，一种对视频序列的解码执行最大变换大小控制的设备包括：至少一个存储器，被配置为存储程序代码；至少一个处理器，被配置为读取所述程序代码，并按照所述程序代码的指示进行操作，所述程序代码包括：识别代码，被配置为使所述至少一个处理器识别与所述视频序列相关联的高级语法元素；确定代码，被配置为使所述
至少一个处理器基于识别与所述视频序列相关联的所述高级语法元素，确定与所述视频序列相关联的最大变换大小；解码代码，被配置为使所述至少一个处理器基于确定与所述视频序列相关联的所述最大变换大小，使用所述最大变换大小对所述视频序列进行解码；以及传输代码，被配置为使所述至少一个处理器基于使用所述最大变换大小对所述视频序列进行解码，传输所述视频序列。
[0007]根据本公开的一个方面，一种非易失性计算机可读介质存储指令，所述指令包括一个或多个指令，当所述一个或多个指令由对视频序列的解码执行最大变换大小控制的设备的一个或多个处理器执行时，使得所述一个或多个处理器：识别与所述视频序列相关联的高级语法元素；基于识别与所述视频序列相关联的所述高级语法元素，确定与所述视频序列相关联的最大变换大小；基于确定与所述视频序列相关联的所述最大变换大小，使用所述最大变换大小对所述视频序列进行解码；以及基于使用所述最大变换大小对所述视频序列进行解码，传输所述视频序列。
附图说明
[0008]根据以下详细描述和附图，所公开的主题的其他特征、性质和各种优点将进一步明确，其中：
[0009]图1是对视频序列的编码或解码执行最大变换大小控制的示例过程的流程图。
[0010]图2是根据本公开实施例的通信系统的简化框图。
[0011]图3是视频编码器和解码器在流式传输环境中的放置的示意图。
[0012]图4是根据本公开实施例的视频解码器的功能框图。
[0013]图5是根据本公开实施例的视频编码器的功能框图。
[0014]图6是根据实施例的计算机系统的示意图。
[0015]要解决的问题
[0016]在最新的VVC草案中，最大TU大小是固定数字64，这意味着没有能力对最大TU大小执行控制。然而，由于最大TU大小对编码器实现的硬件复杂度有影响(例如，流水线(pipeline)中间缓冲器大小、乘法器的数量等)，因此可能需要控制VVC中的最大TU大小。
[0017]在最新的VVC草案中，已经包括了SBT和ISP，并且需要处理SBT、ISP和最大TU大小之间的交互。例如，在SBT中，发信号通知SPS标志sps_sbt_max_size_64_flag，以指示最大SBT大小是32长度还是64长度。当sps_sbt_max_size_64_flag为真且最大TU大小为32点时，当前VVC草案无法处理，并且可能触发编码器崩溃。
[0018]当前，对于所有CU大小都允许使用ISP模式，然而，当最大变换大小设置为小于64时，执行隐式变换分割还是使用具有信令的ISP执行显式变换分割就产生了冲突。例如，当最大变换大小为16时，对于64
×
16TU，在没有ISP的情况下，它应该被隐式地分割成四个16
×
16TU，然而，在有ISP的情况下，它可以使用垂直ISP分割来进行分区，这会导致相同的四个16
×
16TU，但是使用信令。
具体实施方式
[0019]在HEVC中，使用表示为编码树的四叉树结构将编码树单元(CTU)分割成多个编码单元(CU)，以适应各种局部特征。在CU级别决定是使用帧间图片(时间)预测还是使用帧内
图片(空间)预测来编码图片区域。根据预测单元(PU)分割类型，每个CU可以进一步被分割成一个、两个或四个PU。在一个PU内，应用相同的预测过程，并且基于PU将相关信息发送到解码器。通过应用基于PU分割类型的预测过程而获得残差块之后，可以根据与CU的编码树类似的另一种四叉树结构，将CU划分为多个变换单元(TU)。HEVC结构的关键特征之一是它具有多个分区概念，包括CU、PU和TU。
[0020]四叉树加二叉树(QTBT)结构消除了多个分区类型的概念，即，它消除了CU、PU和TU概念的分离，并且支持更灵活的CU分区形状。在QTBT块结构中，CU可以具有正方形或矩形形状。如图1所示，首先采用四叉树结构对本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对视频序列的解码执行最大变换大小控制的方法，其特征在于，所述方法包括：解码器识别与所述视频序列相关联的高级语法元素；基于识别与所述视频序列相关联的所述高级语法元素，所述解码器确定与所述视频序列相关联的最大变换大小；基于确定与所述视频序列相关联的所述最大变换大小，所述解码器使用所述最大变换大小对所述视频序列进行解码；以及基于使用所述最大变换大小对所述视频序列进行解码，所述解码器传输所述视频序列。2.根据权利要求1所述的方法，其特征在于，所述高级语法元素是视频参数集VPS。3.根据权利要求1所述的方法，其特征在于，所述高级语法元素是序列参数集SPS。4.根据权利要求1所述的方法，其特征在于，所述高级语法元素是图片参数集PPS。5.根据权利要求1所述的方法，其特征在于，所述高级语法元素是切片头。6.根据权利要求1所述的方法，其特征在于，所述高级语法元素是图块头。7.根据权利要求1所述的方法，其特征在于，所述高级语法元素是图块组头。8.根据权利要求1所述的方法，其特征在于，所述高级语法元素是编码树单元CTU头。9.根据权利要求1所述的方法，其特征在于，所述最大变换大小对应于最大变换宽度和高度。10.如权利要求1所述的方法，其特征在于，所述最大变换大小对应于最大变换单元区域。11.一种对视频序列的解码执行最大变换大小控制的设备，其特征在于，包括：至少一个存储器，被配置为存储程序代码；至少一个处理器，被配置为读取所述程序代码，并按照所述程序代码的指示进行操作，所述程序代码包括：识别代码，被配置为使所述至少一个处理器识别与所述视频序列相关联的高级语法元素；确定代码，被配置为使所述至少一个处理器基于识别与所述视频序列相关联的所述高级语法元素...

【专利技术属性】
技术研发人员：赵欣，李翔，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：