帧内预测和残差编解码制造技术

技术编号:31081456 阅读:12 留言:0更新日期:2021-12-01 12:01
一种视频处理方法,包括:对当前视频块或从当前视频块划分的子块执行预测;生成与当前视频块或子块相对应的残差样点;获得量化的残差样点;以及对量化的残差样点进行编解码以对当前视频块执行转换;第一一维(1

【技术实现步骤摘要】
【国外来华专利技术】帧内预测和残差编解码
[0001]根据巴黎公约适用的专利法和/或规则,本申请旨在及时要求2019年4月23日提交的国际专利申请PCT/CN2019/083850的优先权和利益。其全部公开内容作为本申请公开内容的一部分通过引用而并入。


[0002]该专利文档涉及视频编解码技术、设备和系统。

技术介绍

[0003]尽管视频压缩技术有所进步,但数字视频在互联网和其他数字通信网络中仍占据最大的带宽使用。随着能够接收和显示视频的联网用户设备的数量增加,预计数字视频使用的带宽需求将继续增长。

技术实现思路

[0004]本文档描述了用于执行基于帧内预测的对视频或图像进行解码或编码的各种实施例和技术,其中使用残差的变换和/或预测来执行残差编解码。
[0005]在一个示例方面,公开了一种处理视频的方法。该方法包括:对当前视频块或从当前视频块划分的子块执行预测;生成与当前视频块或子块相对应的残差样点;获得量化的残差样点;以及对量化的残差样点进行编解码以对当前视频块执行转换;其中,第一一维(1

d)变换在残差样点被量化之前被应用于残差样点,和/或第二1

d变换被应用于量化的残差样点。
[0006]在另一示例方面,公开了一种视频处理的方法。该方法包括:响应于第一条件,使能将BDPCM(block differential pulse

code modulation,块差分脉冲编解码调制)方案应用于以特定帧内预测编解码的当前视频块;响应于第二条件,使能应用量化的残差域BDPCM(residual domain BDPCM,RBDPCM)方案来预测与当前视频块相对应的量化的残差样点,以及执行当前视频块和当前视频块的比特流表示之间的转换。
[0007]在另一示例方面,公开了一种视频处理的方法。该方法包括:以帧内预测模式预测当前视频块;生成与当前视频块相对应的残差样点;对残差样点执行量化,其中,不同的量化参数(quantization parameter,QP)被应用于不同的残差样点;以及执行当前视频块和当前视频块的比特流表示之间的转换。
[0008]在又一示例方面,公开了一种视频处理的方法。该方法包括:以特定预测模式预测当前视频块;生成与当前视频块相对应的残差样点;在对残差样点执行量化和变换中的至少一个之前,修改在特定位置的残差样点;以及执行当前视频块和当前视频块的比特流表示之间的转换。
[0009]在再一示例方面,公开了一种用于视频处理的方法。该方法包括:对当前视频块执行帧内预测;生成与当前视频块相对应的残差样点;以及以变换跳过模式对残差样点进行编解码,其中残差样点是通过依赖性量化或网格编解码量化被量化的。
[0010]在另一示例方面,公开了一种视频处理的方法。该方法包括:对当前视频块执行帧内预测;生成与当前视频块相对应的残差样点;以及以变换跳过模式对残差样点进行编解码,其中残差样点在一个方向上旋转特定角度,使得残差样点能够以与变换模式中相同的顺序被扫描。
[0011]在又一示例方面,公开了另一种视频处理的方法。该方法包括:对当前视频块执行帧内预测;生成与当前视频块相对应的残差样点;以及以变换模式对残差样点进行编解码,其中在变换模式中使用的变换核响应于一指示而翻转,使得变换系数能够以与变换跳过模式中相同的顺序被扫描。
[0012]在又一示例方面,公开了一种视频处理装置。视频处理装置被配置为实施本文描述的一种或多种方法。
[0013]在又一方面,公开了一种计算机可读程序介质。用于实施一个或多个上述方法的代码存储在计算机可读程序介质上。
[0014]本文档中描述了这些和其他方面。
附图说明
[0015]图1示出了编码器框图的示例。
[0016]图2示出了67种帧内预测模式的示例。
[0017]图3A

图3B示出了用于广角帧内预测参考样点的示例。
[0018]图4是在方向超过45度的情况下的不连续性问题的示例图示。
[0019]图5A

图5D示出了由应用于对角和相邻角度帧内模式的PDPC所使用的样点的示例图示。
[0020]图6是4
×
8和8
×
4块的划分示例。
[0021]图7是除了4
×
8、8
×
4和4
×
4之外的所有块的划分示例。
[0022]图8将4
×
8样点块划分为两个独立可解码的区域。
[0023]图9示出了利用垂直预测量处理像素的行以最大化4
×
N块的吞吐量的示例顺序。
[0024]图10是提出的对BDPCM/RBDPCM进行改进的示例。
[0025]图11是将依赖性量化应用于DPCM/BDPCM/RBDPCM的示例。
[0026]图12是用于实施本文档中描述的技术的示例硬件平台的框图。
[0027]图13是视频处理的示例方法的流程图。
[0028]图14是视频处理的另一示例方法的流程图。
[0029]图15是视频处理的另一示例方法的流程图。
[0030]图16是视频处理的另一示例方法的流程图。
[0031]图17是视频处理的另一示例方法的流程图。
[0032]图18是视频处理的另一示例方法的流程图。
[0033]图19是视频处理的另一示例方法的流程图。
具体实施方式
[0034]为了便于理解,在本文档中使用了章节标题,并且不将章节中公开的实施例限制为仅该章节。此外,尽管参考多功能视频编解码或其他特定视频编解码器描述了某些实施
例,但是所公开的技术也适用于其他视频编解码技术。此外,虽然一些实施例详细描述了视频编解码步骤,但是应当理解,取消编解码的对应的解码步骤将由解码器实现。本文档中使用的术语“视频处理”包括视频编解码或压缩、视频解码或解压缩或构造,以及改变视频比特率或编解码格式的视频转码。
[0035]1.概述
[0036]本专利文档涉及视频编解码技术。具体地,它涉及视频编解码中的帧内预测和残差编解码。它可以应用于现有的视频编解码标准,如HEVC,或即将要定案的标准(例如,多功能视频编解码(Versatile Video Coding,VVC))。它也可以应用于未来的视频编解码标准或视频编解码器。
[0037]2.背景
[0038]视频编解码标准主要是通过熟知的ITU

T和ISO/IEC标准的发展而演变的。ITU

T制定了H.261和H.263,ISO/IEC制定了MPEG

1和MPEG

4可视化,并且这两个组织联合制定了H.262/MPEG

2视频和H.264/MPEG

4高级视频编解码(Advanced Vi本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频处理的方法,包括:对当前视频块或从所述当前视频块划分的子块执行预测;生成与所述当前视频块或所述子块相对应的残差样点;获得量化的残差样点;以及对所述量化的残差样点进行编解码以对所述当前视频块执行转换;其中,第一一维(1

d)变换在所述残差样点被量化之前被应用于所述残差样点,和/或第二1

d变换被应用于所述量化的残差样点。2.根据权利要求1所述的方法,其中,所述当前视频块或所述子块是利用块差分脉冲编解码调制(BDPCM)方案来预测的。3.根据权利要求1或2所述的方法,还包括:应用量化的残差域BDPCM(RBDPCM)方案来预测所述量化的残差样点。4.根据权利要求2或3所述的方法,其中,在第一方向上对所述残差样点应用第一1

d变换以生成变换系数。5.根据权利要求4所述的方法,其中,所述第一方向取决于所述残差样点被编解码的方向。6.根据权利要求5所述的方法,其中,如果所述残差样点是逐行编解码的,则第一1

d变换被应用于所述残差样点的每一行。7.根据权利要求5所述的方法,其中,如果所述残差样点是逐列编解码的,则第一1

d变换被应用于所述残差样点的每一列。8.如权利要求4所述的方法,其中,所述第一方向取决于所述残差样点被预测的方向。9.根据权利要求8所述的方法,其中,如果在垂直方向上预测所述残差样点,则第一1

d变换被应用于所述残差样点的每一行。10.根据权利要求8所述的方法,其中,如果在水平方向上预测所述残差样点,则第一1

d变换被应用于所述残差样点的每一列。11.根据权利要求5或7所述的方法,其中,所述第一1

d变换仅被应用于所述残差样点的部分行或列。12.根据权利要求4

11中任一项所述的方法,其中,在应用第一1

d变换之前,所述残差样点的特定行或列被强制为零。13.根据权利要求4

11中的任一项所述的方法,其中,在应用第一1

d变换之后,特定的变换系数被强制为零。14.根据权利要求3所述的方法,其中,在以所述RBDPCM方案预测所述残差样点之后,第二1

d变换在第二方向上被应用于所述量化的残差样点。15.根据权利要求14所述的方法,其中,所述第二方向取决于以所述RBDPCM方案预测所述残差样点的方向。16.根据权利要求15所述的方法,其中,如果在垂直方向上预测所述残差样点,则第二1

d变换被应用于所述残差样点的每一列。17.根据权利要求15所述的方法,其中,如果在水平方向上预测所述残差样点,则第二1

d变换被应用于所述残差样点的每一行。18.根据权利要求15所述的方法,其中,所述第二1

d变换仅被应用于残差样点的部分
行或列。19.根据权利要求18所述的方法,其中,所述第二1

d变换被应用于至少一个残差样点子集,其中所述至少一个残差样点子集包括特定方向上的一排以上的残差样点。20.根据权利要求19所述的方法,其中,特定方向上的一排以上的残差样点包括一行以上的残差样点或一列以上的残差样点。21.根据权利要求19所述的方法,其中,所述至少一个残差样点子集包括第一残差样点子集和第二残差样点子集,并且根据第一残差样点子集的变换系数或量化的变换系数来预测第二残差样点子集的变换系数。22.根据权利要求21所述的方法,其中,所述第二1

d变换包括哈达玛变换。23.根据权利要求21所述的方法,其中,根据第一子集的变换系数的平均值来预测第二子集的变换系数的平均值。24.根据权利要求19至23中任一项所述的方法,还包括:将第一量化应用于由第二1

d变换生成的变换系数。25.根据权利要求24所述的方法,其中,如果要编解码的变换系数是从先前的变换系数预测的,则要编解码的变换系数和先前的变换系数之间的差在第一量化中被计算和量化。26.根据权利要求24所述的方法,其中,不用于预测其他变换系数的变换系数在第一量化中被量化。27.根据权利要求24所述的方法,还包括:在执行第二1

d变换之前,将第二量化应用于所述残差样点。28.根据权利要求1

27中任一项所述的方法,其中,仅允许执行第一1

d变换和第二1

d变换中的一个。29.根据权利要求1

28中任一项所述的方法,其中,第一1

d变换和第二1

d变换中的至少一个包括多变换集(MTS)模式下的允许的变换中的至少一个。30.根据权利要求29所述的方法,其中,所允许的变换包括离散余弦变换(DCT)

II和离散正弦变换(DST)

VII以及DCT

VIII。31.根据权利要求1

28中任一项所述的方法,其中,第一1

d变换和第二1

d变换中的至少一个包括简化的二次变换(RST)模式下的允许的变换中的至少一个。32.根据权利要求31所述的方法,其中,所允许的变换包括不可分离的变换。33.根据权利要求1

32所述的方法,其中,在第一1

d变换和第二1

d变换中的至少一个中使用的变换核被显式地信令通知或隐式地推导。34.根据权利要求33所述的方法,其中,所述变换核在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、条带头、片组头、片、编解码树单元(CTU)和编解码单元(CU)级别中的至少一个中被信令通知。35.根据权利要求33所述的方法,其中,所述变换核是固定的或者适应于所述当前视频块的特性。36.根据权利要求35所述的方法,其中,所述当前视频块的特性包括覆盖所述当前视频块的条带、图片或CU的类型、所述当前视频块的量化参数(QP)、编解码信息和维度信息、以及帧内预测模式中的至少一个。37.根据权利要求1

36中任一项所述的方法,其中,所述残差样点的残差预测方向不同
于所述当前视频块的帧内预测方向。38.根据权利要求1

36中任一项所述的方法,其中,所述残差样点的残差预测方向与所述当前视频块的帧内预测方向相同。39.根据权利要求37或38所述的方法,其中,所述残差预测方向包括水平方向和垂直方向。40.根据权利要求39所述的方法,其中,所述残差预测方向还包括45度对角方向和135度对角方向中的至少一个。41.根据权利要求37或38所述的方法,其中,所述残差预测方向取决于帧内预测模式。42.根据权利要求37或38所述的方法,其中,所述残差预测方向被显式地信令通知或隐式地推导。43.根据权利要求42所述的方法,其中,所述残差预测方向适应于当前视频块的维度、帧内预测方向和允许的残差预测方向中的至少一个。44.根据权利要求43所述的方法,其中,所述残差预测方向最接近当前视频块的帧内预测方向。45.根据权利要求37或38所述的方法,其中,如果参考残差样点不可用于预测所述残差预测方向上的后续残差样点,则使用插值或填充默认值来生成所述参考残差样点。46.根据权利要求45所述的方法,其中,所述默认值为零。47.根据权利要求45所述的方法,其中,默认值是针对当前视频块推导出的。48.一种视频处理方法,包括:响应于第一条件,使能将BDPCM方案应用于以特定帧内预测编解码的当前视频块;响应于第二条件,使能应用量化的残差域BDPCM(RBDPCM)方案来预测与所述当前视频块相对应的量化的残差样点,以及执行所述当前视频块和所述当前视频块的比特流表示之间的转换。49.根据权利要求48所述的方法,其中,所述特定帧内预测包括对于当前视频块所允许的所有或部分帧内预测模式。50.根据权利要求48所述的方法,其中,所述残差样点是用依赖性量化(DQ)或网格编解码量化(TCQ)被量化的。51.根据权利要求50所述的方法,其中,在残差样点的子集被量化之后,量化的残差样点子集被去量化,并且被用于预测后续残差样点子集。52.如权利要求51所述的方法,其中,所述残差样点子集包括至少一行或一列的残差样点,并且所述后续残差样点子集包括一个或多个后续行或列的残差样点。53.根据权利要求52所述的方法,其中,对去量化的至少一行或一列的残差样点进行求和,并用于预测一个或多个后续行或列的残差样点。54.根据权利要求52所述的方法,其中,在量化所述残差样点的子集之后,DQ或TCQ的结束状态能够被用作对后续残差样点子集进行量化的开始状态。55.根据权利要求48所述的方法,其中,所述第一条件和所述第二条件包括要应用于所述当前视频块的编解码模式、要应用于所述残差样点的变换类型、在所述变换中使用的默认变换核、所述当前视频块的编解码信息、邻近块的编解码信息中的一个。56.根据权利要求55所述的方法,其中,如果所述编解码模式属于多参考行预测模式、
仿射帧内预测模式、帧内子块分割(ISP)模式和组合帧内帧间预测(CIIP)模式中的一种,则所述BDPCM方案和/或RBDPCM方案被禁用。57.根据权利要求55所述的方法,其中,如果所述变换类型属于二次变换、简化的二次变换、旋转变换、不可分离的二次变换和基于子块的变换中的一种,则BDPCM方案和/或RBDPCM方案被禁用。58.根据权利要求55所述的方法,其中,如果没有利用默认变换核,则所述BDPCM方案和/或RBDPCM方案被禁用。59.根据权利要求58所述的方法,其中,所述默认变换核包括DCI

II。60.根据权利要求56

59中任一项所述的方法,其中,如果所述BDPCM方案和/或RBDPCM方案被禁用,则指示BDPCM和/或RBDPCM的语法元素不被信令通知。61.根据权利要求56

59中任一项所述的方法,其中,如果所述BDPCM方案和/或RBDPCM方案被启用,则指示与所述BDPCM方案和/或RBDPCM方案不兼容的编解码模式的语法元素不被信令通知。62.一种视频处理方法,包括:以帧内预...

【专利技术属性】
技术研发人员:刘鸿彬许继征张莉张凯王悦
申请(专利权)人:字节跳动有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1