联合分量二次变换制造技术

一种使用至少一个处理器对编码后的视频比特流进行解码的方法包括：获得编码后的视频比特流，该编码后的视频比特流包括编码后的颜色分量；对编码后的颜色分量进行熵解析；对颜色分量进行去量化并获得颜色分量的变换系数；对颜色分量的变换系数应用联合分量二次变换(JCST)，从而生成JCST输出；对JCST输出执行反向变换，从而获得颜色分量的残差分量；以及基于颜色分量的残差分量对编码后的视频比特流进行解码。进行解码。进行解码。

【技术实现步骤摘要】
【国外来华专利技术】联合分量二次变换
相关申请的交叉引用
[0001]本申请要求于2020年5月5日提交的美国临时专利申请第63/020,280号以及于2020年10月16日提交的美国专利申请第17/072,606号的优先权，上述专利申请的全部内容并入本文中。


[0002]本公开内容总体上涉及数据处理领域，并且更具体地涉及视频编码和解码。甚至更具体地，本公开内容的实施方式涉及用于对来自多个颜色分量的残差例如来自两个色度分量的残差进行编码的联合分量二次变换(joint components secondary transform，JCST)方案。

技术介绍

[0003]AOMedia视频1(AOMedia Video 1，AV1)是设计用于通过因特网进行视频传输的开放视频编码格式。作为VP9的后继者，AV1由开放媒体联盟(Alliance for Open Media，AOMedia)开发，该联盟成立于2015年，其包括半导体公司、视频点播提供商、视频内容生产商、软件开发公司和网络浏览器供应商。AV1项目的许多分项源自AOMedia成员先前的研究工作。个人贡献者在多年前启动了实验性技术平台。例如，Xiph's/Mozilla的Daala于2010年发布了代码；谷歌的实验性VP9进化项目VP10于2014年9月12日公布；以及思科的Thor于2015年8月11日发布。
[0004]在VP9代码库的基础上，AV1结合了另外的技术，这些技术中的一些是以这些实验格式开发的。AV1参考编解码器的第一版本(0.1.0)于2016年4月7日发布。AOMedia于2018年3月28日宣布发布AV1比特流规范，以及基于参考软件的编码器和解码器。2018年6月25日，发布了AV1规范的验证版本1.0.0。2019年1月8日，AV1规范的验证版本1.0.0与勘误表1一起发布。AV1比特流规范包括参考视频编解码器。

技术实现思路

[0005]在AVl中，为色度通道生成的预测残差信号例如Cb和Cr彼此高度相关。因此，可以通过减少Cb与Cr预测残差之间的统计冗余来进一步改进残差编码。
[0006]本公开内容的实施方式提供了上述问题的解决方案。
[0007]例如，一种使用至少一个处理器对编码后的视频比特流进行解码的方法，包括：获得编码后的视频比特流，该编码后的视频比特流包括编码后的颜色分量；对编码后的颜色分量进行熵解析；对颜色分量进行去量化并获得颜色分量的变换系数；对颜色分量的变换系数应用联合分量二次变换(JCST)，从而生成JCST输出；对JCST输出执行反向变换，从而获得颜色分量的残差分量；以及基于颜色分量的残差分量对所述编码后的视频比特流进行解码。
附图说明
[0008]图1是由局部模板覆盖的编码系数的示意性图示。
[0009]图2是根据实施方式的通信系统的框图。
[0010]图3是根据实施方式的基于图的点云压缩(graph
‑
based point cloud compression，G
‑
PCC)压缩器和G
‑
PCC解压缩器在环境中的放置方式的图。
[0011]图4是根据实施方式的编码器/解码器方案的示意性图示。
[0012]图5是根据实施方式的编码器/解码器方案的示意性图示。
[0013]图6是根据实施方式的来自两个4
×
2块的Cb和Cr变换系数对的示意性图示。
[0014]图7是根据实施方式的应用于两个4
×
2Cb和Cr块上的JCST的示意性图示。
[0015]图8是根据实施方式的使用四点变换的JCST的示意性图示。
[0016]图9是示出根据实施方式的解码方法的流程图。
[0017]图10是适于实现各实施方式的计算机系统的图。
具体实施方式
[0018]本文中描述的实施方式提供了用于对图像数据进行编码和/或解码的方法和装置。[以AV1进行残差编码][0019]对于每个给定的变换单元，AV1系数编码器从对跳过符号进行编码开始，接下来是对变换核类型和所有非零系数的块结束(end
‑
of
‑
block，EOB)位置进行编码(在不会跳过变换编码时)。然后每个系数值可以映射至多个级别图和符号，其中符号平面覆盖了系数的符号和三个级别平面，每个系数值可以对应于不同的系数幅度范围，即较低级别平面、中级别平面和较高级别平面。较低级别平面对应于0至2的范围，中级别平面对应于3至14的范围，以及较高级别平面对应于15及大于15的范围。
[0020]在对EOB位置进行编码之后，将较低级别平面和中级别平面按反向扫描顺序一起编码，较低级别平面指示系数幅度是否在0与2之间，以及中级别平面指示该范围是否在3与14之间。然后将符号平面和较高级别平面按前向扫描顺序一起编码，并且较高级别平面指示具有幅度大于14的残差值。剩余部分使用Exp
‑
Golomb码进行熵编码。AV1采用传统的锯齿形扫描顺序。
[0021]这样的分离允许将丰富上下文模型分配给较低级别平面，其考虑了包括双向、水平和垂直的变换方向，变换大小，以及在适度的上下文模型大小下提高压缩效率的多达五个相邻系数。中级别平面使用类似于较低级别平面的上下文模型，其中上下文邻居系数的数量从5减少至2。较高级别平面使用Exp
‑
Golomb码进行编码，而不使用上下文模型。在符号平面中，使用相邻变换单元的DC符号作为上下文信息对除DC符号外的符号进行编码。其他符号位直接编码而不使用上下文模型。
[0022]在通用视频编码(Versatile Video Coding，VVC)中，首先将编码块分割为4
×
4子块，并且根据预定义的扫描顺序对编码块内部的子块以及子块内的变换系数进行编码。对于具有至少一个非零变换系数的子块，变换系数的编码被分成四个扫描阶段(pass)。
[0023]例如，假设absLevel是当前变换系数的绝对值。在第一阶段中，对语法元素sig_coeff_flag(指示absLevel大于0)、par_level_flag(指示absLevel的奇偶校验)、以及rem_
abs_gt1_flag(指示(absLevel
–
1)>>1大于0)进行编码；在第二阶段中，对语法元素rem_abs_gt2_flag(指示absLevel大于4)进行编码；在第三阶段中，调用系数级别的剩余值(被称为abs_remainder)；并且如有必要；在第四阶段中，对符号信息进行编码。
[0024]为了利用变换系数之间的相关性，在当前系数的上下文选择中，使用图1中所示的由局部模板覆盖的先前编码的系数，其中以黑色显示的位置(101)指示当前变换系数的位置，并且以阴影显示的位置(102)指示它的五个邻居。此处，absLevel1[x][y]表示第一阶段后系数在其位本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种使用至少一个处理器对编码后的视频比特流进行解码的方法，所述方法包括：获得编码后的视频比特流，所述编码后的视频比特流包括编码后的颜色分量；对所述编码后的颜色分量进行熵解析；对所述颜色分量进行去量化并获得所述颜色分量的变换系数；对所述颜色分量的变换系数应用联合分量二次变换(JCST)，从而生成JCST输出；对所述JCST输出执行反向变换，从而获得所述颜色分量的残差分量；以及基于所述颜色分量的残差分量对所述编码后的视频比特流进行解码。2.根据权利要求1所述的方法，其中，所述变换分量包括Cb和Cr变换系数。3.根据权利要求1所述的方法，其中，所述变换分量包括Y、Cb和Cr变换系数。4.根据权利要求1所述的方法，其中，逐元素地应用所述JCST。5.根据权利要求1所述的方法，其中，所述颜色分量包括位于不同坐标处的多于一对的不同颜色分量。6.根据权利要求1所述的方法，其中，针对有限范围的块大小应用所述JCST。7.根据权利要求1所述的方法，还包括：从所述编码后的视频比特流中获得包括与编码后的图片对应的图片单元的编码后的视频序列(CVS)；获得包括在所述图片单元中的图片标头(PH)网络抽象层(NAL)单元；获得包括在所述图片单元中的至少一个视频编码层(VCL)NAL单元；对JCST标志进行解析，所述JCST标志用于在变换块级别处用信号通知何时将应用所述JCST。8.根据权利要求1所述的方法，还包括：从所述编码后的视频比特流中获得包括与编码后的图片对应的图片单元的编码后的视频序列(CVS)；获得包括在所述图片单元中的图片标头(PH)网络抽象层(NAL)单元；获得包括在所述图片单元中的至少一个视频编码层(VCL)NAL单元；对JCST标志进行解析，所述JCST标志用于在CU或CB级别处用信号通知何时将应用所述JCST。9.根据权利要求1所述的方法，还包括：从所述编码后的视频比特流中获得包括与编码后的图片对应的图片单元的编码后的视频序列(CVS)；获得包括在所述图片单元中的图片标头(PH)网络抽象层(NAL)单元；获得包括在所述图片单元中的至少一个视频编码层(VCL)NAL单元；对JCST标志进行解析，所述JCST标志用于用信号通知何时经由高级语法应用所述JCST。10.根据权利要求1所述的方法，其中，所述JCST包括经由编码信息确定的第二变换。11.一种对编码后的视频比特流进行解码的装置，所述装置包括：至少一个存储器，被配置成存储计算机程序代码；以及至少一个处理器，被配置成访问所述至少一个存储器并根据所述计算机程序代码进行操作，所述计算机程序代码包括：
第一获得代码，被配置成使所述至少一个处理器获得编码后的视频比特流，所述编码后的视频比特流包括编码后的颜色分量；第一解析代码，被配置成使所述至少一个处理器对所述编码后的颜色分量进行熵解析；去量化代码，被配置成使所述至少一个处理器对所述颜色分量进行去量化并获得所述颜色分量的变换系数；联合分量二次变换(JCST)应用代码，被配置成使所述至少一个处理器对所述颜色分量的变换系数应用JCST，从而生成JCST输出；反向变换代码，被配置成使所述至少一个处理器对所述JCST输出应用反向变换，从而获得所述颜色分量的残差分量；以及解码代码，被配置成使所述至...

【专利技术属性】
技术研发人员：赵欣，芮世薰，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：