以4:4:4颜色格式进行视频编解码的方法和装置制造方法及图纸

一种电子装置，执行对视频数据进行编解码的方法。所述方法包括：从比特流接收与编解码单元相关联的语法元素，其中，所述语法元素包括第一色度分量的残差样点的第一编解码块标志(CBF)、第二色度分量的残差样点的第二CBF、以及指示自适应颜色变换(ACT)是否应用于所述编解码单元的第三语法元素；根据所述第一CBF、所述第二CBF和所述第三语法元素确定是否对所述色度分量的残差样点执行色度残差缩放；根据确定对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放，基于对应缩放参数来对所述第一色度分量和所述第二色度分量中的至少一个的残差样点进行缩放。分量中的至少一个的残差样点进行缩放。分量中的至少一个的残差样点进行缩放。

【技术实现步骤摘要】
【国外来华专利技术】以4:4:4颜色格式进行视频编解码的方法和装置
[0001]相关申请的交叉引用
[0002]本申请要求于2020年6月12日提交的名称为“METHODS AND APPARATUS ON 4:4:4 VIDEO CODING”的美国临时专利申请号63/038,692的优先权，所述美国临时专利申请通过引用以其全文并入。


[0003]本申请总体上涉及视频数据编解码和压缩，并且具体地涉及根据自适应颜色变换(ACT)过程有条件地应用色度残差缩放过程的方法和系统。
[0004]背景
[0005]如数字电视、膝上型计算机或台式计算机、平板计算机、数字相机、数字记录设备、数字媒体播放器、视频游戏机、智能电话、视频电话会议设备、视频流式传输设备等各种电子设备都支持数字视频。电子设备通过实施如由MPEG
‑
4、ITU
‑
T H.263、ITU
‑
TH.264/MPEG
‑
4第10部分、高级视频编解码(AVC)、高效率视频编解码(HEVC)和通用视频编解码(VVC)标准定义的视频压缩/解压缩标准来发送、接收、编码、解码和/或存储数字视频数据。视频压缩典型地包括执行空间(帧内)预测和/或时间(帧间)预测以减少或去除视频数据中固有的冗余。对于基于块的视频编解码，将视频帧分割为一个或多个条带，每个条带具有多个视频块，所述视频块也可以被称为编解码树单元(CTU)。每个CTU可以包含一个编解码单元(CU)或递归地分割成较小的CU，直到达到预设的最小CU尺寸。每个CU(也称为叶CU)包含一个或多个变换单元(TU)，并且每个CU还包含一个或多个预测单元(PU)。可以以帧内、帧间或帧内块复制(IBC)模式对每个CU进行编解码。相对于同一视频帧内的相邻块中的参考样点，使用空间预测对视频帧的帧内编解码(I)条带中的视频块进行编码。视频帧的帧间编解码(P(前向预测图片)或B(双向预测图片))条带中的视频块可以相对于同一视频帧内的相邻块中的参考样点使用空间预测或相对于其他先前和/或未来参考视频帧中的参考样点使用时间预测。
[0006]基于先前已编码的参考块(例如，相邻块)的空间和时间预测产生待编解码的当前视频块的预测块。查找参考块的过程可以通过块匹配算法来完成。表示待编解码的当前块与预测块之间的像素差的残差数据被称为残差块或预测误差。根据指向形成预测块的参考帧中的参考块的运动矢量、以及残差块来对帧间编码块进行编码。确定运动矢量的过程典型地被称为运动估计。根据帧内预测模式和残差块对帧内编解码块进行编码。为了进一步压缩，将残差块从像素域变换到变换域，例如频域，从而产生残差变换系数，然后可以对所述残差变换系数进行量化。可以扫描最初布置为二维阵列的量化变换系数，以产生变换系数的一维矢量，并且然后将其熵编码为视频比特流，以实现更多的压缩。
[0007]然后将已编码视频比特流保存在计算机可读存储介质(例如，闪速存储器)中，以被具有数字视频能力的另一电子设备访问，或者直接以有线或无线方式传输到该电子设备。然后，电子设备通过例如解析已编码视频比特流以从比特流获得语法元素并且至少部分地基于从比特流获得的语法元素将数字视频数据从已编码视频比特流重建为其原始格
式来执行视频解压缩(其是与上文描述的视频压缩相反的过程)，并且在电子设备的显示器上渲染重建数字视频数据。
[0008]随着数字视频质量从高清到4K
×
2K或甚至8K
×
4K，待编码/解码的视频数据量呈指数增长。关于如何在保持已解码视频数据的图像质量的同时更高效地对视频数据进行编码/解码方面一直存在挑战。
[0009]某些视频内容(例如，屏幕内容视频)以4:4:4色度格式进行编码，其中，所有三个分量(亮度分量和两个色度分量)具有相同的分辨率。虽然4:4:4色度格式与4:2:0色度格式和4:2:2色度格式相比包括更多冗余(这不利于实现良好的压缩效率)，但是对于许多需要高保真度以在解码视频中保留颜色信息(比如尖锐边缘)的应用来说，4:4:4色度格式仍然是首选编码格式。鉴于4:4:4色度格式视频中存在的冗余，有证据表明可以通过利用4:4:4视频的三个颜色分量(例如YCbCr域中的Y、Cb和Cr；或RGB域中的G、B和R)之间的相关性来实现显著的编解码改进。由于这些相关性，在开发HEVC屏幕内容编解码(SCC)扩展期间，采用了自适应颜色空间变换(ACT)工具来利用三个颜色分量之间的相关性。

技术实现思路

[0010]本申请描述与视频数据编码和解码有关的实施方式，并且更具体地涉及根据自适应颜色变换(ACT)过程有条件地应用色度残差缩放过程的方法和系统。
[0011]对于最初以4:4:4颜色格式捕获的视频信号，如果已解码视频信号期望高保证度并且原始颜色空间(例如，RGB视频)中存在丰富的信息冗余，则在原始空间中对视频进行编码是优选的。尽管当前的VVC标准中的一些分量间编解码工具(例如，跨分量线性模型预测(CCLM))可以提高4:4:4视频编解码的效率，但这三个分量之间的冗余并没有完全消除。这是因为仅利用了Y/G分量来预测Cb/B分量和Cr/R分量，而没有考虑Cb/B分量与Cr/R分量之间的相关性。相应地，对三个颜色分量进行进一步去相关可以提高4:4:4视频编解码的编解码性能。
[0012]在当前VVC标准中，现有帧间和帧内工具的设计主要专注于以4:2:0色度格式捕获的视频。因此，为了实现更好的复杂性/性能折衷，这些编解码工具中的大多数仅适用于亮度分量，而对于色度分量被禁用(例如，位置相关帧内预测组合(PDPC)、多参考线(MRL)和子分割预测(ISP))，或者对亮度分量和色度分量使用不同的操作(例如，应用于运动补偿预测的内插滤波器)。然而，与4:2:0视频相比，4:4:4色度格式的视频信号表现出非常不同的特性。例如，4:4:4YCbCr和RGB视频的Cb/B分量和Cr/R分量比4:2:0视频中的色度分量表现出更丰富的颜色信息并拥有更多的高频信息(例如，边缘和纹理)。考虑到这一点，对于4:2:0和4:4:4视频，使用VVC中一些现有编解码工具的相同设计可能总是最佳的。
[0013]根据本申请的第一方面，一种对利用色度残差缩放来编解码的视频块进行解码的方法包括：从比特流接收与编解码单元相关联的多个语法元素，其中，所述语法元素包括所述编解码单元的第一色度分量的残差样点的第一编解码块标志(CBF)、所述编解码单元的第二色度分量的残差样点的第二CBF、以及指示自适应颜色变换(ACT)是否应用于所述编解码单元的第三语法元素；根据所述第一CBF、所述第二CBF和所述第三语法元素确定是否对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放；根据确定对所述第一色度分量和所述第二色度分量中的至少一个的残差样点执行所述色度残差缩放，基
于对应缩放参数来对所述第一色度分量和所述第二色度分量中的至少一个的残差样点进行缩放；以及在缩放之后使用所述亮度和色度残差样点来重建所述编本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对利用色度残差缩放来编解码的视频块进行解码的方法，所述方法包括：从比特流接收与编解码单元相关联的多个语法元素，其中，所述语法元素包括所述编解码单元的第一色度分量的残差样点的第一编解码块标志CBF、所述编解码单元的第二色度分量的残差样点的第二CBF、以及指示自适应颜色变换ACT是否应用于所述编解码单元的第三语法元素；根据所述第一CBF、所述第二CBF和所述第三语法元素，确定是否对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放；根据确定对所述第一色度分量和所述第二色度分量中的至少一个的残差样点执行所述色度残差缩放，基于对应缩放参数来对所述第一色度分量和所述第二色度分量中的至少一个的残差样点进行缩放；以及在缩放之后使用亮度残差样点和色度残差样点重建所述编解码单元的样点。2.根据权利要求1所述的方法，其中，根据所述第一CBF、所述第二CBF和所述第三语法元素确定是否对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放包括：根据从所述第三语法元素确定所述ACT应用于所述编解码单元：将逆ACT应用于所述编解码单元的亮度残差样点和色度残差样点；以及确定在所述逆ACT之后对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放而不管所述第一CBF和所述第二CBF如何。3.根据权利要求1所述的方法，其中，根据所述第一CBF、所述第二CBF和所述第三语法元素确定是否对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放包括：根据从所述第三语法元素确定所述ACT不应用于所述编解码单元：当与所述色度分量相关联的所述CBF不为零时，确定对所述编解码单元的色度分量的残差样点执行所述色度残差缩放；当与所述色度分量相关联的所述CBF为零时，确定绕过对所述编解码单元的色度分量的残差样点的所述色度残差缩放。4.根据权利要求2所述的方法，进一步包括：在应用所述逆ACT之前将逆变换应用于所述编解码单元的残差样点。5.根据权利要求4所述的方法，进一步包括：在应用所述逆变换之前将反量化应用于所述编解码单元的残差样点。6.根据权利要求1所述的方法，其中，当非零色度残差样点不存在于所述第一色度分量的残差样点中时，所述第一CBF为零；并且当非零色度残差样点不存在于所述第二色度分量的残差样点中时，所述第二CBF为零。7.根据权利要求1所述的方法，其中，所述对应缩放参数是从在同位位置的重建亮度样点得到的。8.根据权利要求2所述的方法，其中，所述逆ACT的输入是在YCbCo空间中。9.根据权利要求...

【专利技术属性】
技术研发人员：修晓宇，陈漪纹，马宗全，朱弘正，陈伟，郭哲玮，王祥林，于冰，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：