视频译码中的组合残差译码制造技术

一种用于译码视频数据的设备包括处理器，该处理器被配置为：产生视频数据的当前块的帧间预测块和帧内预测块；对于要产生的预测块的每个样本：根据样本在预测块中的位置确定样本的第一权重；根据样本在预测块中的位置确定样本的第二权重；将第一权重应用于帧间预测块中该位置处的样本以产生加权的帧间预测样本；将第二权重应用于帧内预测块中该位置处的样本以产生加权的帧内预测样本；以及使用加权的帧间预测样本和加权的帧内预测样本计算预测块中该位置处的样本的值；以及使用预测块对当前块进行译码。块进行译码。块进行译码。

【技术实现步骤摘要】
【国外来华专利技术】视频译码中的组合残差译码
[0001]本申请要求于2020年3月5日提交的美国专利申请第16/810,680号、于2019年3月8日提交的美国临时专利申请第62/815,936号和于2019年6月25日提交的美国临时专利申请第62/866,450号的权益，这些专利申请中的每一者的全部内容以引用方式并入。


[0002]本公开涉及视频编码和视频解码。

技术介绍

[0003]数字视频能力可以被结合到各种设备中，该设备包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字录音设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、所谓的“智能手机”、视频电话会议设备、视频流设备等。数字视频设备实施视频译码技术，诸如在由MPEG
‑
2、MPEG
‑
4、ITU
‑
T H.263、ITU
‑
T H.264/MPEG
‑
4第10部分高级视频译码(AVC)、ITU
‑
T H.265/高效视频译码(HEVC)定义的标准以及此类标准的扩展中描述的那些技术。通过实施此类视频译码技术，视频设备可以更高效地发送、接收数字视频信息、对数字视频信息进行编码、解码和/或存储数字视频信息。
[0004]视频译码技术包括空间(帧内图片)预测和/或时间(帧间图片)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可以被分割为视频块，该视频块也可以被称为译码树单元(CTU)、译码单元(CU)和/或译码节点。图片的帧内译码(I)切片中的视频块使用空间预测相对于同一图片中的邻近块中的参考样本进行编码。图片的帧间译码(P或B)切片中的视频块可以使用关于同一图片中的邻近块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可以被称为帧，而参考图片可以被称为参考帧。

技术实现思路

[0005]通常，本公开描述了用于视频译码中的组合残差译码的技术。如本文所描述，视频编码器和视频解码器可执行组合残差译码以对视频数据的块进行编码和解码。为了执行组合残差译码，视频编码器可将第一残差修改函数应用于块的Cb残差数据，并且将第二残差修改函数应用于块的Cr残差数据。第一残差修改函数基于块的原始Cb残差数据和块的Cr残差数据两者修改块的Cb残差数据。类似地，第二残差修改函数基于块的原始Cr残差数据和块的Cb残差数据两者修改块的Cr残差数据。视频解码器将反向残差修改函数应用于块的解码后的Cb和Cr残差数据。通过应用残差修改函数，视频编码器可能能够使用较低值表示Cb和Cr色度残差数据。较低值通常可使用较少位来编码。因此，应用残差修改函数可导致更高的译码效率(例如，更大的压缩)。
[0006]在一个示例中，本公开描述了一种对视频数据进行解码的方法，该方法包括：通过应用反向变换将该视频数据的块的第一组变换系数从变换域转换到样本域而产生第一解
码后的经修改色度残差数据；通过应用该反向变换将该块的第二组变换系数从该变换域转换到该样本域而产生第二解码后的经修改色度残差数据；在产生该第一解码后的经修改色度残差数据之后，将第一反向残差修改函数应用于该第一解码后的经修改色度残差数据以产生第一经反向修改色度残差数据；在产生该第二解码后的经修改色度残差数据之后，将第二反向残差修改函数应用于该第二解码后的经修改色度残差数据以产生第二经反向修改色度残差数据，其中该第一解码后的经修改色度残差数据与第一色度分量相关联，并且该第二解码后的经修改色度残差数据与第二色度分量相关联；以及基于该第一经反向修改色度残差数据和该第二经反向修改色度残差数据重构该视频数据的块。
[0007]在另一个示例中，本公开描述了一种对视频数据进行编码的方法，该方法包括：将第一残差修改函数应用于该视频数据的块的第一色度残差数据以产生第一经修改色度残差数据；对该第一经修改色度残差数据进行编码，其中对该第一经修改色度残差数据进行编码包括在将该第一残差修改函数应用于该第一色度残差数据之后，将前向变换应用于该第一经修改色度残差数据以将该第一经修改色度残差数据从样本域转换到变换域；将第二残差修改函数应用于该块的第二色度残差数据以产生第二经修改色度残差数据；以及对该第二经修改色度残差数据进行编码，其中：该第一色度残差数据与第一色度分量相关联，并且该第二色度残差数据与第二色度分量相关联，并且对该第二经修改色度残差数据进行编码包括在将该第二残差修改函数应用于该第二色度残差数据之后，将该前向变换应用于该第二经修改色度残差数据以将该第二经修改色度残差数据从该样本域转换到该变换域。
[0008]在另一个示例中，本公开描述了一种用于对视频数据进行解码的设备，该设备包括：存储器，该存储器用于存储该视频数据；以及实施于电路中的一个或多个处理器，该一个或多个处理器被配置为：通过应用反向变换将该视频数据的块的第一组变换系数从变换域转换到样本域而产生第一解码后的经修改色度残差数据；通过应用该反向变换将该块的第二组变换系数从该变换域转换到该样本域而产生第二解码后的经修改色度残差数据；在产生该第一解码后的经修改色度残差数据之后，将第一反向残差修改函数应用于该第一解码后的经修改色度残差数据以产生第一经反向修改色度残差数据；在产生该第二解码后的经修改色度残差数据之后，将第二反向残差修改函数应用于该第二解码后的经修改色度残差数据以产生第二经反向修改色度残差数据，其中该第一解码后的经修改色度残差数据与第一色度分量相关联，并且该第二解码后的经修改色度残差数据与第二色度分量相关联；以及基于该第一经反向修改色度残差数据和该第二经反向修改色度残差数据重构该视频数据的块。
[0009]在另一个示例中，本公开描述了一种用于对视频数据进行编码的设备，该设备包括：存储器，该存储器用于存储该视频数据；以及实施于电路中的一个或多个处理器，该一个或多个处理器被配置为：将第一残差修改函数应用于该视频数据的块的第一色度残差数据以产生第一经修改色度残差数据；对该第一经修改色度残差数据进行编码，其中该一个或多个处理器被配置为使得作为对该第一经修改色度残差数据进行编码的一部分，该一个或多个处理器在将该第一残差修改函数应用于该第一色度残差数据之后将前向变换应用于该第一经修改色度残差数据以将该第一经修改色度残差数据从样本域转换到变换域；将第二残差修改函数应用于该块的第二色度残差数据以产生第二经修改色度残差数据；以及对该第二经修改色度残差数据进行编码，其中：该第一色度残差数据与第一色度分量相关
联，并且该第二色度残差数据与第二色度分量相关联，并且该一个或多个处理器被配置为使得作为对该第二经修改色度残差数据进行编码的一部分，该一个或多个处理器在将该第二残差修改函数应用于该第二色度残差数据之后将该前向变换应用于该第二经修改色度残差数据，以将该第二经修改色度残差数据从该样本域转换到该变换域。
[0010]在另一个示例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对视频数据进行解码的方法，所述方法包括：通过应用反向变换将所述视频数据的块的第一组变换系数从变换域转换到样本域而产生第一解码后的经修改色度残差数据；通过应用所述反向变换将所述块的第二组变换系数从所述变换域转换到所述样本域而产生第二解码后的经修改色度残差数据；在产生所述第一解码后的经修改色度残差数据之后，将第一反向残差修改函数应用于所述第一解码后的经修改色度残差数据以产生第一经反向修改色度残差数据；在产生所述第二解码后的经修改色度残差数据之后，将第二反向残差修改函数应用于所述第二解码后的经修改色度残差数据以产生第二经反向修改色度残差数据，其中所述第一解码后的经修改色度残差数据与第一色度分量相关联，并且所述第二解码后的经修改色度残差数据与第二色度分量相关联；以及基于所述第一经反向修改色度残差数据和所述第二经反向修改色度残差数据重构所述视频数据的所述块。2.根据权利要求1所述的方法，其中重构所述块包括：将所述第一经反向修改色度残差数据添加到第一经预测色度数据以获得所述块的第一经重构色度数据；以及将所述第二经反向修改色度残差数据添加到第二经预测色度数据以获得所述块的第二经重构色度数据。3.根据权利要求1所述的方法，其中所述方法还包括：确定是将所述第一反向残差修改函数还是第三反向残差修改函数应用于所述第一解码后的经修改色度残差数据以产生所述第一经反向修改色度残差数据；以及确定是将所述第二反向残差修改函数还是第四反向残差修改函数应用于所述第二解码后的经修改色度残差数据以产生所述第二经反向修改色度残差数据。4.根据权利要求3所述的方法，其中：确定是应用所述第一反向残差修改函数还是所述第三反向残差修改函数包括基于所述块的一个或多个特性确定是将所述第一反向残差修改函数还是所述第三反向残差修改函数应用于所述第一解码后的经修改色度残差数据以产生所述第一经反向修改色度残差数据；并且确定是应用所述第二反向残差修改函数还是所述第四反向残差修改函数包括基于所述块的所述一个或多个特性确定是将所述第二反向残差修改函数还是所述第四反向残差修改函数应用于所述第二解码后的经修改色度残差数据以产生所述第二经反向修改色度残差数据。5.根据权利要求4所述的方法，其中所述块的所述特性包括以下一者或多者：含有所述块的切片或图块是帧内类型还是帧间类型、当前图片参考是否与所述块一起使用、双重或共享译码树是否与所述块一起使用、所述块的尺寸或所述块的宽高比。6.根据权利要求3所述的方法，其中：确定是应用所述第一反向残差修改函数还是所述第三反向残差修改函数包括基于在位流中发信号通知的数据确定是将所述第一反向残差修改函数还是所述第三反向残差修改函数应用于所述第一解码后的经修改色度残差数据以产生所述第一经反向修改色度残
差数据；并且确定是应用所述第二反向残差修改函数还是所述第四反向残差修改函数包括基于在所述位流中发信号通知的所述数据确定是将所述第二反向残差修改函数还是所述第四反向残差修改函数应用于所述第二解码后的经修改色度残差数据以产生所述第二经反向修改色度残差数据。7.根据权利要求1所述的方法，其中：所述第一反向残差修改函数是：invF1(x,y)＝(resCr(x,y)
’
+B10)/M10+(resCb(x,y)
’
+B11)/M11，所述第二反向残差修改函数是：invF2(x,y)＝(resCr(x,y)
’
+B20)/M20
–
(resCb(x,y)
’
+B21)/M21，其中resCb(x,y)
’
是所述第一解码后的经修改色度残差数据，resCr(x,y)
’
是所述第二解码后的经修改色度残差数据，B10、B11、B20和B21是舍入项，并且M10、M11、M20和N21是归一化因子。8.根据权利要求1所述的方法，还包括：在将所述第一反向残差修改函数应用于所述第一解码后的经修改色度残差数据以产生所述第一经反向修改色度残差数据之前，将反向CRS过程应用于所述第一解码后的经修改色度残差数据；以及在将所述第二反向残差修改函数应用于所述第二解码后的经修改色度残差数据以产生所述第二经反向修改色度残差数据之前，将所述反向CRS过程应用于所述第二解码后的经修改色度残差数据。9.根据权利要求1所述的方法，还包括：作为将所述第一反向残差修改函数应用于所述第一解码后的经修改色度残差数据以产生所述第一经反向修改色度残差数据的一部分，将反向CRS过程应用于所述第一解码后的经修改色度残差数据；以及作为将所述第二反向残差修改函数应用于所述第二解码后的经修改色度残差数据以产生所述第二经反向修改色度残差数据的一部分，将所述反向CRS过程应用于所述第二解码后的经修改色度残差数据。10.一种对视频数据进行编码的方法，所述方法包括：将第一残差修改函数应用于所述视频数据的块的第一色度残差数据以产生第一经修改色度残差数据；对所述第一经修改色度残差数据进行编码，其中对所述第一经修改色度残差数据进行编码包括在将所述第一残差修改函数应用于所述第一色度残差数据之后，将前向变换应用于所述第一经修改色度残差数据以将所述第一经修改色度残差数据从样本域转换到变换域；将第二残差修改函数应用于所述块的第二色度残差数据以产生第二经修改色度残差数据；以及对所述第二经修改色度残差数据进行编码，其中：所述第一色度残差数据与第一色度分量相关联，并且所述第二色度残差数据与第二色度分量相关联，并且
对所述第二经修改色度残差数据进行编码包括在将所述第二残差修改函数应用于所述第二色度残差数据之后，将所述前向变换应用于所述第二经修改色度残差数据以将所述第二经修改色度残差数据从所述样本域转换到所述变换域。11.根据权利要求10所述的方法，其中所述方法还包括：确定是将所述第一残差修改函数还是第三残差修改函数应用于所述第一色度残差数据以产生所述第一经修改色度残差数据；以及确定是将所述第二残差修改函数还是第四残差修改函数应用于所述第二色度残差数据以产生所述第二经修改色度残差数据。12.根据权利要求11所述的方法，其中：确定是应用所述第一残差修改函数还是所述第三残差修改函数包括基于所述块的一个或多个特性，确定是将所述第一残差修改函数还是所述第三残差修改函数应用于所述第一色度残差数据以产生所述第一经修改色度残差数据；并且确定是应用所述第二残差修改函数还是所述第四残差修改函数包括基于所述块的所述一个或多个特性，确定是将所述第二残差修改函数还是所述第四残差修改函数应用于所述第二色度残差数据以产生所述第二经修改色度残差数据。13.根据权利要求12所述的方法，其中所述块的所述特性包括以下一者或多者：含有所述块的切片或图块是帧内类型还是帧间类型、当前图片参考是否与所述块一起使用、双重或共享译码树是否与所述块一起使用、所述块的尺寸或所述块的宽高比。14.根据权利要求11所述的方法，其中所述方法还包括：在位流中发信号通知指示是应用所述第一残差修改函数还是所述第三残差修改函数以产生所述第一经修改色度残差数据的数据；以及在所述位流中发信号通知指示是应用所述第二反向残差修改函数还是所述第四反向残差修改函数以产生所述第二经修改色度残差数据的数据。15.根据权利要求10所述的方法，其中：所述第一残差修改函数是：F1(x,y)＝(resCb(x,y)+A10)/N10
–
(resCr(x,y)+A11)/N11，所述第二残差修改函数是：F2(x,y)＝(resCb(x,y)+A20)/N20+(resCr(x,y)+A21)/N21，其中resCb(x,y)是所述第一色度残差数据，resCr(x,y)是所述第二色度残差数据，A10、A11、A20和A21是舍入项，并且N10、N11、N20和N21是归一化因子。16.根据权利要求10所述的方法，还包括：在将所述第一残差修改函数应用于所述第一色度残差数据以产生所述第一经修改色度残差数据之后，将CRS过程应用于所述第一经修改色度残差数据；以及在将所述第二残差修改函数应用于所述第二色度残差数据以产生所述第二经修改色度残差数据之后，将所述CRS过程应用于所述第二经修改色度残差数据。17.根据权利要求10所述的方法，还包括：作为将所述第一残差修改函数应用于所述第一色度残差数据以产生所述第一经修改色度残差数据的一部分，将CRS过程应用于所述第一色度残差数据；以及作为将所述第二残差修改函数应用于所述第二色度残差数据以产生所述第二经修改
色度残差数据的一部分，将所述CRS过程应用于所述第二色度残差数据。18.一种对视频数据进行解码的设备，所述设备包括：存储器，所述存储器用于存储所述视频数据；以及实施于电路中的一个或多个处理器，所述一个或多个处理器被配置为：通过应用反向变换将所述视频数据的块的第一组变换系数从变换域转换到样本域而产生第一解码后的经修改色度残差数据；通过应用所述反向变换将所述块的第二组变换系数从所述变换域转换到所述样本域而产生第二解码后的经修改色度残差数据；在产生所述第一解码后的经修改色度残差数据之后，将第一反向残差修改函数应用于所述第一解码后的经修改色度残差数据以产生第一经反向修改色度残差数据；在产生所述第二解码后的经修改色度残差数据之后，将第二反向残差修改函数应用于所述第二解码后的经修改色度残差数据以产生第二经反向修改色度残差数据，其中所述第一解码后的经修改色度残差数据与第一色度分量相关联，并且所述第二解码后的经修改色度残差数据与第二色度分量相关联；以及基于所述第一经反向修改色度残差数据和所述第二经反向修改色度残差数据重构所述视频数据的所述块。19.根据权利要求18所述的设备，其中所述一个或多个处理器被配置为使得作为重构所述块的一部分，所述一个或多个处理器：将所述第一经反向修改色度残差数据添加到第一经预测色度数据以获得所述块的第一经重构色度数据；以及将所述第二经反向修改色度残差数据添加到第二经预测色度数据以获得所述块的第二经重构色度数据。20.根据权利要求18所述的设备，其中所述一个或多个处理器还被配置为：确定是将所述第一反向残差修改函数还是第三反向残差修改函数应用于所述第一解码后的经修改色度残差数据以产生所述第一经反向修改色度残差数据；以及确定是将所述第二反向残差修改函数还是第四反向残差修改函数应用于所述第二解码后的经修改色度残差数据以产生所述第二经反向修改色度残差数据。21.根据权利要求20所述的设备，其中所述一个或多个处理器被配置为使得作为确定是应用所述第一反向残差修改函数还是所述第三反向残差修改函数的一部分，所述一个或多个处理器基于所述块的一个或多个特性确定是将所述第一反向残差修改函数还是所述第三反向残差修改函数应用于所述第一解码后的经修改色度残差数据以产生所述第一经反向修改色度残差数据；以及所述一个或多个处理器被配置为使得作为确定是应用所述第二反向残差修改函数还是所述第四反向残差修改函数的一部分，所述一个或多个处理器基于所述块的所述一个或多个特性确定是将所述第二反向残差修改函数还是所述第四反向残差修改函数应用于所述第二解码后的经修改色度残差数据以产生所述第二经反向修改色度残差数据。22.根据权利要求21所述的设备，其中所述块的所述特性包括以下一者或多者：含有所述块的切片或图块是帧内类型还是帧间类型、当前图片参考是否与所述块一起使用、双重或共享译码树是否与所述块一起使用、所述块...

【专利技术属性】
技术研发人员：G范德奥韦拉，B雷，AK拉马苏布拉莫尼安，MZ科班，L法姆范，M卡尔切维茨，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：