用于图像和视频编解码的高精度变换和量化制造技术

描述了用于图像和视频编解码的高精度变换和量化的方法、系统和装置。一种视频处理的示例方法，包括：为包括当前块的视频与所述视频的比特流表示之间的转换，确定转换包括对当前块的变换的应用，并且基于确定来执行转换，其中与变换相关联的变换系数的缩放过程的比特移位操作是基于当前块是否用基于块的差分脉冲编解码调制(BDPCM)模式来编解码。脉冲编解码调制(BDPCM)模式来编解码。脉冲编解码调制(BDPCM)模式来编解码。

【技术实现步骤摘要】
【国外来华专利技术】用于图像和视频编解码的高精度变换和量化
[0001]相关申请的交叉引用
[0002]根据适用的专利法和/或巴黎公约的规定，提出本申请是为了及时要求于2019年9月21日提交的国际专利申请第PCT/CN2019/107140号的优先权和权益。出于美国法律的所有目的，上述申请的全部公开内容通过引用并入作为本申请的公开内容的一部分。


[0003]本专利文档涉及视频编解码和解码。

技术介绍

[0004]尽管视频压缩不断发展，数字视频仍然占据互联网和其它数字通信网络上的最大的带宽使用。随着能够接收和显示视频的所连接的用户装置的数量增加，预计数字视频使用的带宽需求将继续增长。

技术实现思路

[0005]装置、系统和方法涉及数字视频编解码，并且具体而言涉及使用高精度变换和量化对视频和图像进行编解码和解码。
[0006]在一个示例方面，公开一种视频处理方法。方法包括：根据规则执行视频的当前块与视频的比特流表示之间的转换，其中规则指定应用于当前块的变换编解码模式的缩放操作配置为与当前块的尺寸无关。
[0007]在另一个示例方面，公开一种视频处理方法。方法包括：根据规则执行视频的当前块与视频的比特流表示之间的转换，其中规则指定应用于当前块的变换编解码模式的去量化过程或缩放操作配置为与变换编解码模式无关。
[0008]在再一个示例方面，公开一种视频处理方法。方法包括：为包括当前块的视频与视频的比特流表示之间的转换，确定该转换包括对当前块的变换的应用，并且基于确定来执行转换，其中与变换相关联的变换系数的缩放过程的比特移位操作是基于当前块是否用基于块的差分脉冲编解码调制(BDPCM)模式来编解码。
[0009]在再一个示例方面，公开一种视频处理方法。方法包括：执行包括当前块的视频与视频的比特流表示之间的转换，其中当在当前块的残差系数值与当前块的编解码系数之间进行转换时所使用的变换移位是基于当前块是否用基于块的差分脉冲编解码调制(BDPCM)模式来编解码。
[0010]在再一个示例方面，公开一种视频处理方法。方法包括：为包括当前块的视频与视频的比特流表示之间的转换，确定当前块是使用基于块的差分脉冲编解码调制(BDPCM)模式来编解码的，并且基于确定来执行转换，其中与BDPCM模式相关联的缩放列表被禁用。
[0011]在再一个示例方面，公开一种视频处理方法。方法包括：为包括当前块的视频与视频的比特流表示之间的转换，确定该转换是通过禁用对当前块的变换的应用来执行的，并且基于确定来执行转换，其中转换包括去量化过程，并且其中在去量化过程之后解码系数
被约束至具有最小值(TxMin)和最大值(TsMax)的范围。
[0012]在再一个示例方面，公开一种视频处理方法。方法包括：为包括当前块的视频与视频的比特流表示之间的转换，确定当前块是使用基于块的差分脉冲编解码调制(BDPCM)模式来编解码的，并且基于确定来执行转换，其中转换包括去量化过程，且其中在去量化过程之后解码系数被约束至具有最小值(BdpcmMin)和最大值(BdpcmMax)的第一范围。
[0013]在再一个方面，上述方法以处理器可执行的代码的形式来实施并被存储在计算机可读介质中。
[0014]在再一个方面，公开了配置或可操作为执行上述方法的装置。装置可以包括编程以实现该方法的处理器。
[0015]在再一个方面，视频解码器设备可以实现本文中所描述的方法。
[0016]公开的技术的上述或其他方面和特征将在附图、说明书和权利要求书中更为详细地描述。
附图说明
[0017]图1示出了低频不可分变换(LFNST)过程的示例。
[0018]图2示出了SBT位置、类型和变换类型的示例。
[0019]图3是在提出的从属量化的方法中所使用的两个标量量化器的示意图。
[0020]图4示出了用于提出的从属量化的状态转变和量化器选择的示例。
[0021]图5是其中可以实现所公开的技术的示例视频处理系统的框图。
[0022]图6是视频处理的示例硬件平台的框图。
[0023]图7
‑
图13是视频处理的示例方法的流程图。
具体实施方式
[0024]所公开的技术的实施例可以应用到现有视频编解码标准(例如，HEVC、H.265)和未来标准以改善压缩性能。章节标题用在本文档中来改善说明书的可读性，并且不以任何方式将讨论或实施例(和/或实现方式)仅限制于相应章节。
[0025]1视频编解码概述
[0026]本文档涉及图像和视频编解码技术。具体而言，涉及在图像和视频编解码中的变换、去量化和逆向变换。可以应用于像HEVC这样的现有视频编解码标准或者待最终确定的标准(通用视频编解码)。也可以适用于未来的视频标准或视频编码器。
[0027]2初步讨论
[0028]视频编解码标准主要是通过众所周知的ITU
‑
T和ISO/IEC标准的发展而得以演进。ITU
‑
T制作了H.261和H.263标准，ISO/IEC制作了MPEG
‑
1和MPEG
‑
4 Visual标准，并且两个组织联合制作了H.262/MPEG
‑
2视频标准和H.264/MPEG
‑
4高级视频编解码(Advanced Video Coding，AVC)标准和H.265/HEVC标准。从H.262开始，视频编解码标准基于混合视频编解码结构，其中利用时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，由VCEG和MPEG于2015年联合成立联合视频探索团队(JVET)。此后，JVET采用了许多新方法并将其纳入名为联合探索模型(JEM)的参考软件。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立，致力于VVC标准，目标是与HEVC相比降低
50％比特率。
[0029]2.1变换和量化
[0030]2.1.1具有高频归零的大块尺寸变换
[0031]在VTM5中，启用大块尺寸变换，尺寸上多达64
×
64，其主要用于较高分辨率视频，例如1080p和4K序列。对于尺寸(宽度或高度、或者宽度和高度二者)等于64的变换块，高频变换系数归零，使得只保留低频系数。例如，对于M
×
N变换块，其中M为块宽度且N为块高度，当M等于64时，仅保留变换系数的左边32列。类似地，当N等于64时，仅保留变换系数的顶部32行。当变换跳过模式用于大块时，使用整个块而不使任何值归零。
[0032]2.1.2核心变换的多个变换选择(MTS)
[0033]除HEVC中已经采用的DCT
‑
II以外，多个变换选择(MTS)方案用于对帧间和帧内编解码块两者进行残差编解码。该方案使用多个从DCT8/DST7选择本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频处理的方法，包括：根据规则执行视频的当前块与所述视频的比特流表示之间的转换，其中，所述规则指定应用于所述当前块的变换编解码模式的缩放操作配置为与所述当前块的尺寸无关。2.根据权利要求1所述的方法，其中，所述变换编解码模式包括变换跳过模式，并且其中，所述缩放操作包括与所述变换编解码模式相关联的所述变换系数的缩放过程。3.根据权利要求2所述的方法，其中，所述缩放过程包括比特移位操作，并且其中，所述比特移位操作与所述当前块的尺寸无关。4.根据权利要求1所述的方法，其中，所述变换编解码模式包括基于块的差分脉冲编解码调制(BDPCM)模式，并且其中，所述缩放操作包括用于在所述当前块的残差系数值与所述当前块的编解码系数之间的转换的缩放因子。5.根据权利要求4所述的方法，其中，所述缩放因子是预定义的常数。6.根据权利要求5所述的方法，其中，所述缩放因子为一。7.根据权利要求4所述的方法，其中，所述缩放因子是基于内比特深度(ibd)。8.根据权利要求7所述的方法，其中，所述缩放因子为(15
‑
ibd)。9.根据权利要求4所述的方法，其中，缩放变换系数的变换过程被禁用，并且其中，所述变换系数的缩放过程的输出用作生成中间残差样点的输入。10.根据权利要求1所述的方法，其中，所述变换编解码模式包括基于块的差分脉冲编解码调制(BDPCM)模式，并且其中，所述缩放操作包括与所述BDPCM模式相关联的所述变换系数的缩放过程。11.根据权利要求10所述的方法，其中，所述缩放过程包括比特移位操作，并且其中，所述比特移位操作与所述当前块的尺寸无关。12.一种视频处理的方法，包括：根据规则执行视频的当前块与所述视频的比特流表示之间的转换，其中，所述规则指定应用于所述当前块的变换编解码模式的去量化过程或缩放操作配置为与所述变换编解码模式无关。13.根据权利要求12所述的方法，其中，所述变换编解码模式包括变换跳过模式，并且其中，所述去量化过程的去量化因子与所述变换编解码模式无关。14.根据权利要求12所述的方法，其中，所述变换编解码模式包括基于块的差分脉冲编解码调制(BDPCM)模式，并且其中，所述去量化的去量化因子与所述变换编解码模式无关。15.根据权利要求13或14所述的方法，其中，所述去量化因子表示为levelScale。16.根据权利要求12所述的方法，其中，所述变换编解码模式包括变换跳过模式，其中，所述当前块的高度不等于所述当前块的宽度，其中，所述缩放操作包括变换系数的缩放操作，并且其中，所述缩放过程所使用的比特移位操作与变换编解码模式无关。17.根据权利要求12所述的方法，其中，所述变换编解码模式包括基于块的差分脉冲编解码调制(BDPCM)模式，其中，所述当前块的高度不等于所述当前块的宽度，其中，所述缩放操作包括变换系数的缩放操作，并且其中，所述缩放过程所使用的比特移位操作与变换编解码模式无关。18.一种视频处理的方法，包括：
为包括当前块的视频与所述视频的比特流表示之间的转换，确定所述转换包括对所述当前块的变换的应用；以及基于所述确定执行所述转换，其中，与所述变换相关联的变换系数的缩放过程的比特移位操作是基于所述当前块是否用基于块的差分脉冲编解码调制(BDPCM)模式来编解码。19.根据权利要求18所述的方法，其中，当所述当前块用所述BDPCM模式来编解码时，所述当前块的比特移位操作与用变换跳过模式编解码的视频块的比特移位操作一致。20.一种视频处理的方法，包括：执行包...

【专利技术属性】
技术研发人员：许继征，张凯，张莉，刘鸿彬，邓智玭，王悦，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：