用于视频编解码的多个量化矩阵集合的方法技术

本发明专利技术公开了一种用于处理视频数据的变换块的方法和装置，由视频编码器或视频解码器执行。确定多个量化矩阵集合，其中每个量化矩阵集合包括对应于不同块类型的一个或多个量化矩阵。对于对应于当前图像中的当前块的变换块，为变换块从多个量化矩阵集合确定选择的量化矩阵集合。使用来自于选择的量化矩阵集合的对应量化矩阵将量化处理或去量化处理应用于变换块。

A Method of Multiple Quantization Matrix Sets for Video Coding and Decoding

The invention discloses a method and device for processing video data conversion blocks, which are executed by a video encoder or a video decoder. A plurality of sets of quantization matrices are determined, in which each set of quantization matrices includes one or more quantization matrices corresponding to different block types. For the transform block corresponding to the current block in the current image, the selected set of quantization matrices is determined for the transform block from multiple sets of quantization matrices. Quantization processing or de-quantization processing is applied to transform blocks using corresponding quantization matrices from the selected set of quantization matrices.

【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码的多个量化矩阵集合的方法
本专利技术有关于视频编解码。更具体地，本专利技术涉及用于视频编解码的多个量化矩阵集合(multiplequantizationmatrixsets)，以改善编解码性能。
技术介绍
视频数据需要大量存储空间来存储或需要宽带宽(widebandwidth)来传输。随着不断增长的高分辨率和更高的帧率，如果视频数据以未压缩的形式存储或传输，则存储或传输带宽要求将是巨大的。因此，通常使用视频编码技术以压缩格式来存储或传输视频数据。使用较新的视频压缩格式(例如H.264/AVC和新兴的HEVC(高效视频编码)标准)大大提高了编码效率。图1示出了包含变换编码的示例性自适应帧间/帧内视频编解码系统。对于帧间预测，运动估计(MotionEstimation，ME)/运动补偿(MotionCompensation，MC)112用于基于来自其他图像的视频数据来提供预测数据。开关114选择帧内预测110或帧间预测数据，并且将选择的预测数据提供给加法器116以形成预测误差，也称为残差。接着通过变换(Transform，T)118和随后的量化(Quantization，Q)120来处理预测误差。然后，变换和量化的残差由熵编码器122编码，以包括在对应于压缩视频数据的视频比特流中。当使用帧间预测模式时，也必须在编码器端重建参考图像。因此，通过逆量化(InverseQuantization，IQ)124和逆变换(InverseTransformation，IT)126处理变换和量化的残差以恢复残差。然后在重建(REC)128处将残差添加回预测数据136以重建视频数据。重建的视频数据存储在参考图像缓冲器134中并用于预测其他帧。然而，在将视频数据存储到参考图像缓冲器134中之前，可以将环路滤波器130(例如，去块滤波器和/或样本自适应偏移SAO)应用于重构的视频数据。对于利用变换编码的编解码系统，量化矩阵(quantizationmatrix，QM)已被用作对底层视频数据(underlyingvideodata)施加主观质量测量(subjectivequalitymeasurement)的手段。具体地，量化矩阵用在视频编解码系统中，用于控制变换单元(transformunit，TU)中不同频率上的量化失真的分布。量化矩阵通常被设计为考虑人类视觉系统(humanvisualsystem，HVS)的对比敏感度函数(contrastsensitivityfunction，CSF)。心理视觉实验(psychovisualexperiments)已经发现，对亮度的感知灵敏度随每度视角的空间变化周期(cycles/degree)的空间频率而变化，并且眼睛表现为带通滤波器，具有对向视角的约2至10每度视角的空间变化周期(cpd)的峰值响应，这取决于个别观看者和观看当时的环境条件。变换系数对应于视频数据块的频域表示。为了在空间频率上实现感知上均匀的量化，可以根据在其相关频率范围上的感知灵敏度，设计量化矩阵以对与变换系数相关的每个频率信道进行加权(weight)。可以采用相应的量化矩阵来对解码器处的去量化的变换系数(de-quantizedtransformcoefficient)进行逆加权(inverselyweight)。量化矩阵已经用于各种高级视频编码标准中。例如，在H.265/HEVC(高效视频编码)中，可以在序列参数集(sequenceparameterset，SPS)中发信与缩放矩阵有关的信息，并在图像参数集(pictureparameterset，PPS)中进一步更新。缩放矩阵(scalingmatrice)在本公开中也称为量化矩阵。对应于不同变换尺寸、颜色分量索引和编码单元(CU)预测模式，为变换单元定义不同的缩放矩阵。在H.265/HEVC中规定了基于人类视觉系统模型的缩放矩阵的默认集合。公开了一种从相关的小尺寸(small-size)缩放矩阵导出大尺寸(large-size)缩放矩阵的方法。在所有现有的视频编码标准中，例如MPEG-2，H.264/MPEGAVC和H.265/MPEGHEVC，只有一组用于不同TU类型的发信的缩放矩阵可用于解码整个图像。因此，期望开发技术以进一步改善与变换编码有关的编码性能。
技术实现思路
本专利技术公开了一种用于处理视频数据的变换块的方法和装置，由视频编码器或视频解码器执行。确定多个量化矩阵集合，其中每个量化矩阵集合包括对应于不同块类型的一个或多个量化矩阵。对于对应于当前图像中的当前块的变换块，为变换块从多个量化矩阵集合确定选择的量化矩阵集合。使用来自于选择的量化矩阵集合的对应量化矩阵将量化处理或去量化处理应用于变换块。在一个实施例中，根据块尺寸、块形状、块颜色分量索引、块预测模式或其组合对块类型进行分类。在一个实施例中，根据当前块的局部区域确定选择的量化矩阵集合。当前块的局部区域可以对应于一个图像、一个切片、一个CTU(编码树单元)或一个CU(编码单元)。可以由视频编码器发信指示当前块的局部区域的选择的量化矩阵集合的一个或多个语法元素。在解码器侧，从包括当前块的局部区域的压缩数据的视频比特流解码语法元素。可以从视频编码器向视频解码器发信与多个量化矩阵集合相关的信息，使得解码器可以从视频比特流导出量化矩阵集合。此外，可以发信多个量化因子，以控制与多个量化矩阵集合的量化矩阵相关的量化步长。可以为不同的量化矩阵集合独立地确定多个量化因子的值。为具有不同切片类型或位于不同时间层的块选择不同的量化矩阵集合。可以为对应于人类感兴趣的不同级别的图像的不同局部区域确定多个量化矩阵集合。在一个实施例中，为对应于远离图像中心的不同距离的图像的不同局部区域确定多个量化矩阵集合。在另一实施例中，为自然场景视频确定量化矩阵集合，以及为屏幕内容视频确定量化矩阵集合中的至少一个。在一个实施例中，基于先前图像的量化设置导出量化矩阵集合。先前图像的量化设置可以对应于先前图像中的对应局部区域的量化矩阵集合或者为先前图像中的对应局部区域选择的量化因子。在另一示例中，先前图像的量化设置对应于指定当前块的亮度量化参数与当前块的量化参数预测值之间的差的绝对值的语法元素。可以在切片级中发信语法元素以指示是否基于先前图像的量化设置来启用量化矩阵集合的推导。可以从对应于当前块的先前图像中的同位像素的量化设置导出先前图像的量化设置。附图说明图1为包含变换编码的示例性自适应帧间/帧内视频编解码系统的示意图。图2为根据本专利技术实施例的使用变换编码的示例性编解码系统的流程图，其中使用了多个量化矩阵集合。图3为根据本专利技术实施例的使用变换编码的示例性编解码系统的流程图，其中基于先前图像的量化设置来确定量化矩阵集合。具体实施方式以下描述为本专利技术的较佳实施例。以下实施例仅用来举例阐释本专利技术的技术特征，并非用以限定本专利技术。本专利技术的保护范围当视权利要求书所界定为准。为了提高编码效率，公开了一种使用多个量化矩阵集合的编码方法。根据该方法，多个量化矩阵被分组为一量化矩阵集合。每个集合表示对应于不同变换块尺寸、形状、编码单元预测模式、颜色分量索引或其组合的量化矩阵的汇集(collection)。为方便起见，术语块类型(blocktype本文档来自技高网...

【技术保护点】
1.一种处理视频数据的变换块的方法，由视频编码器或视频解码器来执行，其特征在于，该方法包括：确定多个量化矩阵集合，其中每个量化矩阵集合包括对应于不同块类型的一个或多个量化矩阵；接收与对应于当前图像中的当前块的变换块相关的输入数据；从所述多个量化矩阵集合中确定用于所述变换块的选择的量化矩阵集合；以及使用来自于所述选择的量化矩阵集合的对应量化矩阵，将量化处理或去量化处理应用于所述变换块。

【技术特征摘要】
【国外来华专利技术】1.一种处理视频数据的变换块的方法，由视频编码器或视频解码器来执行，其特征在于，该方法包括：确定多个量化矩阵集合，其中每个量化矩阵集合包括对应于不同块类型的一个或多个量化矩阵；接收与对应于当前图像中的当前块的变换块相关的输入数据；从所述多个量化矩阵集合中确定用于所述变换块的选择的量化矩阵集合；以及使用来自于所述选择的量化矩阵集合的对应量化矩阵，将量化处理或去量化处理应用于所述变换块。2.如权利要求1所述的方法，其特征在于，所述确定选择的量化矩阵集合取决于所述当前块的局部区域。3.如权利要求2所述的方法，其特征在于，所述当前块的所述局部区域对应于一个图像、一个切片、一个编码树单元或一个编码单元。4.如权利要求2所述的方法，其特征在于，由所述视频编码器发信一个或多个语法元素，所述一个或多个语法元素指示所述当前块的所述局部区域的所述选择的量化矩阵集合。5.如权利要求2所述的方法，其特征在于，由所述视频解码器从包括所述当前块的所述局部区域的压缩数据的视频比特流解码一个或多个语法元素，所述一个或多个语法元素指示所述当前块的所述局部区域的所述选择的量化矩阵集合。6.如权利要求1所述的方法，其特征在于，还包括：由所述视频编码器发信与所述多个量化矩阵集合相关的信息。7.如权利要求1所述的方法，其特征在于，还包括：由所述视频解码器从包括与所述多个量化矩阵集合相关的信息的视频比特流导出所述多个量化矩阵集合。8.如权利要求1所述的方法，其特征在于，还包括：确定多个量化因子，用于控制与所述多个量化矩阵集合的量化矩阵相关的量化步长。9.如权利要求8所述的方法，其特征在于，为不同的量化矩阵集合独立地确定所述多个量化因子的值。10.如权利要求1所述的方法，其特征在于，为具有不同切片类型或位于不同时间层的块选择不同的量化矩阵集合。11.根据权利要求1所述的方法，其特征在于，为对应于人类感兴趣的不同级别的图像的不同局部区域确定所述多个量化矩阵集合。12.如权利要求1所述的方法，其特征在于，为对应于远离图像中心的...

【专利技术属性】
技术研发人员：向时达，雷少民，黄毓文，孙域晨，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71