高灵活变尺寸块变换制造技术

本发明专利技术公开了一种用于帧间预测残差的变尺寸块变换编码方法。首先通过合并拥有类似运动参数的块获得最大的拥有类似运动参数的块，然后对这个块执行不同尺寸的变尺寸块变换。本发明专利技术还公开了分别用于8x8、16x16和32x32的一组拥有更高编码效率的变尺寸块变换分割模式。

【技术实现步骤摘要】

本专利技术属于数字视频压缩领域，具体涉及到视频信号帧间预测残差的变尺寸块变换。
技术介绍
数字视频是通过对时域和空域连续的自然场景进行时域和空域连续采样所得。如图1所示，数字视频由一系列时域上的视频帧所组成，每个视频帧表示自然场景在某个时间的空域采样，它由二维均匀采样的视觉像素组成。每个像素由一系列描述像素亮度和色彩的数字组成，在视频编码中，最广泛被使用的格式是YUV格式，这种格式中，每个像素由一个亮度分量Y，两个色差分量U和V组成，一般对U和V分量水平和垂直方向各进行一次下采样，这样每相邻的4个像素共用1个U和1个V分量，这就是YUV4：2：0格式。最广泛被使用的视频编码技术是块基混合运动补偿DCT变换视频编码技术，其中最有代表性的是MPEG和VCEG正在联合制定的国际标准HEVC。如图2所示，HEVC编码器首先把输入帧被劈分成一个个NxN（其中N为2的幂次，其最小为8，最大可以到64）的块，称为最大编码单元（LCU），然后从左到右，从上到下依次对LCU进行编码。在HEVC中，基本的预测-变换-编码单位称为编码单元（CU），对于一个大小为2Nx2N的LCU，可以把它作为一个CU直接进行预测-变换-编码，也可以把它以四分树的方式劈分为4个大小为NxN的单元进行预测-变换-编码，而对于每个NxN的单元，它也既可以作为一个CU进行预测-变换-编码，也可以继续以四分树的方式劈分为4个更小的单元进行编码。图3所示既是一个LCU的编码劈分图，图中LCU被劈分为4个等尺寸CU，而4个CU中的第一个、第三个和第四个又分别进行了继续的劈分。CU最小为8x8，最大可以和LCU等尺寸。对每个待编码的CU，首先从已编码的重构帧中计算出一个对当前块的预测，并与当前块相减，残差依次执行DCT变换、量化，然后反量化、反DCT变换得到重构宏块，存入重构帧序列中，用于对其后编码的CU产生预测信号。由于精确的DCT变换是浮点变换，所以实际中一般用DCT变换的整数近似或者KLT变换的整数近似来代替。CU的预测有2种，第一种是帧内预测，即只使用当前编码帧的已重构的像素对当前CU进行预测。当前最流行的帧内预测技术是帧内方向预测技术。帧内方向预测直接以CU为单位进行。HEVC中所使用的角度帧内预测如图4所示。图4所示白色黑框块是当前编码CU，左边和上边的灰色条带是当前CU左上的已重构像素，他们用来生成当前CU的预测信号。每一个帧内方向预测模式说明一个当然的预测方向，对于如图4所示编码CU中的某一行或某一列（用竖状网格表示），根据预测方向找到左上重构块中的相应的像素，如图4中黑色像素块所示，作为当前行或列的预测。图4右侧所示的列预测因为左边靠上的重构像素不存在，所以在实际的预测开始前，需要根据当前预测方向从当前块上边的重构像素根据当前帧内预测方向映射过去，如图5所示。在HEVC中共有33种不同的方向预测模式，如图6所示。CU的第二种预测是帧间预测，这时当前块的预测从时域上在当前帧前或当前帧后的重构帧中的选取。在HEVC中，预测以预测单元（PU）为基本单位。一个2Nx2N大小的CU有4种PU划分模式，它既可以作为单一的PU执行运动补偿，也可以分割成几个PU分别执行不同的运动补偿，如图7所示。对于一个任意形状的PU，运动补偿过程如图8、图9、图10和图11所示。显示时间为t的帧是当前编码帧，黑色块是当前编码块。显示时间为t-t0、t-2*t0、t+t0帧是重构帧，其中具有点状边界的灰色块是与当前编码块同一空域位置的块。显示时间为t-t0、t-2*t0、t+t0帧都可以作为当前编码块的预测。在图8中，运动向量MV0指向当前块的前向预测块BLK0。在图9中，运动向量MV1指向当前块的后向预测块BLK1。在图10中，运动向量MV指向当前块的前向预测块BLK0，MV的反方向指向后向预测块BLK1，BLK0和BLK1的平均作为当前块的预测。在图11中，运动向量MV0指向当前块的前向预测块BLK0，运动向量MV1指向当前块的后向预测块BLK1，BLK0和BLK1的平均作为当前块的预测。在前向预测、后向预测和对称预测中，只有一个运动参数（包括运动向量和参考图像）需要编码，而在双向预测模式中，2个运动参数需要编码。对于每种时域补偿模式，编码器通过率失真优化的运动估计过程得到最优的运动参数，并将其编入码流。在得到预测以后，将当前块与预测块相减，得到残差块，然后对残差块依次执行DCT变换或其他正交变换，然后量化、熵编码，然后再反量化、反变换、和预测块相加得到重构块，并用于后续编码块的预测。在HEVC中，变换以变换单元（TU）为单位进行。对于帧内预测，TU与CU同尺寸，即对一个2Nx2N大小的CU，直接执行2Nx2N二维可分离变换。对于时域预测，则使用变尺寸块变换。这时TU的形状依赖于PU的形状。在HEVC中，TU的形状总是比PU要小，这样变换不会穿越预测的边界，但也降低了变换的灵活性。HEVC中所使用的四分树结构变尺寸块变换如图12所示，一个2Nx2N的待变换单元可以有4种变换分割模式，即直接2Nx2N变换、2个2NxN变换、2个Nx2N变换、或者分割成4个NxN单元。4个NxN单元中的每一个都可以独立进行四分树结构的变尺寸块变换。TU的最小单元是4x4。本专利技术描述了一种高度灵活的变尺寸块变换模式，与四分树结构的变尺寸块变换相比，能提供显著更高的编码效率。
技术实现思路
图13是本专利技术所述用于一个8x8块的5种变尺寸块变换分割模式。它可以直接作为一个8x8块进行变换，也可以分割成更小的块进行变尺寸块变换。如图13第二种和第三种分割方式所示，就是把8x8块分割成1个8x4块和2个4x4块进行变换。图14和图15是本专利技术所述16x16块所有的20种变尺寸块变换分割模式。其中的8x8块可以执行进一步的8x8变尺寸块变换，且其方式并不限于图13所述方式。而所有长方形分割则不能执行进一步的变尺寸块分割变换（即对于MxN的长方形块，其中M≠N，只有一种变换方式，即首先对每行执行M点变换，然后对每列执行N点变换，或者首先对每列执行N点变换，然后对每行执行M点变换）。图16和图17是本专利技术所述32x32块的所有25种变尺寸块变换分割模式。其中的16x16块可以继续执行进一步的16x16变尺寸块变换，且其方式并不限于图14和图15所述方式。长方形分割中的8xM块（其中M为16或32）有2种变尺寸块变换模式，一种是直接对8xM块执行变换，另一种是分成2个4xM块执行2次变换。长方形分割中的Mx8块（其中M为16或32）也有2种变尺寸块变换模式，一种是直接对Mx8块执行变换，另一本文档来自技高网...

【技术保护点】
视频编解码器中一种用于8x8预测残差块变尺寸块变换方法，所有分割模式如图13所示。编码器通过计算率失真花费选择最优的模式，并将所选模式信息和相应所有子块的量化变换系数一起编码入码流，而解码器则通过解码模式信息和子块变换系数恢复8x8预测残差块的重构。

【技术特征摘要】
1.视频编解码器中一种用于8x8预测残差块变尺寸块变换方法，所有分割模式如图13所示。编码器通
过计算率失真花费选择最优的模式，并将所选模式信息和相应所有子块的量化变换系数一起编码入码
流，而解码器则通过解码模式信息和子块变换系数恢复8x8预测残差块的重构。
2.视频编解码器中一种用于16x16预测残差块变尺寸块变换的方法，编码器通过对一组分割模式计算率
失真花费选择最优的分割模式，并将所选模式信息和相应所有子块的量化变换系数一起编码入码流，
而解码器则通过解码模式信息和子块变换系数恢复16x16预测残差块的重构。
3.如权利要求2所述，16x16预测残差块的变尺寸块变换分割模式可以包含图14和图15所述20种分割
模式中的一部分或者全部，且至少包含图14所述分割模式中的至少1种。在图14和图15所包含分
割模式中，8x8子块可以继续执行不限于如权利要求1所述的变尺寸块变换。
4.视频编解码器中一种用于32x32预测残差块变尺寸块变换的方法，编码器通过对一组分割模式...

【专利技术属性】
技术研发人员：朱洪波，
申请(专利权)人：朱洪波，
类型：发明
国别省市：上海;31