利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码制造技术

本发明专利技术提出了用于对一组视频帧进行编码的方法和设备。根据本发明专利技术，从该组中选择一些帧。这些帧的每一个帧中的区域都与多个参考帧中的区域相匹配。计算在这些帧的每个帧中的区域的像素值和多个参考帧中的区域的像素值之间的差值。将该差值变换为小波系数。本发明专利技术还提出了通过执行上述编码的反向过程来对一组视频帧进行解码的方法和设备。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般涉及视频压缩，特别是涉及使用多个参考帧进行运动补偿时域滤波的基于小波的编码。
技术介绍
许多目前的视频编码算法都是基于运动补偿的预测编码，它们都是相当复杂的混合系统。在这些混合系统中，利用运动补偿来减少时间冗余，同时通过对运动补偿的产物进行变换编码来减少空间冗余。通常使用的变换包括离散余弦变换(DCT)或子带/小波分解。然而这些系统，在提供实际的可分级比特流方面缺乏灵活性。另一种类型的系统是基于3D子带/小波的编码(以下称为“3D小波”)，这种系统目前比较流行，特别是在异类(heterogeneous)网络上的视频传输的当前脚本(scenario)中比较流行。这些系统特别适用于具有非常灵活的分级比特流和较高的错误适应性的应用系统。在3D小波编码中，一次对整个帧进行变换，而不是像基于DCT的编码那样一个块一个块地进行变换。3D小波系统中的一个部分是运动补偿的时域滤波(MCTF)，用于减少时间冗余。在Seung-Jong Choi和John Woods，以下称为“Woods”，发表于1999年2月，IEEE Transactions On Image Processing，No.2，第8栏的标题为“视频的运动补偿的3-D子带编码(Motion-Compensated3-D Subband Coding of Video)”的文章中描述了MCTF的一个例子。在Woods的文章中，在执行空间分解之前，在运动方向上对帧进行时域滤波。在时域滤波期间，由于场景中的运动属性和目标的覆盖/未覆盖情况，一些像素不是没有被参考就是被参考了多次。这些像素被称为未连接像素，并需要专门进行处理，而这会引起编码效率降低。在图1中示出了Woods的文章中的未连接像素和连接像素的例子。
技术实现思路
本专利技术提出了用于对一组视频帧进行编码的方法和设备。根据本专利技术，从该组中选择一些帧。这些帧的每一个帧中的区域都与多个参考帧中的区域相匹配。计算在这些帧的每个帧中的区域的像素值和多个参考帧中的区域的像素值之间的差值。将该差值转换为小波系数。在根据本专利技术的编码的另一例子中，至少一个帧中的区域还与另一帧中的区域相匹配。该至少一个帧和该另一帧并不包含在所述一些帧中。计算在该至少一个帧中的区域的像素值和该另一帧中的区域的像素值之间的差值。并将该差值转换为小波系数。本专利技术还提出了用于对包含一组编码视频帧的比特流进行解码的方法和设备。根据本专利技术，该比特流被熵解码，以产生小波系数。对该小波系数进行变换，以产生部分解码的帧。利用多个参考帧对一些部分解码帧进行反向时域滤波。在一个例子中，该反向时域滤波包括从多个参考帧中查找匹配区域，这些区域先前与一些部分解码帧中的每一个帧中的区域相匹配。另外，在多个参考帧中的区域的像素值被加到一些部分解码帧的每一个帧中的区域的像素值上。在根据本专利技术的解码的另一个例子中，至少一个部分解码帧根据另一个部分解码帧也被反向时域滤波。该反向时域滤波包括从另一个部分解码帧中查找先前与被查找到的至少一个部分解码帧中的区域相匹配的区域。并且，在另一个部分解码帧中的区域的像素值被加到至少一个部分解码帧中的区域的像素值上。该至少一个部分解码帧和另一个部分解码帧并不包含在所述一些帧中。附图说明下面参照附图，相同的参考标号表示相对应的部件图1是表示已知的运动补偿的时域滤波技术的示意图；图2是根据本专利技术的编码器的一个例子的方框图；图3表示2D小波变换的一个例子的方框图；图4是表示根据本专利技术的时域滤波的一个例子的示意图；图5是表示根据本专利技术的时域滤波的另一个例子的示意图；图6是表示根据本专利技术的时域滤波的另一个例子的示意图；图7是根据本专利技术的解码器的一个例子；和图8是根据本专利技术的系统的一个例子。具体实施例方式如上所述，3D小波系统的一个部分是运动补偿时域滤波(MCTF)，它的执行用于减少时间冗余。在MCTF期间，未连接像素可能会需要专门处理，而这会导致编码效率降低。本专利技术提出了一种新的MCTF系统，在运动补偿和时域滤波期间使用了多个参考帧，从而显著提高了匹配质量并减少了未连接像素的数目。因此，这种新系统可通过改进最佳匹配和减少未连接像素的数目而提供更高的编码效率。并且，该新的MCTF系统可以被选择性地应用到特定组中的帧。这样可以使该新系统能够提供时域可分级性，该时域可分级性能够使视频以不同的帧频进行解码。图2示出了根据本专利技术的编码器的一个例子。可以看出，该编码器包括划分单元2，用于将输入视频划分为图像组(GOP)，该图像组被编码为一个单元。根据本专利技术，划分单元2进行操作，使得GOP包括预定数目的帧或者根据诸如带宽、编码效率和视频内容等参数在操作期间动态地确定。例如，若视频由快速场景变化和高速运动构成，则较短的GOP更为有效，若视频主要由静态目标构成，则较长的GOP更为有效。可以看出，MCTF单元4由运动估计单元6和时域滤波单元8构成。在操作期间，运动估计单元6对每个GOP中的一些帧执行运动估计。被运动估计单元6所处理的这些帧被定义为H帧。并且在每个GOP中可能有一些其它帧没有被运动估计单元6处理，这些帧被定义为A帧。在每个GOP中的A帧的数目可能会根据一些因素而改变。首先，根据所使用的前向、后向或双向预测，在每个GOP中的第一个或最后一个帧可以是A帧。并且，可以选择在每个GOP中的一些帧作为A帧，以便提供时域可分级性。该选择可以是在任意间隔，例如每两个帧，每三个帧，每四个帧...等等进行。根据本专利技术，A帧的使用可以使根据本专利技术的视频编码能够被时域分级。由于A帧是独立编码的，因此可以以较低的帧频和良好的质量来解码视频。并且，根据选择哪个帧不被运动估计单元6处理，A帧可以以任意间隔被插入到GOP中，这样可使视频以任意帧频，例如二分之一，三分之一，四分之一...等等进行解码。相反，在Woods的文章中所述的MCTF系统只能以2的倍数来分级，因为时域滤波是成对执行的。并且，A帧的使用限制了预测偏移，因为这些帧是不参考任何其他帧而编码的。如上所述，运动估计单元6对每个GOP中的一些帧执行运动估计。然而，根据本专利技术，对这些帧执行的运动估计是基于多个参考帧的。因此，所处理的每个帧中的象素组或区域将与相同GOP的其它帧中的类似像素组相匹配。所使用的GOP中的其它帧可以是未处理的帧(A帧)或已处理的帧(H帧)。因此，在GOP中的其它帧是用于每个处理帧的参考帧。在一个例子中，运动估计单元6将执行后向预测。因此，在该GOP的一个或多个帧中的像素组或区域，与该同一GOP的先前帧中的类似的像素组或区域相匹配。在该例子中，该GOP中的先前帧是用于每个处理帧的参考帧。在该例子中由于使用了后向预测，因此在GOP中的第一个帧可以是A帧，因为没有可用的先前帧。然而作为选择，在其他例子中，该第一帧也可以是前向预测的。在另一个例子中，运动估计单元6将执行前向预测。因此，在该GOP的一个或多个帧中的像素组或区域，与该同一GOP的后续帧中的类似的像素组或区域相匹配。在该例子中，该GOP中的后续帧是用于每个处理帧的参考帧。在该例子中由于使用了前向预测，因此在GOP中的最后一个帧可以是A帧，因为没有可用的后续帧。然而作为选择，在其他例子中，该最后一帧也可以是后向预测的。在另一个例本文档来自技高网...

【技术保护点】
一种对一组视频帧进行编码的方法，包括以下步骤：从该组中选择一些帧；将这些帧的每一个帧中的区域都与多个参考帧中的区域相匹配；计算在这些帧中的每个帧的区域的像素值和该多个参考帧中的区域的像素值之间的差值；和将该差 值转换为小波系数。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：T迪帕克，M范德沙尔，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：NL[荷兰]