混合视频解码器、混合视频编码器及数据流制造技术

一种混合视频解码器包括提取器、预测器及重建器。该提取器被配置为从数据流提取当前图像的第一区块的运动信息及残余信息。该预测器被配置为依据运动信息，通过使用IIR滤波器与FIR滤波器的组合内插参考图像来提供当前图像的区块的预测。该重建器被配置为利用该区块的预测及该区块的残余信息而重建在该区块的当前图像。此外，描述了混合视频编码器、数据流、编码视频的方法及解码视频的方法。

【技术实现步骤摘要】
【国外来华专利技术】混合视频解码器、混合视频编码器及数据流
本专利技术的实施方式涉及混合视频解码器。本专利技术的其他实施方式涉及混合视频编码器、数据流、用于编码视频的方法及用于解码视频的方法。
技术介绍
在先前技术或现有技术（混合）视频编码中，利用先前图像的重建组分通过运动补偿预测或利用相同图像的先前重建区块通过帧内预测来预测视频帧的组分（例如参考ThomasWiegand、GaryJ.Sullivan、GisleBjontegaard及AjayLuthra：OverviewoftheH.264lAVCVideoCodingStandard，IEEETran.onCircuitsandSystemsforVideoTechnology，第13卷第7期，第560至576页，2003年7月）。例如，如果视频帧使用YUV色彩空间表示，则该视频帧之组分为三个Y、U及V色彩组分。残余信号（residualsignal），即原组分与相对应的预测信号之间的差，通常使用变换编码来编码（解相关变换、变换系数的量化、以及所得量化符号的熵编码的组合）。当图像是由多个组分（平面）组成时，预测可分开进行或通过共享预测信息而群组化（平面群组化）进行。运动补偿预测可针对图像的某些子区进行（例如参考ThomasWiegand、MarkusFlierl及BerndGirod：Entropy-ConstrainedDesignofQuadtreeVideoCodingSchemes,Proc.6thIEEIntern.Conf.onImageProcessinganditsApplications，爱尔兰都柏林，1997年7月2日）。通常子区为矩形样本区块。但于在概念上也可使用相同运动参数用于任意组的样本。运动参数包括在位流中并传输至解码器。可以使用任意运动模型。常见地，用平移运动模型来模型化运动，该种情况下，指定位移的运动向量（2参数）被传输给各区。其它常见运动模型包括仿射运动模型（6参数）、3-、4-及8-参数模型。运动参数可以任意准确度传输。例如，针对平移运动模型，运动向量可使用全样本准确度或子样本准确度（例如四分之一样本准确度）编码。在第一情况下，预测样本可直接从重建图像拷贝。在子样本准确运动向量（或一般运动参数）情况下，使用重建样本来内插预测样本。针对运动补偿预测的现有子样本产生方法使用FIR滤波。最近，提出了自适应FIR滤波器（例如参见ThomasWedi，AdaptiveInterpolationFilterforMotionCompensatedHybridVideoCoding,Proc.PictureCodingSymposium（PSC2001），韩国首尔2001年4月）,用于改善运动补偿预测。任何先前传输的图像皆可用于运动补偿（例如参见ThomasWiegand、XiaozhengZhang及BerndGirod：Long-TermMemoryMotion-CompensatedPrediction，IEEETransactionsonCircuitsandSystemsforVideoTechnology，Vol.9，No.1，第70至84页，1999年2月）。如果参考图像未被高级参数固定，则参考指数可被传输以识别所使用的参考图像。也可以使用加权因子及偏移值（通称加权预测）或任何其它加权函数来修改预测信号，从而获得最终预测信号。此外，可组合若干预测信号来获得最终预测信号。这通常称为多假设预测（例如参见Sullivan，G.；Multi-hypothesismotioncompensationforlowbit-ratevideocoding,IEEEInternationalConferenceonAcoustics,SpeechandSignalProc.Vol.5，1993）。组合预测信号例如可通过不同预测信号的加权和而获得。个别预测信号可基于相同或相异的升取样参考图像。如果组合两个预测信号，则多假设预测也称作为双预测（如现代视频编码标准的B切片（B-slices）中支持的）。但也可使用多于两个假设。量化变换系数的熵编码例如可通过可变长度编码或（自适应）算术编码完成（例如参见DetlevMarpe、HeikoSchwarz及ThomasWiegand：Context-BasedAdaptiveBinaryArithmeticCodingintheH264fAVCVideoCompressionStandard,IEEETran.onCircuitsandSystemsforVideoTechnology，Vol.13，No.7，第620至636页，2003年7月）。但是，在混合视频编码中，期望提高传输信息的压缩效率。
技术实现思路
本专利技术的目的是提供一种于混合视频编码中提高传输信息的压缩效率的构想。根据权利要求1、23、33所述的混合视频解码器、根据权利要求16、30、34所述的混合视频编码器、根据权利要求20所述的数据流、根据权利要求21、22、31、32、35、36所述的方法、及根据权利要求37所述的计算机程序可解决此项目的。本专利技术的若干实施方式中，提供一种混合视频解码器。该混合视频解码器包括提取器，被配置为从数据流提取当前图像的区块的运动信息（motioninformation）和残余信息（residualinformation）。该混合视频解码器进一步包括预测器，被配置为依据运动信息，使用无限脉冲响应（IIR）滤波器与有限脉冲响应（FIR）滤波器的组合，通过内插参考图像来提供用于该当前图像的区块的预测。该混合视频解码器进一步包括重建器，被配置为使用该区块的预测及该区块的残余信息重建在该区块的当前图像。本专利技术的另外一些实施方式提供一种混合视频编码器。该混合视频编码器包括升取样器，被配置为使用IIR滤波器与FIR滤波器的组合以子样本分辨率（sub-sampleresolution）来升取样参考图像，从而获得该参考图像的升取样版本（upsampledversion）。该混合视频编码器进一步包括预测器，被配置为通过使用该参考图像的升取样版本，对应于当前图像的区块的运动信息，确定与该当前图像的所述区块的运动补偿预测。该混合视频编码器还包括残余信息确定器，被配置为通过使用该当前图像的区块的运动补偿预测及该当前图像的区块，确定该当前图像的区块的残余信息。该混合视频编码器还包括数据流插入器，被配置为将该当前图像的区块的运动信息及残余信息插入数据流。本专利技术的思想是，如果将IIR滤波器与FIR滤波器组合使用来内插重建样本或图像而获得升取样的参考样本或参考图像，则可提高在混合视频编码中的压缩效率。已发现若有IIR滤波器与FIR滤波器的组合，则可实现得自升取样参考图像的信号值的更准确估算。该改良的升取样可显著减少运动补偿预测误差。因此，与只使用FIR滤波器来升取样重组图像而获得升取样参考图像的情况相比，所得表示预测残余之视频信号（即，例如量化变换系数）可以更佳速率/失真折衷呈现。与只仰赖FIR滤波器的升取样系统相比，即便采用紧支撑FIR滤波器内核（filterkernel），本专利技术的实施方式仍可提供整个升取样系统的频率响应的锐截止。一方面，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.04.13 EP PCT/EP2010/054825;2010.04.13 EP 10151.一种混合视频解码器，包括：提取器(110)，被配置为从数据流(112)提取当前图像的第一区块的运动信息(114)和残余信息(116)；预测器(120)，被配置为取决于所述当前图像的第一区块的运动信息(114)，通过使用IIR滤波器(122)与FIR滤波器(124)的组合内插参考图像(132)来提供所述当前图像的第一区块的预测(126)；及重建器(130)，被配置为使用所述预测(126)及所述当前图像的第一区块的残余信息(116)来重建在所述第一区块的当前图像，其中，所述预测器(120)被配置为内插参考图像(132)，使得所述参考图像(132)用所述IIR滤波器(122)滤波而获得所述参考图像(132)的IIR滤波版本(220)，并且所述FIR滤波器(124)被应用于所述参考图像(132)的IIR滤波版本(220)而获得所述当前图像的第一区块的预测(126)，其中，所述预测器(120)被配置为取决于所述当前图像的第一区块的运动信息(114)选择性应用所述FIR滤波器(124)至所述参考图像(132)的IIR滤波版本(220)，从而在升取样样本位置的子集内插所述参考图像(132)的IIR滤波版本(220)，所述子集是由所述当前图像的第一区块的运动信息(114)确定，其中，所述预测器(120)被配置为，在为所述当前图像的另一区块提供预测时，取决于所述当前图像的另一区块的又一运动信息，重新选择性地应用FIR滤波器(124)至所述参考图像(132)的IIR滤波版本(220)，取决于所述又一运动信息，在升取样样本位置的又一子集内插所述参考图像(132)的IIR滤波版本(220)，所述又一子集与由所述当前图像的第一区块的运动信息(114)所确定的所述升取样样本位置的所述子集至少部分重叠。2.根据权利要求1所述的混合视频解码器，其中，所述IIR滤波器(122)包括因果IIR滤波器和反因果IIR滤波器，及其中，所述预测器(120)被配置为同时应用所述因果IIR滤波器和所述反因果IIR滤波器至所述参考图像(132)。3.根据权利要求1所述的混合视频解码器，其中，所述预测器(120)被配置为使得所述FIR滤波器(124)为4抽头FIR滤波器。4.根据权利要求1所述的混合视频解码器，其中，所述FIR滤波器(124)是由与或成比例的FIR滤波器内核K确定，其中，所述FIR滤波器(124)包括根据下式而应用FIR滤波器内核K至一维向量：其中，F、G、H、I为所述参考图像(132)的所述IIR滤波版本(220)的样本位置，a、b、c是位于在G与H之间的子样本位置，而G’为在G的FIR滤波样本。5.一种混合视频解码器，包括：提取器(110)，被配置为从数据流(112)提取当前图像的第一区块的运动信息(114)和残余信息(116)；预测器(120)，被配置为取决于所述当前图像的第一区块的运动信息(114)，通过使用IIR滤波器(122)与FIR滤波器(124)的组合内插参考图像(132)来提供所述当前图像的第一区块的预测(126)；其中，所述预测器(120)包括升取样器(210)，所述升取样器(210)用于使用IIR滤波器(122)与FIR滤波器(124)的组合进行参考图像(132)的升取样以确定升取样参考图像(212)；其中，所述预测器(120)还包括运动补偿区块(214)，所述运动补偿区块(214)用于将所述运动信息(114)应用于所述升取样参考图像(212)以确定所述当前图像的第一区块的所述预测(126)；以及重建器(130)，被配置为使用所述预测(126)及所述当前图像的第一区块的残余信息(116)来重建在所述第一区块的当前图像。6.根据权利要求5所述的混合视频解码器，其中，所述提取器(110)被配置为从所述数据流提取所述当前图像的第一区块的IIR滤波信息(310)，并且其中，所述预测器被配置为使用所述IIR滤波信息(310)调适所述IIR滤波器(122)。7.根据权利要求6所述的混合视频解码器，其中，所述预测器(120)包括存储器，在所述存储器中存储有所述IIR滤波器(122)的至少两个不同滤波参数；及其中，所述预测器(120)被配置为取决于所述IIR滤波信息(310)而从存储在所述存储器的至少两个不同滤波参数中选出一个，从而基于所选滤波参数来调适所述IIR滤波器(122)。8.根据权利要求6所述的混合视频解码器，其中，所述IIR滤波信息(310)指示所述IIR滤波器(122)的移转函数的极零值，并且其中，所述预测器(120)被配置为通过将所述极零值插入所述IIR滤波器(122)的参数化而调适所述IIR滤波器(122)。9.根据权利要求5所述的混合视频解码器，其中，所述预测器(120)被配置为使得所述IIR滤波器(122)包括沿第一方向的第一一维IIR滤波器和沿第二方向的第二一维IIR滤波器的级联。10.根据权利要求9所述的混合视频解码器，其中，所述预测器(120)被配置为使得所述第一一维IIR滤波器等于所述第二一维IIR滤波器。11.一种混合视频解码器，包括：提取器(110)，被配置为从数据流(112)提取当前图像的第一区块的运动信息(114)和残余信息(116)；预测器(120)，被配置为取决于所述当前图像的第一区块的运动信息(114)，通过使用IIR滤波器(122)与FIR滤波器(124)的组合内插参考图像(132)来提供所述当前图像的第一区块的预测(126)；及重建器(130)，被配置为使用所述预测(126)及所述当前图像的第一区块的残余信息(116)来重建在所述第一区块的当前图像，其中，所述预测器(120)被配置为使得所述IIR滤波器(122)包括沿第一方向的第一一维IIR滤波器和沿第二方向的第二一维IIR滤波器的级联，其中，所述预测器(120)被配置为使得所述第一一维IIR滤波器和/或所述第二一维IIR滤波器的一维移转函数基于一阶因果IIR滤波器以及基于一阶反因果IIR滤波器。12.根据权利要求11所述的混合视频解码器，其中，所述一维移转函数系定义为：其中，g表示标准化因子，z1表示参数，而z表示z转移变量。13.根据权利要求11所述的混合视频解码器，其中，所述一维移转函数系定义为：其中，g表示标准化因子，p表示参数，而z表示z转移变量。14.一种混合视频编码器，包括：升取样器(210，510，610)，被配置为使用IIR滤波器(122)与FIR滤波器(124)的组合以子样本分辨率来升取样参考图像(132)，从而获得所述参考图像(132)的升取样版本(212)；预测器(410，520)，被配置为使用所述参考图像(132)的所述升取样版本(212)来确定与当前图像(412)的第一区块的运动信息(114)相对应的、所述当前图像(412)的第一区块的运动补偿预测(126)；残余信息确定器(420)，被配置为使用所述当前图像(412)的第一区块的运动补偿预测(126)和所述当前图像(412)的第一区块确定所述当前图像(412)的第一区块的残余信息(116)；及数据流插入器(430)，被配置为将所述当前图像(412)的第一区块的运动信息(114)和残余信息(116)插入数据流(112)。15.根据权利要求14所述的混合视频编码器，还包括重建器(440)以获得所述参考图像(132)作为先前编码的图像的重建版本。16.根据权利要求14所述的混合视频编码器，其中，所述预测器(520)被配置为基于所述参考图像(132)的初步升取样版本(516)来确定所述当前图像(412)的第一区块的初步运动信息(526)；其中，所述升取样器(510)被配置为基于所述当前图像(412)的第一区块的所述初步运动信息(526)来确定所述当前图像(412)的第一区块的IIR滤波信息(310)，以及基于所述IIR滤波信息(310)来调适所述IIR滤波器(122)；及其中，所述数据流插入器(430)还被配置为将所述IIR滤波信息(310)插入所述数据流(112)。17.根据权利要求16所述的混合视频编码器，其中，所述升取样器(210)被配置为使得所述参考图像(132)被所述IIR滤波器(122)进行IIR滤波而确定所述参考图像(132)的IIR滤波版本(220)，并在所述参考图像(132)的IIR滤波版本(220)的第一区块逐区块应用所述FIR滤波器(124)，所述参考图像(132)的IIR滤波版本(220)的第一区块的区块大小由所述当前图像(412)的第一区块的运动信息(114)的搜寻区确定，从而获得所述参考图像的IIR滤波版本(220)的第一区块的升取样版本；其中，所述升取样器(210)还被配置为，在为所述当前图像的另一区块提供预测时，取决于所述当前图像的另一区块的又一运...

【专利技术属性】
技术研发人员：哈里查兰·拉克希曼，本杰明·布罗斯，海科·施瓦茨，托马斯·维甘徳，
申请(专利权)人：弗兰霍菲尔运输应用研究公司，
类型：
国别省市：