降低复杂度的运动补偿的时间处理方法及系统技术方案

一种用于预分析目的的用于降低的复杂度的运动补偿的时间处理的方法和系统。通过减少用于分析而处理的图片的数目、减少用于分析的参考的数目、和/或在空间上二次采样输入图片来降低处理复杂度。

【技术实现步骤摘要】
【国外来华专利技术】降低复杂度的运动补偿的时间处理方法及系统对相关申请的交叉引用本申请要求2011年9月29日提交的美国临时专利申请No.61/541,028的优先权，其全部内容通过引用合并于此。
本申请涉及视频数据处理的领域。更具体地，本申请描述利用以前过去或将来的图片作为参考来产生当前图片的运动补偿预测的处理。
技术介绍
运动补偿时域分析（MCTA）是对包括压缩性能/效率的优化、滤波、和视频内容分析和分类的各种应用有用的工具。MCTA后的前提是表征视频信号的时间相关性的采用。通常，视频中的图片将与先前图片共享相似的内容。这对压缩和滤波具有深远的影响。压缩是有益的，因为当前图片中的块可以被预测为一些先前图片中的移位的、扭曲的、或加权的块。位移参数被称为运动矢量并被需要以创建当前块的运动补偿的预测。如果用于预测当前块的运动模型是足够高效的，则当前块与它的运动补偿的预测之间的差距将是低的，并且因此易于压缩。但是，滤波也可以是有益的。如果预测足够接近图片中的当前块，则可以推测预测块正是具有不同噪声特性的当前初始块。但是，当前块也被假定是原始源块的变形版本，同样具有不同的噪声特性集合。如果每个块中的噪声被认为具有零平均值并且不相关，则简单地平均当前块与来自于一些其它的参考图片中的它的预测块将产生具有一半的误差/噪声能量的新的块，其更接近于原始源块。这可以被扩展到来源于多个参考图片的任意数目的预测块的加权组合。运动补偿时域分析也已经用在时间小波的背景之内以用于视频压缩。例如，参见Y.Andreopoulos、A.Munteanu、J.Barbarien、M.vanderSchaar、J.Cornells、和P.Schelkens，“In-bandmotioncompensatedtemporalfiltering”，SignalProcessing：ImageCommunication，vol.19,pp.653-673，和D.S.Turaga、M.vanderSchaar、Y.Andreopoulos、A.Munteanu、和P.Schelkens、“Unconstrainedmotioncompensatedtemporalfiltering（UMCTF）forefficientandfle×ibleinterframewaveletvideocoding”，SignalProcessing：ImageCommunication，Volume20，Issue1，pp.1-19。运动补偿的时间滤波已被应用在原始像素值（参见以上引用的“Unconstrainedmotioncompensatedtemporalfiltering（UMCTF）forefficientandfle×ibleinterframewaveletvideocoding”）以及已被转换到频域的值（参见以上引用的“In-bandmotioncompensatedtemporalfiltering”。）。视频序列被分割成图片组，每个组被独立编码。在那些组之内，运动补偿的时域分析用于提供对图片的子集的运动补偿预测。然后运动补偿预测误差用于完善其余图片，其再次被利用运动补偿来预测。最终的运动补偿预测误差被编码。即使在视频编码器之内的MCTA不由本公开解决，但是呈现在本公开中的一些方法也可以在使用运动补偿的时间滤波的视频编码器上适用。滤波是受益于运动补偿时域分析的使用的应用之一。基于运动补偿时间滤波的去噪声的早期算法在Dubois和S.Sabri，“Noisereductioninimagesequencesusingmotion-compensatedtemporalfiltering”IEEETransactionsonCommunications，Vol.COM-COM-32,no.7,pp.826-831中得到。本领域中首次贡献的综述出现于J.C.Brailean、R.P.Kleihorst、S.Efstratiadis、A.K.Katsaggelos、和R.L.Lagendijk的“Noisereductionfiltersfordynamicimagesequences：Areview”，ProceedingsoftheIEEE，vol.83，pp.1272-1292，95年9月。用于基于MCTA的预滤波的更接近的方法出现于J.Llach和J.M.Boyce的“H.264encoderwithlowcomple×itynoisepre-filtering”，Proc.SPIE，ApplicationsofDigitalImageProcessing××VI，vol.5203，p.478-489，8月03；A.Mclnnis和S.Zhong的“Methodandsystemfornoisereductionwithamotioncompensatedtemporalfilter”，美国专利申请公开No.20070014368；以及H.-Y.Cheong、A.M.Tourapis、J.Llach、和J.Boyce的“AdvancedSpatio-TemporalFilteringforVideoDe-Noising”，Proc.IEEEInt.Conf.onImageProcessing，vol.2，pp.965-968。“H.264encoderwithlowcomple×itynoisepre-filtering”（以上引用的）描述了在H.264/AVC视频编码器之内的运动补偿模块的使用以执行时间滤波。由过去图片的多个运动补偿预测被生成并且被平均并与当前图片混合以执行时间滤波。也利用基于阈值的3×3像素平均滤波器在空间上对图片滤波。在“AdvancedSpatio-TemporalFilteringforVideoDe-Noising”（以上引用的）中提出更先进和一般的方法，其考虑过去和将来的图片。利用被适配到源信号的特性的加权平均值进行来源于不同图片的多个运动补偿预测的组合。此外，空间滤波采用小波滤波和维纳滤波的组合。下面更详细地描述运动补偿时域分析法模块，其遵循呈现在“AdvancedSpatio-TemporalFilteringforVideoDe-Noising”（以上引用的）中的架构。图1示出实施运动补偿时域分析的运动补偿时空滤波器的方框图。输入到图1所示的MCTA模块的是图像像素，并且可选地，在分析模块中初始化运动模型和空间滤波的运动和空间滤波参数。处理布置由下列主要组件构成：1.空间滤波器（小波、维纳滤波器，其它）。2.利用任意运动模型的运动估计和补偿。3.时空去块化滤波器（可选的）。4.纹理分析（例如经由空间频率分析）。5.亮度和色度信息模块。图1中的双预测运动估计（BME）模块110执行双预测的运动估计，而运动估计（ME）模块120执行单预测的运动估计。下标表示相对于当前图片的参考图片的时间距离。双预测运动补偿（BMC）模块130利用在相应的BME模块110导出的那些作为运动矢量来执行双预测运动补偿。类似地，运动补偿（MC）模块140利用来自于相应的ME模块120的运动矢量执行单预测的运动补偿。空间（SP）滤波器15本文档来自技高网...

【技术保护点】
一种用于视频信号的运动分析的方法，包括步骤：接收视频信号，其中所述视频信号包括在选择的时间处的以下图片中的至少一个：当前图片、一个或多个过去图片、以及一个或多个将来图片；生成一个或多个参考图片，其中所述一个或多个参考图片中的至少一个基于采样视频信号以产生所述一个或多个参考图片中的至少一个，其中以选择的时间和空间分辨率执行采样；基于多个参考图片计算运动参数；确定计算的运动参数是否具有期望的准确度；如果计算的运动参数不具有期望的准确度，则重复采样视频信号、生成一个或多个参考图片、计算运动参数、并且确定计算的运动参数是否具有期望的准确度的步骤，其中重复的采样视频信号的步骤包括以增加的时间分辨率或者增加的空间分辨率或者增加的空间和时间分辨率采样视频信号，并且其中重复所述步骤直到达到期望的准确度；指定具有期望的准确度的计算的运动参数作为最终计算的运动参数；以及基于最终计算的运动参数预测一个或多个选择的采样的输入图片，其中运动分析包括所述一个或多个选择的采样的输入图片的预测。

【技术特征摘要】
【国外来华专利技术】2011.09.29 US 61/541,0281.一种用于视频信号的运动分析的方法，包括步骤：接收视频信号，其中所述视频信号包括在选择的时间处的以下图片中的至少一个：当前图片、一个或多个过去图片、以及一个或多个将来图片；以选择的时间和空间分辨率对视频信号进行采样以生成一个或多个参考图片，其中所述一个或多个参考图片的时间分辨率小于输入图片的时间分辨率，和/或所述一个或多个参考图片的空间分辨率小于或等于输入图片的空间分辨率；基于多个参考图片计算运动参数；确定计算的运动参数是否具有期望的运动准确度；如果计算的运动参数不具有期望的运动准确度，则重复采样视频信号以生成一个或多个参考图片、计算运动参数、并且确定计算的运动参数是否具有期望的运动准确度的步骤直到达到期望的运动准确度，其中重复的采样视频信号以生成一个或多个参考图片的步骤包括以增加的时间分辨率或者增加的空间和时间分辨率采样视频信号以生成一个或多个参考图片；指定具有期望的运动准确度的计算的运动参数作为最终计算的运动参数；以及基于最终计算的运动参数预测一个或多个选择的采样的输入图片，其中运动分析包括所述一个或多个选择的采样的输入图片的预测。2.根据权利要求1所述的方法，其中视频信号包括单视图视频图像。3.根据权利要求1所述的方法，其中视频信号包括多视图视频图像。4.根据权利要求1所述的方法，其中采样视频信号包括采样视频信号中的每个图片，并且参考图片的数目对于所述一个或多个选择的采样的输入图片中的每一个而变化。5.根据权利要求1所述的方法，其中所述一个或多个参考图片对应于少于视频信号中的每个图片，并且参考图片的数目对于所述一个或多个选择的采样的输入图片中的每一个而变化。6.根据权利要求4或5所述的方法，其中计算运动参数包括对于视频信号中的选择的图片约束运动参数。7.根据权利要求1所述的方法，其中采样视频信号包括选择性地采样少于视频信号中的每个图片，由此所述一个或多个选择的采样的输入图片的每一个对应于视频信号中的一个或多个图片。8.根据权利要求7所述的方法，其中选择性地采样包括选择视频信号中的图片以用于以下列模式中的至少一个进行采样：周期性模式；非周期性模式；或者周期性和非周期性模式的组合。9.根据权利要求1所述的方法，其中采样视频信号包括采样视频信号中的每个图片或者选择性地采样少于视频信号中的每个图片，并且其中至少一个预测的采样的输入图片对应于多于一个当前图片，并且其中预测选择的采样的输入图片包括基于对于先前选择的采样的输入图片计算的运动参数来预测至少一个选择的采样的输入图片。10.根据权利要求9所述的方法，其中采样视频信号包括采样视频信号中的每个图片，并且参考图片的数目对于每个选择的采样的输入图片而变化。11.根据权利要求9所述的方法，其中所述一个或多个参考图片对应于少于视频信号中的每个图片，并且参考图片的数目对于每个选择的采样的输入图片而变化。12.根据权利要求9所述的方法，其中选择性地采样包括选择视频信号中的图片...

【专利技术属性】
技术研发人员：A·多拉佩斯，A·莱昂塔瑞斯，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US