用于p-帧的时间错误隐藏的方法设备技术

本发明专利技术揭示一种处理多媒体帧的方法及设备，所述多媒体帧含有错误接收的第一区段。所述方法包括获得对应于第一参考帧的时间预测数据。所述方法进一步包括确定所述第一参考帧对于估计所述第一区段是否是可靠的。所述方法进一步包括：如果确定所述第一参考帧是可靠的，则基于除所述多媒体帧的第一区段以外的一个或多个区段及所述第一参考帧来估计错误接收的第一区段。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于借助错误管理来编码及解码数字数据的方法及设备。
技术介绍
互联网及无线通讯的广泛使用增加了在互联网及移动/无线信道上流式传输媒体的多媒体服务的需求。在互联网协议ap)网络中，视频可由服务器来提供且可由一个或多个有线或无线客户端来流式传输。有线连接包括拨号、综合服务数字网络(ISDN)、电缆、数字用户线路协议(统称为xDSL)、光纤、局域网络(LAN)、广域 网络(WAN)及其它。利用无线通讯的电子装置包括电话(例如，手机)、个人数 字助理(PDA)、手持式及便携式计算机及其它。在大多数这些应用中(即使不是全部)， 带宽要求及/或限制使得视频处理必须利用包含视频压缩算法的源编码器来分析、量化 及表示视频数据，以通过花费最少数量的位来传送最大量的信息。这些算法的特性有 很大的不同，从而导致了其性能上(例如，压縮效率及位率)的大尺度变化。使用压 缩算法的视频处理特性可根据内容而有很大的不同，从而可导致其性能(例如，压缩 效率及位率)上的大尺度变化。无线信道容易出现错误。当一部分数据丢失或讹误时，传输数据的该部分便会出 现错误。由于视频压縮固有地移除了冗余，故所压縮的数据就变得关键。在传输期 间，数据的任何错误部分均会影响在解码器处重构的视频质量。如果所述错误数据是 用于运动补偿预测的参考帧的部分，则影响会加重，从而导致时间错误传播。为减轻由于错误接收的比特流数据引起的对重构视频质量的影响，所述视频解码 器可对所接收视频数据进行处理以改善视频质量。此称作错误隐藏。错误隐藏方案利 用视频信号中存在的空间及时间相关性。相应地，这些方案被称为空间或时间错误隐 藏。依据信道错误的性质(位错误及/分组损失)及分组化的类型，在传输期间，有关 一个或多个宏块或切片的全部或部分数据可出现错误。对于宏块而言，各种编码宏块 数据可出现错误，其包括如下一者或多者编码模式(帧间或帧内)、运动向量(如果 帧间)及变换系数。当宏块出现错误时，通常假设所有以上的信息均有错误。对于帧间编码宏块而言， 其运动向量及残余系数有错误。由于残余信号经过高度的去相关处理，故难以从相邻 的宏块来对其进行估计。然而，研究显示，如果可恢复运动向量，则可大大地改善重 构视频的质量。因此，时间错误隐藏的主要目的是根据空间及时间相邻运动向量来估 计错误的运动向量。 一旦所述运动向量被重构，则可使用通过零残余系数构造而成的 运动向量来实施运动补偿。虽然存在数种现有的时间误差隐藏方案，但其均未能提供良好的结果。此外，其 与支持多参考帧及可变运动补偿块尺寸的多媒体数据流不相兼容。因此，需要一种新 的时间误差隐藏方案来实现良好的结果并提供更加广泛的兼容性
技术实现思路
' .本专利技术揭示一种对含有错误接收的第一区段的多媒体帧进行处理的方法及设备。 所述方法包括获得对应于第一参考帧的时间预测数据。所述方法进一步包括确定所述 第一参考帧是否能可靠地用于估计所述第一区段。所述方法进一步包括基于一个或 多个除所述多媒体帧的第一区段以外的区段及所述第一参考帧(如果经确定所述第一 参考帧可靠)，估计所述错误接收的第一区段。附图说明图1显示图解说明一个解码器实例的方块图，所述解码器经配置以对进入的多媒体数据流(未显示)进行解码；图2是图解说明用于P帧中错误宏块的时间错误隐藏方法的实例的流程图3是图解说明在图2方块2.04处产生当前P帧运动向量的过程实例的流程图4是图解说明在图2方块206处基于当前P帧及参考帧形成运动向量窗口的过程实例的流程图5A及5B图解说明用于在图4方块2066处确定锚定宏块的大覆盖面积方法； 图6图解说明图4中方块2067的运动向量窗口的构造； 图7A及7B图解说明在图4方块2068处实施局部运动分类的益处； 图8是图解说明对含有错误接收的第一区段的多媒体帧进行处理的方法的另一实 例的流程图9显示图解说明另一解码器实例的方块图，所述解码器经配置以解码进入的多 媒体数据流。 具体实施例方式于下文说明中，给出具体的细节旨在提供对所揭示方法及设备的透彻理解。然而， 所属
的技术人员应理解，所述实施例可在没有所述具体细节的情况下实施。 例如，可在方块图中显示电组件以使某些方面不会被非必要的细节所掩盖。在其它例 示中，可详细显示这些组件、其它结构及技术以进一步解释某些方面。还应注意，可将某些方面描述为过程，可将该过程绘示成流程图、流程图表、结 构图或方块图。尽管流程图可将各操作描述为顺序性过程，然而所述操作中的许多操 作可并行或同时实施且该过程具有可重复性。此外，可重新排列所述操作的次序。当 其操作完成时，过程便结束。 一个过程可对应于一种方法、函数、程序、次常式、子 程序等。当过程对应于一种函数时，其结束对应于该函数返回至调用函数或主函数。图1显示图解说明一个解码器实例的方块图，所述解码器经配置以对进入的多媒 体数据流(未显示)进行解码。所述多媒体数据可为各种形式，其包括但不限于视频、 音频、图形、文本及图片。所述数据可为MPEGx及H.26x标准中的压缩视频及耷频、 MPEG4AAC、 MP3、 AMR及G.723音频或语音压縮标准中的压缩音频、或任何其它 类型的数字数据。可经由有线网络(例如，电话、电缆及光纤)或无线网络来接收所 述数据流。在无线的情况下，所述网络可包括(例如)码分多重存取(CDMA或 CDMA2000)通信系统的部分，或者作为另一选择，所述系统可为频分多重存取 (FDMA)系统、正交频分多路复用(OFDMA)系统、时分多重存取(TDMA)系统 一例如用于服务行业的GSM/GPRS (通用分组无线电服务)/EDGE (增强数据GSM 环境)或TETRA (地面中继无线电)移动电话技术、宽带码分多重存取(WCDMA)、 高数据传输率(1xEVDO或1xEVDO金牌多播)系统、或者一般而言使用各技术组合 的任一无线通信系统。解码器IOO经配置以针对错误的帧间编码数据实施时间错误隐藏。帧间或预测编 码是指参照一个图像来编码另一个图像(字段或帧)。在本申请案全篇中所使用的帧间 编码图像实例是预测帧(正向或反向预测，被称为P帧)。其它用于帧间编码的术 语包括高通编码、残余编码、运动补偿内插及其它为所属
的技术人员的所 共知的术语。P帧(或任何帧间编码区段)可利用当前帧中的区域与参考帧中最佳匹 配预测区域之间的时间冗余。当前区域与最佳匹配参考预测区域之间的差被称作剩余 错误(或预测错误)。可将所述参考帧中最佳匹配的预测区域的位置编码在运动向量内。在某些I帧不是序列中的第一个帧且不存在场景改变的情况下，解码器100还可 经配置以针对所述I帧实施本文所揭示的时间隐藏方法。I帧是指内部编码帧，所属技 术领域的技术人员将其理解为在不参照任何其它帧的情况下进行编码的帧。由于I帧 不包含任何运动信息，故可使用来自先前P帧的运动信息来隐藏错误的I帧数据。解码器100包括时间预测数据产生器102、帧运动变化检测器104、运动向量估计器106、存储器108及处理器112。时间预测数据产生器102经配置以获得对应于参 考帧的时间预测数据，根据所述时间预测数据可对P帧进行预测。帧运动变化检测器 104经配置以通过从P帧到所述参考帧监测是否存在显本文档来自技高网...

【技术保护点】
一种处理多媒体帧的方法，所述多媒体帧含有错误接收的第一区段，所述方法包括：　　　　获得对应于第一参考帧的时间预测数据；　　　　确定所述第一参考帧对于估计所述第一区段是否是可靠的；及　　　　如果确定所述第一参考帧是可靠的，则基于除所述多媒体帧的第一区段以外的一个或多个区段及所述第一参考帧来估计所述错误接收的第一区段。

【技术特征摘要】
【国外来华专利技术】US 2005-3-10 60/660,867;US 2005-5-11 60/680,2771、一种处理多媒体帧的方法，所述多媒体帧含有错误接收的第一区段，所述方法包括获得对应于第一参考帧的时间预测数据；确定所述第一参考帧对于估计所述第一区段是否是可靠的；及如果确定所述第一参考帧是可靠的，则基于除所述多媒体帧的第一区段以外的一个或多个区段及所述第一参考帧来估计所述错误接收的第一区段。2、 如权利要求1所述的方法，其中所述一个或多个区段包括一个或多个与所述 第一区段相邻的区段。3、 如权利要求1所述的方法，其中所述时间预测数据包括对应于所述第一参考 帧的若干部分的运动向量。4、 如权利要求3所述的方法，其中所述确定进一步包括如果包括所述多媒体帧的运动向量及所述第一参考帧内的共同定位运动向量的 每对运动向量为可用的，则确定所述对运动向量是否相似；及如果相似对的数量与可用对的数量的比率大于阈值，则确定所述第一参考帧为可 靠的，其中，如果正确地接收到两个运动向量，则所述对运动向量为可用的。5、 如权利要求4所述的方法，其中基于如下至少一者来确定每对是否相似两个运动向量的量值及两个运动向量的方向。6、 如权利要求5所述的方法，其中只有当两个运动向量的量值均大且所述运动向量的方向相反时才确定每对为不相似。7、 如权利要求1所述的方法，其中每一区段是一宏块。8、 如权利要求3所述的方法，其进一步包括将对应于一个或多个参考帧中将要据以预测所述多媒体帧的若干部分的运动向量按比例縮放成对应于所述第一参考帧 的若千部分的运动向量，以使所述第一参考帧毗邻于所述多媒体帧。9、 如权利要求8所述的方法，其进一步包括使所述按比例縮放运动向量中的至 少一者平滑。10、 如权利要求9所述的方法，其中所述平滑包括中值滤波。11、 如权利要求3所述的方法，其中每一帧包括多个区段，且每一区段均包括一 个或多个相同尺寸的基础单元，所述方法进一步包括合并对应于每一基础单元中可变尺寸的部分的运动向量以形成一个对应于所述 基础单元的基础运动向量，其中每一基础单元是NXM个像素块，且进一步其中N及M为整数。12、 如权利要求11所述的方法，其中合并运动向量包括简单平均、加权平均及中值滤波中的至少一者。13、 如权利要求11所述的方法，其进一步包括使所述合并运动向量中的至少一 者平滑。14、 如权利要求13所述的方法，其中所述平滑包括中值滤波。15、 如权利要求3所述的方法，其中所述估计进一步包括 确定所述第一参考帧内的锚定区段；基于来自以所述第一区段为中心的所述多媒体帧的第二运动向量窗口及来自以 所述锚定区段为中心的所述第一参考帧的第三运动向量窗口的可用运动向量，确定第 一运动向量窗口；及计算所述第一运动向量窗口内所述可用运动向量的中值。16、 如权利要求15所述的方法，其进一步包括更新所述第一运动向量窗口， 使得如果所述运动向量与所述锚定区段的运动向量不相似，则将每一运动向量标记为 不可用。17、 如权利要求16所述的方法，其中基于如下至少一者来确定两个运动向量是否不相似两个运动向量的量值及商个运动向量的方向。 '18、 如权利要求17所述的方法，其中只有当两个运动向量的量值均大且两个运动向量的方向相反时才确定两个运动向量为不相似。19、 如权利要求15所述的方法，其中将所述锚定区段选择为位于与所述多媒体帧的错误第一区段对应的位置处的区段。20、 如权利要求15所述的方法，其中选择所述锚定区段以使得所述锚定区段对 应于所述第一参考帧中与所述第一参考帧的区域具有最多重叠的区段，其中所述预测 帧的锚定运动向量指向所述区域，其中基于所述多媒体帧内的可用相邻区段的运动向 量来计算所述锚定运动向量。21、 如权利要求l所述的方法，其进一步包括如果确定所述第一参考帧是不可靠的，则基于除所述多媒体帧的所述第一区段以外的一个或多个区段但不基于所述第 一参考帧来估计所述第一区段。22、 如权利要求l所述的方法，其中所述方法既可应用于因果解码过程中且也可 应用于非因果解码过程中。23、 一种处理器，其经配置以实施一方法，所述方法包括 获得对应于第一参考帧的时间预测数据； 确定所述第一参考帧对于估计所述第一区段是否可靠；及如果确定所述第一参考帧为可靠，则基于除所述多媒体帧的所述第一区段以外的 一个或多个区段及所述第一参考帧来估计所述错误接收的第一区段。24、 如权利要求23所述的处理器，其中所述一个或多个区段包括一个或多个与 所述第一区段相邻的区段。25、 如权利要求23所述的处理器，其中所述时间预测数据包括对应于所述第一 参考帧的若干部分的运动向量。26、 如权利要求25所述的处理器，其中所述确定进一步包括如果包括所述多媒体帧的运动向量及所述第一参考帧内的共同定位运动向量的每对运动向量为可用的，则确定所述对运动向量是否相似；及如果相似对的数量与可用对的数量的比率大于阈值，则确定所述第一参考帧为可 靠的，其中，如果正确地接收两个运动向量，则所述对运动向量为可用。27、 如权利要求26所述的处理器，其中基于如下至少一者来确定每对是否相似两个运动向量的量值及两个运动向量的方向。28、 如权利要求27所述的处理器，其中只有当两个运动向量的量值均大且所述 运动向量的方向相反时才确定每对为不相似。29、 如权利要求23所述的处理器，其中每一区段是一宏块。30、 如权利要求25所述的处理器，所述方法进一步包括将对应于一个或多个 参考帧中将要据以预测所述多媒体帧的若干部分的运动向量按比例缩放成对应于所述 第一参考帧的若干部分的运动向量，以使所述第一参考帧毗邻于所述多媒体帧。31、 如权利要求30所述的处理器，所述方法进一步包括使所述按比例缩放运动 向量中的至少一者平滑。32、 如权利要求31所述的处理器，其中所述平滑包括中值滤波。33、 如权利要求25所述的处理器，其中每一帧包括多个区段，且每一区段均包 括一个或多个相同尺寸的基础单元，所述方法进一步包括合并对应于每一基础单元中可变尺寸的部分的运动向量以形成一个对应于所述 基础单元的基础运动向量，其中每一基础单元是NXM个像素块，且进一步其中N及M为整数。34、 如权利要求33所述的处理器，其中合并运动向量包括简单平均、加权平均 及中值滤波中的至少一者。35、 如权利要求33所述的处理器，所述方法进一步包括使所述经合并运动向量 中的至少一者平滑。36、 如权利要求35所述的处理器，其中所述平滑包括中值滤波。37、 如权利要求25所述的处理器，其中所述估计进一步包括 确定所述第一参考帧内的锚定区段；基于来自以所述第一区段为中心的所述多媒体帧的第二运动向量窗口及来自以 所述锚定区段为中心的所述第一参考帧的第三运动向量窗口的可用运动向量，确定第 一运动向量窗口；及计算所述第一运动向量窗口内所述可用运动向量的中值。38、 如权利要求37所述的处理器，所述方法进一步包括更新所述第一运动向 量窗口，使得如果所述运动向量与所述锚定区段的运动向量不相似，则将每一运动向 量标记为不可用。39、 如权利要求38所述的处理器，其中基于如下至少一者来确定两个运动向量是否不相似两个运动向量的量值及两个运动向量的方向。40、 如权利要求39所述的处理器，其中只有当两个运动向量的量值均大且两个 运动向量的方向相反时才确定两个运动向量不相似。41、 如权利要求37所述的处理器，其中将所述锚定区段选择为位于与所述多媒 体帧的错误第一区段对应的位置处的区段。42、 如权利要求37所述的处理器，其中选择所述锚定区段以使所述锚定区段对 应于所述第一参考帧中与所述第一参考帧的区域具有最多重叠的区段，其中所述预测 帧的锚定运动向量指向所述区域，其中基于所述多媒体帧内的可用相邻区段的运动向 量来计算所述锚定运动向量。43、 如权利要求23所述的处理器，所述方法进一步包括如果确定所述第一参 考帧是不可靠的，则基于除所述多媒体帧的所述第一区段以外的一个或多个区段但不 基于所述第一参考帧来估计所述第一区段。44、如权利要求23所述的处理器，其中所述方法旣可应用于因果解码过程中且 也可应用于非因果解码过程中。45、 一种设备，其用于处理含有错误接收的第一区段的多媒体帧，所述设备包括 获得装置，其用于获得对应于第一参考帧的时间预测数据；确定装置，其用于确定所述第一参考帧对于估计所述第一区段是否可靠的；及 估计装置，其用于如果确定所述第一参考帧为可靠的则基于除所述多媒体帧的所述第一区段以外的一个或多个区段及所述第一参考帧来估计所述错误接收的第一区段。46、 如权利要求45所述的设备，其中所述一个或...

【专利技术属性】
技术研发人员：维贾雅拉克希米R拉韦恩德拉恩，石方，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：US[美国]