一种针对包含３Ｇ在内的移动网络基础结构上的实时多媒体应用的视频误码掩盖方法和装置，能够提高主观视频质量，通过采用多种误码掩盖技术在视频切片层进行误码补偿。本发明专利技术误码掩盖技术的工作原理，基于以下两种掩盖技术：１）空域掩盖：仅基于从当前画面可获得的数据；２）时域掩盖：仅基于从相邻画面可获得的数据。本发明专利技术误码掩盖方法对当前已解码的视频切片收集帧间模式编码的宏块数目信息，用来决定当下一视频切片出现错误时如何进行误码掩盖。如果一个视频切片中帧间模式编码的宏块百分比超过一个预定义的阈值，那么，当其相邻切片丢失的时候，应用时域误码掩盖技术，否则应用空域与时域混合的掩盖技术。本发明专利技术所设计的误码掩盖技术既便于实施又能高效掩盖由于数据报丢失，传输错误，网络延迟等导致的视频误码。该方法可以容易地应用于各种手持设备，如手机，ＰＤＡ等。
【技术实现步骤摘要】
本专利技术涉及一种能够在各种网络基础结构上提高数码视频质量的误码掩盖技术的方法和装置，尤其涉及能够针对3G网络环境改善视频质量的方 法和装置。根据本专利技术实例，视频在发送到网络之前在视频切片层进行数据分包。 在3G数据报交换网络中，数据报丢失是不可避免的。如果丢失了一个数据 报，那么在视频解码器端就不能获得该报中整个视频切片的信息。必须通过 一种误码掩盖技术来恢复丢失的信息，使信息丢失对视频质量的影响最小化。视频传输误码掩盖方法的工作原理基于以下两种误码掩盖技术-基于仅使用当前画面数据的空域误码掩盖技术；_基于仅使用其相邻画面数据的时域误码掩盖技术。本专利技术误码掩盖方法收集当前已解码的视频切片中使用帧间模式编码 宏块的数目信息，该信息将用来决定如何进行误码掩盖。如果帧间模式编码 的宏块百分比超过一个预定义的阈值，当其相邻切片丢失时，运用时域误码 掩盖技术来恢复丢失切片中的视频信息；否则，运用空域与时域混合的误码 掩盖技术。原则上讲，本专利技术方法和装置所提供的误码掩盖引擎可用于任何消费电 子设备，包括手机，PDA等。另外，本专利技术误码掩盖引擎可能用来针对任何 分层视频压縮格式掩盖网络传输错误，如MPEG (运动图像专家组的縮写)，H. 26x， WAV,以及RM等。
技术介绍
无线信道容易发生错误，如传输比特误码和数据报丢失。由于视频压縮 算法去掉了视频信息中的冗余，因此压縮后的数据间具有高度的相互依赖 性。传输过程中压縮数据任何部分的丢失都会影响在解码器端重建后的视频 质量。如果丢失的数据是针对运动预测的一部分，则会加重这种影响，导致 时域误码扩散和误码累加。为了减轻由于丢失或错误地接收比特流数据对重建后的视频质量的影 响，视频解码器应对重建后的帧进行后处理，以改善主观视频质量。这个过 程称作误码掩盖。误码掩盖技术利用存在于视频信号中的空域和时域的相互 关联的特性实施视频数据恢复。这些技术被称为空域或时域误码掩盖。本专利技术致力于寻求提高流式视频传输的视频质量，例如，能够恢复由于 通信丢失的视频信息的有效方法，意在解决网络拥塞或传输误码对视频流的 影响的相关问题。在易出错的网络链接上提供有效视频服务的传统解决方法是在视频宏 块层使用空域或时域误码掩盖技术(视频编码的分层结构如图3所示)。当 丢失了一个数据报，空域误码掩盖技术可以用来克服该问题，通过其可用相 邻切片来恢复丢失的信息。图1中，掩盖宏块的信息可由其相邻因果宏块A， B,和C恢复，其使用优先级为A， B， C顺序，即宏块A有效时，使用宏块 A实施空域误码掩盖；若宏块A无效(该宏块本身有误码)，则使用宏块B 实施空域误码掩盖；依此顺序类推。针对丢失的帧间编码宏块，可以应用时域误码掩盖技术。为了掩盖一个 帧间编码的宏块，我们需要恢复其运动矢量及残差。由于残差信号是非相关的，所以很难从相邻宏块去估算它们。然而，研究显示，如果可以恢复运动 矢量，则重建后的视频质量将会大大地提高。由于来自相邻宏块的运动矢量 具有较高的相关性，所以解码器能尝试从正确接收的相邻宏块的运动矢量恢 复丢失宏块的运动矢量。目前己经在工业界应用的一种测量失真标准,称为相邻绝对误差。相 邻绝对误差计算当前宏块的相邻像素及其对应的参考帧中的宏块之间的绝 对值误差。为了减少复杂性，只包含来自其顶部，底部，左边和右边的每一 个相邻部分的一个像素行。相邻绝对误差的计算如下<formula>formula see original document page 6</formula>其中&4Z^,&4ZV&4^和&4Z^分别为顶部，底部，左边和右边相邻部分的 绝对误差。/(x，力为运动补偿(给定一个候选运动矢量)之后估算的宏块， /(x，力为正确接收的顶部，左边，底部和右边的相邻部分。最终的相邻绝对 误差为所有四个边上的绝对误差相加。图2说明了相邻绝对误差是如何计算的。两个深色宏块为丢失宏块及其 参考帧(给定一个候选运动矢量)中的对应宏块。白色像素为其相邻部分。 沿每一边只有一个像素行(16个像素)用于计算相邻绝对误差的值。在3G网络环境中，视频数据是按切片打成数据报并进行传输的，单个 误码掩盖技术不能有效地解决这个问题，因为不是所有宏块的编码模式在丢 失切片时都是可以得知的。如果针对3G移动网络的一种视频误码掩盖方法 或装置是实用的，那么它应该尽可能地简单，因为该应用提供在消费电子设 备上，如，手机，PDA等。在移动网络上的实时视频通信的场景中，误码掩 盖技术对于整个应用的成功是至关重要的，因为移动网的数据报丢失是不可 避免的。目前还没有这样有效的方法或装置。
技术实现思路
本专利技术的第一目标是提供一种能够改善移动网络上实时视频传输服务 的误码掩盖方法和装置，使主观视频质量不会有明显的降低。本专利技术的第二目标是提供一种适用于任何消费电子设备，如手机、PDA 等，并且能有效恢复由于网络拥塞或传输误码导致视频数据丢失的误码掩盖 方法和装置。本专利技术的第三目标是提供一种具有低计算复杂度的误码掩盖方法和装置。根据本专利技术实例原则，通过提供一种误码掩盖引擎，以其最宽的涵盖形 式，根据其相邻切片的运动状态，决定选择空域或时域误码掩盖技术来弥补 丢失切片中的视频数据；如果选择时域误码掩盖技术，那么其相邻切片的宏 块的平均运动矢量用做丢失切片中每个宏块的运动矢量；如果选择空域误码 掩盖技术，那么相邻切片所对应宏块的纹理信息用来恢复丢失的视频数据， 以实现上述目标。本专利技术实例使用相邻切片的帧间模式编码宏块百分比来决定使用空域或时域或二者的组合技术来进行误码掩盖。为了达到实时进行误码掩盖，只 使用来自可用因果相邻部分的视频信息。依照利用相邻部分的因果结构，掩 盖宏块处理顺序遵循光栅扫描模式，即从左边到右边，如图3所示。本专利技术 视频误码掩盖技术实现了高效，因为它并不要求大量的计算来决定针对丢失 视频切片的误码掩盖技术；本专利技术视频误码掩盖技术获得高度的精确性，因 为使用了多种简单误码掩盖技术及其组合来恢复丢失的数据。本专利技术可应用于视频编解码器，如MPEG4， H.263, H. 264等。业内人士 应该可以看出，本专利技术也可会适用于其他具有分层编码结构的视频压縮格 式。附图说明图l宏块与其相邻切片中的相邻宏块，(a)非边缘宏块，(b)左边缘宏 块，(c)右边缘宏块；图2相邻绝对误差的计算；图3视频编码分层结构及光栅扫描的顺序；图4本专利技术误码掩盖技术的工作流程图5本专利技术时域误码掩盖技术的工作流程图6本专利技术混合误码掩盖技术的工作流程图7误码掩盖示例。(a)原始图像，(b)丢失数据报图像，(c)经过误 码掩盖技术处理后的图像。具体实施例方式如图4所示，本专利技术是通过一个视频误码掩盖引擎400实现的，由一个误码检测器410， 一个计算器420，记录因果相邻切片的帧间模式编码宏块 的百分比， 一个时域掩盖引擎430以及由空域和时域二者组合成的掩盖引擎 440组成。如图5所示，本专利技术空域掩盖引擎500包括一个切片运动矢量估 算器510，为相邻切片的平均运动矢量，和一个时域掩盖引擎520。如图6 所描述， 一个混合的掩盖引擎600包含一个编码模式估算器610， 一个空域 掩盖引擎620，本文档来自技高网...
【技术保护点】
针对移动网络视频传输的误码掩盖方法包括以下步骤： ａ．检测由于数据报丢失或传输错误或网络系统延迟导致的视频数据错误； ｂ．计算相邻切片的帧内编码宏块的百分比； ｃ．如果步骤ｂ的结果不小于预定义的阈值，那么整个发生错误的切片会通过时域掩盖技术进行补偿，其中运动矢量使用相邻切片运动矢量的平均值； ｄ．如果步骤ｂ的结果小于预定义的阈值，那么发生错误的切片中的每个宏块由空域或时域技术进行补偿，分为两个步骤：１）如果错误切片中一个宏块的最相邻可用宏块是帧间模式编码的，那么错误切片中的该宏块利用该可用相邻宏块的运动矢量通过时域技术进行掩盖；２）如果错误切片中一个宏块的最相邻可用宏块是帧内模式编码的，那么错误切片中的该宏块利用其可用相邻宏块的纹理信息通过空域技术进行掩盖。
【技术特征摘要】
1.针对移动网络视频传输的误码掩盖方法包括以下步骤a.检测由于数据报丢失或传输错误或网络系统延迟导致的视频数据错误；b.计算相邻切片的帧内编码宏块的百分比；c.如果步骤b的结果不小于预定义的阈值，那么整个发生错误的切片会通过时域掩盖技术进行补偿，其中运动矢量使用相邻切片运动矢量的平均值；d.如果步骤b的结果小于预定义的阈值，那么发生错误的切片中的每个宏块由空域或时域技术进行补偿，分为两个步骤1)如果错误切片中一个宏块的最相邻可用宏块是帧间模式编码的，那么错误切片中的该宏块利用该可用相邻宏块的运动矢量通过时域技术进行掩盖；2)如果错误切片中一个宏块的最相邻可用宏块是帧内模式编码的，那么错误切片中的该宏块利用其可用相邻宏块的纹理信息通过空域技术进行掩盖。2. 如权利要求1所述的方法，其中步骤a包括检测视频数据错误的 多个步骤，如数据报丢失，传输错误，延迟发送报等。3. 如权利要求1所述的方法，其中步骤c包括计算相邻切片的平均 运动矢量，并利用该平均运动矢量来对整个错误切片进行时域掩盖的多个步 骤。4. 如权利...
【专利技术属性】
技术研发人员：高成伟，
申请(专利权)人：昊迪移通北京技术有限公司，高成伟，
类型：发明
国别省市：11[中国|北京]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。