视频帧的错误隐藏方法及应用其的视频解码方法技术

本发明专利技术公开了一种视频帧的错误隐藏方法及视频解码方法，错误隐藏方法包括：解码丢失帧的前一帧和后一帧，得到前向运动矢量和后向运动矢量，前向运动矢量是指前一帧的对应像素的运动矢量，后向运动矢量是指后一帧的对应像素的运动矢量；判定前向运动矢量和后向运动矢量对于丢失帧的各个像素是否有效；根据判定为有效的前向运动矢量和/或后向运动矢量对丢失帧的各个像素进行运动补偿，获得丢失帧的各个像素值；对于所获得的丢失帧的各像素的运动矢量来判断是否需要对各像素进行优化，并对需要进行优化的像素，利用像素的空间相关性进行优化。本发明专利技术可以确保丢失帧不会错误的使用相邻帧的运动矢量信息，并尽可能准确地恢复像素值。

【技术实现步骤摘要】

本专利技术涉及多媒体通信
，尤其涉及一种视频帧错误隐藏方法及应用其的 视频解码方法。
技术介绍
近年来，随着多媒体通信的发展，基于多媒体通信的各种应用也得到迅猛发展，例 如数字电视广播、远程监控、数字视频点播（VoD)、无线多媒体通信等。随着网络的发展，视 频业务占据了主流，同时人们对于视频分辨率的要求逐步提高,高清视频已经越来越受到 人们的欢迎，然而视频业务的数据量巨大，给网络也带来了巨大的压力。因此，视频编码与 传输技术的发展与需求也不断提高。如何对越来越大的视频数据进行编码压缩，以及传输 过程中遇到丢包后如何恢复丢失的数据等均面临着巨大挑战。 视频编码技术主要是利用视频源的时间相关性和空间相关性对视频进行压缩编 码，然而这直接导致了视频部分数据丢失后的错误传播。随着无线网络技术的发展，视频业 务在无线网络环境中的传输已经越来越流行，然而众所周知视频业务数据量非常大，无线 网络状态不稳定，相对于有线网络而言丢包率较大。对于网络拥塞带来的数据丢包，从而引 起的错误传播会对视频质量带来严重的影响。所以，对于视频传输过程中丢包后，在解码端 如何进行错误隐藏成为了必不可少的技术。 图1为现有技术视频编解码过程的示意图。如图1所示，视频编码过程主要分为 预测、变换、量化和熵编码四个部分。其中，预测部分主要利用空间和时间相关性（帧内预 测和帧间预测）去除视频内容的冗余获取当前编码块的预测值，获取预测值的过程中主要 对视频帧进行分块处理，每个块有不同的预测模式，通过率失真优化获取最优的预测模式， 为每个视频块得到最优的预测值，对于原始值和预测值之间的残差进行变换量化，然后再 对量化后的残差进行熵编码。在解码过程中，直接从码流中解码得到相应的模式信息、运动 信息以及残差信息；通过模式信息和运动信息为每个块得到相应的预测值，再将预测值与 解码得到的残差值相加得到最终的重建视频内容。 在实际传输过程中，对最终形成的码流进行打包处理，再传输。对于打包方法，目 前有整帧作为一个整体打包；有对整个视频帧分割成固定的片，然后每个片打一个包；还 有按照数据大小，每个数据包固定大小后对码流打包。 图2为现有技术视频编码中片打包方式下的错误传播的示意图。如图2所示，对 于各种打包方法而言，如果某个数据包丢失，尽管后续的数据包正确接收，然而由于后续视 频内容的解码需要用到前面已经解码的重建值作为预测，因此前面数据包的丢失，会对后 面正确接收到的视频块有错误传播。因此，在解码端需要尽量准确的恢复丢包的数据，从而 保证视频播放质量。以下给出两种现有技术视频编码中错误隐藏的方法。 ( -）帧拷贝方法 在H. 264/AVC的标准制定过程中，就已经对错误隐藏技术有所研究，其中比较直 接的一种错误隐藏方法就是帧拷贝方法，该方法直接利用时间相关性，将时间相邻帧的对 应位置作为当前丢失包对应的视频内容作为当前恢复内容。另一种错误隐藏方法直接拷贝 时间相邻重建帧的运动信息，然后假设编码残差全0,直接根据运动信息获取预测值，将预 测值直接作为恢复的重建帧。 然而，该方法比较适用于运动比较缓慢的序列，但是对于运动剧烈的序列，如果仍 然只是复制相邻时刻对应帧内容或者直接复制运动信息，都会导致后续帧解码的严重错误 传播。 (二）双向运动信息错误隐藏方法 考虑到上述基于帧拷贝方法的错误隐藏方法的缺点，已经有很多相关的错误隐藏 方法提出，其中利用双向运动信息推导恢复当前丢失帧的运动信息是主要的核心思想。由 于在H. 264/AVC的编码过程中，对于运动信息的编码并不使用时间相关性，因此当前帧的 信息丢失，并不会影响后续帧码流的正确解码，因此后续帧虽然无法正确重建出整帧内容， 但是其运动信息是可以正确解码获得的。因此，相关研究工作基于此提出双向运动信息估 计的思想。 参考文献1提出分别使用前向和后向帧的运动信息外推，假设相邻帧的视频内容 都是匀速直线运动，因此可以根据前一重建帧的各个像素的运动信息反推到当前丢失帧的 对应像素，同样，也可以利用后向运动信息反推得到各个像素与当前丢失帧的对应像素。因 此，可以得到当前丢失帧的像素与前向相邻重建帧的对应像素，从而利用该像素作为当前 丢失帧的恢复值。 需要注意的是，并不是所有当前丢失帧的各个像素都能找到与前一重建帧对应的 像素，因此会有空洞现象，对于空洞现象则直接复制对应位置的像素或者采用别的简单的 方法进行恢复。参考文件2和参考文献3也提出了与此类似的思想进行错误隐藏。 然而，上述基于该使用前向和后向帧的运动信息外推的错误隐藏方法虽然充分利 用了后向的运动信息，但是仍然可能会出现空洞现象，对于空洞现象问题的解决仍然是很 简单的，但是这部分内容有可能影响主观质量或者对视频内容错误传播造成比较严重的影 响。此外，上述方法可能会导致有些内容被错误的分配运动信息，尤其是前向运动信息和后 向运动信息外推得到的差别很大时，即：并不满足前向和后向都是匀速直线运动时，有可能 会导致比较严重的错误恢复。尤其是对于新进入场景的内容，或者是从场景中消失的内容， 这些内容其实只和一个方向的相邻帧有着很强的相关性，若强制使用双向信息，反而会使 得恢复内容误差较大。 参考文献： 1、YChen，K.Yu，J.Li,S.Li,AnErrorConcealmentAlgorithmforEntire FrameLossinVideoTransmission，ProceedingofIEEEPCS,2004. 2、B.Yan，H.Gharavi，AHybridFrameConcealmentAlgorithmforH. 264/ AVC''，IEEETransactionsonImageProcessing，19(1)，98-107, 2010. 3、Z.YWu，J.EBoyce,AnErrorConcealmentSchemeforEntireFrameLosses BasedonH. 264/AVC，ProceedingofIEEEISCAS，4463-4466,2006.
技术实现思路
(一）要解决的技术问题 本专利技术旨在提出一种，以对丢失 的视频帧的数据进行恢复。 (二）技术方案 为解决上述技术问题，本专利技术提出一种视频帧的错误隐藏方法，用于在视频解码 过程中对丢失帧进行像素恢复，该方法包括如下步骤： S1、解码丢失帧的前一帧和后一帧，得到前向运动矢量和后向运动矢量，所述前向 运动矢量是指前一帧的对应像素的运动矢量，所述后向运动矢量是指后一帧的对应像素的 运动矢量； S2、判定所述前向运动矢量和后向运动矢量对于所述丢失帧的各个像素是否有 效； S3、根据判定为有效的前向运动矢量和/或后向运动矢量对所述丢失帧的各个像 素进行运动补偿，获得所述丢失帧的各个像素值； S4、对于步骤S3所获得的丢失帧的各像素的运动矢量来判断是否需要对各像素 进行优化，并对需要进行优化的像素，利用像素的空间相关性进行优化。 根据本专利技术的一种优选的实施方式，所述步骤S2包括：获得与所述丢失帧的各图 像块对应的前一帧和/或后一帧的图像块本文档来自技高网...

【技术保护点】
一种视频帧的错误隐藏方法，用于在视频解码过程中对丢失帧进行像素恢复，其特征在于，该方法包括如下步骤：S1、解码丢失帧的前一帧和后一帧，得到前向运动矢量和后向运动矢量，所述前向运动矢量是指前一帧的对应像素的运动矢量，所述后向运动矢量是指后一帧的对应像素的运动矢量；S2、判定所述前向运动矢量和后向运动矢量对于所述丢失帧的各个像素是否有效；S3、根据判定为有效的前向运动矢量和/或后向运动矢量对所述丢失帧的各个像素进行运动补偿，获得所述丢失帧的各个像素值；S4、对于步骤S3所获得的丢失帧的各像素的运动矢量来判断是否需要对各像素进行优化，并对需要进行优化的像素，利用像素的空间相关性进行优化。

【技术特征摘要】
1. 一种视频帧的错误隐藏方法，用于在视频解码过程中对丢失帧进行像素恢复，其特 征在于，该方法包括如下步骤： 51、 解码丢失帧的前一帧和后一帧，得到前向运动矢量和后向运动矢量，所述前向运动 矢量是指前一帧的对应像素的运动矢量，所述后向运动矢量是指后一帧的对应像素的运动 矢量； 52、 判定所述前向运动矢量和后向运动矢量对于所述丢失帧的各个像素是否有效； 53、 根据判定为有效的前向运动矢量和/或后向运动矢量对所述丢失帧的各个像素进 行运动补偿，获得所述丢失帧的各个像素值； 54、 对于步骤S3所获得的丢失帧的各像素的运动矢量来判断是否需要对各像素进行 优化，并对需要进行优化的像素，利用像素的空间相关性进行优化。2. 如权利要求1所述的视频帧的错误隐藏方法，其特征在于，所述步骤S2包括：获得 与所述丢失帧的各图像块对应的前一帧和/或后一帧的图像块在解码时从码流中获得的 编码预测模式：若预测模式为帧内预测模式，则判定该图像块内的像素的运动矢量对于丢 失帧的对应像素无效。3. 如权利要求2所述的视频帧的错误隐藏方法，其特征在于，所述步骤S2还包括：计 算各像素所述前向运动矢量和后向运动矢量归一化之后的差值，若该差值超过一个预定范 围，则判定该像素的前向运动矢量或后向运动矢量中的一个对于该像素无效。4. 如权利要求3所述的视频帧的错误隐藏方法，其特征在于，所述步骤S2还包括：获 得所述丢失帧的各图像块的前向残差和后向残差，并将与两个残差中较大的残差对应的运 动矢量判定为对所述丢失帧的对应图像块的各像素无效，所述前向残差是指前一帧的图像 块的残差，所述后向残差是指后一帧的图像块的残差。5. 如权利要求1所述的视频帧的错误隐藏方法，其特征在于，所述步骤S3为：根据如 下公式对所述丢失帧的各个像素进行运动补偿，获得所述丢失帧的各个像素值： p(x，y) = w(x，y) Xpf(x，y) + (l_w(x，y)) Xpb(x，y)，其中，x、y 分别表示像素的水平和 垂直坐标，P(x，y)为补偿得到的丢失帧的像素值，Pf(x，y)为前向运动补偿值，Pb(x，y)为 后向运动补偿值，w (x，y)是权重因子，其取值如下：6. 如权利要求5所述的视频帧的错误隐藏方法，其特征在于， 所述前向运补偿值的计算公式如下：...

【专利技术属性】
技术研发人员：李厚强，张金雷，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34