基于运动向量外推和图像梯度加权的视频错误隐藏方法技术

本发明专利技术公开了一种基于运动向量外推和图像梯度加权的视频错误隐藏方法，包括以下步骤：解码端进行差错检测、运动向量归一化、计算图像梯度、运动向量外推和运动补偿，用参考帧中相应位置的像素宏块替换受损的像素宏块；本发明专利技术结合梯度加权的运动向量外推方法，在整帧丢失和半帧丢失的情况下，能够在较小的粒度范围内保持运动物体轮廓的完整性和一致性，对于提高受损图像的主观质量恢复有较为明显的效果。

A video error concealment method based on motion vector extrapolation and image gradient weighting

The invention discloses an error concealment method of motion vector extrapolation and image gradient weighted based video decoder comprises the following steps: error detection, motion vector normalization, image gradient calculation, motion vector extrapolation and motion compensation, with the reference frame to the corresponding bit pixel block set to replace the damaged pixel block; the the invention combines motion vector extrapolation method of weighted gradient, the entire frame loss and half frame loss situation, to maintain the integrity and consistency of the contours of moving objects in the small size range, to improve the subjective quality of image restoration of the damaged has obvious effects.

【技术实现步骤摘要】
基于运动向量外推和图像梯度加权的视频错误隐藏方法
本专利技术涉及视频通信领域，具体的说是基于运动向量外推和图像梯度加权的视频错误隐藏方法。
技术介绍
视频图像经过编码后，以视频流的形式在网络传输，受到外界噪音干扰、网络拥塞、信道不稳定等情况会出现误码或丢包，从而导致视频流受损，解码后的视频质量严重下降。为了恢复解码视频图像质量，错误隐藏技术得到广泛研究和应用。现有错误隐藏技术可以分为空域隐藏和时域隐藏两种方式。空域隐藏利用图像受损宏块周围的正确图像信息进行插值隐藏，仅应用于帧内编码宏块或区域，对图像细节不容易恢复。时域隐藏利用前一帧中与当前受损宏块位置相近的宏块的运动向量信息进行当前帧受损宏块的运动向量估计，并利用估计的运动向量进行运动补偿从而恢复受损宏块，适用于帧间编码宏块或区域。由于视频序列中大部分区域都采用帧间编码模式，所以时域隐藏技术的效果决定了整个视频图像质量恢复的效果。现有的时域隐藏技术大致有三种方法:宏块拷贝、运动向量拷贝、运动向量外推。宏块拷贝技术将受损宏块替换为前一帧中对应位置的宏块，仅适合于静止区域；运动向量拷贝技术将受损宏块的运动向量替换为前一帧中对应位置附近某个宏块的运动向量或者替换为附近宏块运动向量的中值、均值等，再依据恢复的运动向量进行运动补偿从而恢复视频图像，此方法适合于平滑运动区域，对非平滑运动区域如物体边界区、变速运动区效果较差；运动向量外推技术首先收集前一帧对应位置附近若干宏块的运动向量，并计算这些宏块运动到当前帧的位置，收集能够运动到当前受损宏块区域的宏块的运动向量和重叠面积，依据面积大小进行加权平均得到当前受损宏块的运动向量，依据此运动向量恢复受损区域图像。以上三种时域隐藏技术中以运动向量外推技术的适用范围更为广泛，适用于不同范围程度宏块或区域受损以及整帧或半帧丢失等情况；然而，运动向量外推技术以宏块运动向量就是宏块运动速度为前提假设，实际上两者并不总是一致，特别是对运动物体边界附近的区域，恢复效果较差；且由于收集的宏块可能一部分处于前景轮廓区域，一部分处于背景区域，则按面积加权的方式恢复的图像不能保证物体轮廓的一致性。基于此，针对上述现状中存在的局限性，本专利技术提出了基于运动向量外推和图像梯度加权的视频错误隐藏方法，能够在半帧图像丢失和整帧图像丢失的情况下进行视频图像质量的恢复，并克服现有错误隐藏技术的不足之处，提高受损图像的质量恢复程度。
技术实现思路
为了解决上述现有技术的问题，本专利技术提供基于运动向量外推和图像梯度加权的视频错误隐藏方法，能够在半帧图像丢失和整帧图像丢失的情况下进行视频图像质量的恢复，并克服现有错误隐藏技术的不足之处，提高受损图像的质量恢复程度。本专利技术解决其技术问题所采用的技术方案是：基于运动向量外推和图像梯度加权的视频错误隐藏方法，包括以下步骤：步骤1、解码端进行差错检测，负责检测当前受损的帧，标记所有受损区域的宏块；步骤2、将受损的帧的前一帧作为参考帧，将参考帧的所有宏块的运动向量归一化；步骤3、计算参考帧的图像梯度，以sobel算子进行参考帧内每个像素的梯度计算，并依据整帧图像的运动程度进行梯度修正；步骤4、基于步骤3中的图像梯度计算结果，对受损宏块进行运动向量外推；步骤5、根据步骤4中得到的运动向量，进行运动补偿，用参考帧中相应位置的像素宏块替换受损的像素宏块。进一步地，所述步骤2中运动向量归一化具体为：将参考帧的所有宏块运动向量除以宏块引用帧距离得到归一化的宏块运动向量。进一步地，对于每个4×4像素宏块，设定一个阈值T，MVx为宏块x向的运动向量，MVy为宏块y向的运动向量，所述步骤3中图像梯度修正的一种方式具体如下：a1、当|MVx|+|MVy|＞T，该宏块内像素梯度提升一倍，计算每个4×4像素宏块内16个像素的梯度总和，标记为此宏块的梯度；a2、当|MVx|+|MVy|≤T，该宏块内像素梯度降低一半，并计算每个4×4像素宏块内16个像素的梯度总和，标记为此宏块的梯度。进一步地，对于每个4×4像素宏块，所述步骤4中图像梯度计算的一种方式具体如下：将参考帧中与受损宏块位置最近的25个4×4像素宏块进行运动向量外推，得到外推宏块运动到当前帧的位置，计算各外推宏块与受损宏块之间重叠的面积以及有重叠区域的外推宏块的梯度，再以面积与梯度之和对有重叠区域的外推宏块的运动向量作加权平均得到受损宏块的运动向量。与现有技术相比，本专利技术的有益效果是：本专利技术结合梯度加权的运动向量外推方法，在整帧丢失和半帧丢失的情况下，能够在较小的粒度范围内保持运动物体轮廓的完整性和一致性，对于提高受损图像的主观质量恢复有较为明显的效果。附图说明下面结合附图和实施例对本专利技术进一步说明。图1为本专利技术的流程框架图；图2为本专利技术中运动向量外推的示意图；图3为本专利技术中受损宏块的运动向量。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1至图2所示，本专利技术所述的基于运动向量外推和图像梯度加权的视频错误隐藏方法，包括以下步骤：步骤1、解码端进行差错检测，负责检测当前受损的帧，记为第n帧，标记所有受损区域的宏块，方便后续恢复步骤使用；步骤2、将受损的帧的前一帧作为参考帧，将参考帧记为第n-1帧，将参考帧的所有宏块的运动向量归一化；步骤3、计算参考帧的图像梯度，以sobel算子进行参考帧内每个像素的梯度计算，并依据整帧图像的运动程度进行梯度修正，用来实现区分前景和背景区域，凸显运动前景区域轮廓，弱化背景区域轮廓；步骤4、基于步骤3中的图像梯度计算结果，对受损宏块进行运动向量外推；步骤5、根据步骤4中得到的运动向量，进行运动补偿，用参考帧中相应位置的像素宏块替换受损的像素宏块。具体实施时，所述步骤2中运动向量归一化具体为：将参考帧的所有宏块运动向量除以宏块引用帧距离得到归一化的宏块运动向量，具体的为：若宏块所在帧为第n帧，宏块引用帧为第m帧，则宏块引用帧距离为|n-m|。具体实施时，对于每个4×4像素宏块，设定一个阈值T，MVx为宏块x向的运动向量，MVy为宏块y向的运动向量，所述步骤3中图像梯度修正的一种方式具体如下：a1、当|MVx|+|MVy|＞T，该宏块内像素梯度提升一倍，计算每个4×4像素宏块内16个像素的梯度总和，标记为此宏块的梯度；a2、当|MVx|+|MVy|≤T，该宏块内像素梯度降低一半，并计算每个4×4像素宏块内16个像素的梯度总和，标记为此宏块的梯度。具体实施时，对于每个4×4像素宏块，所述步骤4中图像梯度计算的一种方式具体如下：将参考帧中与受损宏块位置最近的25个4×4像素宏块进行运动向量外推，得到外推宏块运动到当前帧的位置，计算各外推宏块与受损宏块之间重叠的面积以及有重叠区域的外推宏块的梯度，再以面积与梯度之和对有重叠区域的外推宏块的运动向量作加权平均得到受损宏块的运动向量。具体如图3所示，受损宏块的运动向量估计过程为：假定有4个外推宏块100、101、102、103与受损宏块重叠，这4个外推宏块的运动向量分别为MV1、MV2、MV3、MV4，分别计算4个重叠区域的面积A1、A2、A3、A4，以及这4个宏块的梯度T1、T本文档来自技高网...

【技术保护点】
基于运动向量外推和图像梯度加权的视频错误隐藏方法，其特征在于，包括以下步骤：步骤1、解码端进行差错检测，负责检测当前受损的帧，标记所有受损区域的宏块；步骤2、将受损的帧的前一帧作为参考帧，将参考帧的所有宏块的运动向量归一化；步骤3、计算参考帧的图像梯度，以sobel算子进行参考帧内每个像素的梯度计算，并依据整帧图像的运动程度进行梯度修正；步骤4、基于步骤3中的图像梯度计算结果，对受损宏块进行运动向量外推；步骤5、根据步骤4中得到的运动向量，进行运动补偿，用参考帧中相应位置的像素宏块替换受损的像素宏块。

【技术特征摘要】
1.基于运动向量外推和图像梯度加权的视频错误隐藏方法，其特征在于，包括以下步骤：步骤1、解码端进行差错检测，负责检测当前受损的帧，标记所有受损区域的宏块；步骤2、将受损的帧的前一帧作为参考帧，将参考帧的所有宏块的运动向量归一化；步骤3、计算参考帧的图像梯度，以sobel算子进行参考帧内每个像素的梯度计算，并依据整帧图像的运动程度进行梯度修正；步骤4、基于步骤3中的图像梯度计算结果，对受损宏块进行运动向量外推；步骤5、根据步骤4中得到的运动向量，进行运动补偿，用参考帧中相应位置的像素宏块替换受损的像素宏块。2.根据权利要求1所述的基于运动向量外推和图像梯度加权的视频错误隐藏方法，其特征在于，所述步骤2中运动向量归一化具体为：将参考帧的所有宏块运动向量除以宏块引用帧距离得到归一化的宏块运动向量。3.根据权利要求1所述的基于运动向量外推和图像梯度加权的视频错误隐藏方法，其特征在于，对于每个4...

【专利技术属性】
技术研发人员：程家明，
申请(专利权)人：武汉兴图新科电子股份有限公司，
类型：发明
国别省市：湖北,42