一种时空域相结合的自适应错误隐藏修复方法及系统技术方案

本发明专利技术涉及视频修复技术领域，尤其涉及一种时空域相结合的自适应错误隐藏修复方法及系统。所述时空域相结合的自适应错误隐藏修复方法包括获取已解码的图像信息；确定所述图像信息中待修复的帧；若所述待修复的帧为I帧，采用空域修复方法对待修复的帧进行修复；若所述待修复的帧为P帧，采用时域修复方法对待修复的帧进行修复。在空域修复中，根据帧内编码模式以及分析接收块的位置信息来判断使用合适的算法来修复丢失的宏块信息。其中改进的方向插值算法先对丢失宏块进行区域划分，使用基于5×5大小的8方向Sobel算子对丢失宏块周边像素计算插值方向，选出符合纹理以及边界方向的地方进行插值计算，提高了修复的精确度。

【技术实现步骤摘要】

本专利技术涉及视频修复
，尤其涉及一种时空域相结合的自适应错误隐藏修复方法及系统。
技术介绍
在带宽受限的无线信道或者网络上传输视频流，数据包丢失和延迟难以避免。人是视频数据的最终接收者，视频质量不好会影响人们观看。因此，需要采用某种形式的错误恢复技术，用以恢复丢失视频数据或者减轻错误传播。视频编码标准H.264不仅要降低比特流的大小，也要保留视频质量。当视频传输到接收端后，H.264解码器会对数据进行扫描并标记错误位置，然后进行数据的修复，修复的技术称为错误隐藏(error concealment，EC)，该技术的功能在解码端实现，其主要是恢复和估计丢失的信息，包含两类修复方式：空域错误隐藏和时域错误隐藏。空域错误隐藏方法是利用周边没有丢失的数据或者已经修复好的数据对损失宏块进行恢复，通常是插值的方法。时域错误隐藏方法是估计丢失的运动矢量和使用时域运动补偿来替代丢失的宏块。空域错误隐藏方法(spatial error concealment，SEC)一般使用在像素域，也有在频域内使用。例如Alkachouh等人提出的是基于DCT域的修复方法，损失宏块的错误隐藏可以通过估计周边宏块的DC均值来修复；Salama等人提出使用近邻的宏块边界像素进行加权平均计算来替代丢失宏块数据；上述提出的错误隐藏方法也存在一些不足，比如出现边界效应；Kwok等人使用周边宏块进行线性掩模操作，估计最有可能的边界方向，然后沿着边界线性插值；Rong fu等人提出了一种SEC方法，基于边界探测得到边界强度来选择使用最近像素线性插值和方向插值；Salama等人提出了基于重构块的帧内方向插值算法，先判断边界方向，然后根据方向使用周围正确接收像素来插值。该方法效率较高，但是当丢失宏块聚集在一起时，修复后容易出现插值错误。时域错误隐藏方法比空域错误隐藏方法数据恢复效果好，其主要利用视频帧之间的时域相关性。Wang等人提出了边界匹配算法(BMA)，最大限度地减少重建块的内部边界和外部边界之间的全变差，获得运动矢量来修复受损宏块。Yi Wang等人提出了一种在无线网络传输中的帧间错误隐藏算法，主要是考虑了正确接收宏块的帧间划分模式，对受损块进行运动修复。如果缺失宏块，则估计运动矢量仍然是不准确的。目前基于帧编码划分模式的时域错误隐藏方法与空域错误隐藏方法相结合来解决视频数据丢失以及错误传播的方法还没有。
技术实现思路
本专利技术所要解决的技术问题是：提供一种时空域相结合的自适应错误隐藏修复方法及系统。为了解决上述技术问题，本专利技术采用的技术方案为：一种时空域相结合的自适应错误隐藏修复方法，包括：获取已解码的图像信息；确定所述图像信息中待修复的帧；若所述待修复的帧为I帧，采用空域修复方法对待修复的帧进行修复；若所述待修复的帧为P帧，采用时域修复方法对待修复的帧进行修复。本专利技术采用的另一技术方案为：一种时空域相结合的自适应错误隐藏修复系统，包括获取模块、确定模块、第一采用模块和第二采用模块；所述获取模块，用于获取已解码的图像信息；所述确定模块，用于确定所述图像信息中待修复的帧；所述第一采用模块，用于若所述待修复的帧为I帧，采用空域修复方法对待修复的帧进行修复；所述第二采用模块，用于若所述待修复的帧为P帧，采用时域修复方法对待修复的帧进行修复。本专利技术的有益效果在于：本专利技术设计的错误隐藏算法，具有好的兼容性，可以嵌入到现有的视频编码框架里面。在空域修复中，该专利技术提出的自适应SEC策略可以根据帧内编码模式以及分析接收块的位置信息来判断使用合适的算法来修复丢失的宏块信息。丢失宏块周围的宏块编码模式反应了该区域的基本状态：平坦、纹理、边界区域以及运动幅度大小，而周边接收宏块解码正确与否也决定着哪种修复算法更适合修复当前的丢失状况。空域修复中的方向插值算法先对丢失宏块进行区域划分，使用基于5×5大小的8方向Sobel算子对丢失宏块周边像素计算插值方向，选出符合纹理以及边界方向的地方进行插值计算。8个方向的选择性插值提高了修复的精确度。空域修复的方法仅仅是利用了空域相关性，而视频之间是存在时域相关性的。本专利技术使用视频帧间编码模式来灵活的决定使用适当的修复算法。附图说明图1为本专利技术的时空域相结合的自适应错误隐藏修复方法的步骤流程图；图2(a)为本专利技术的具体实施方式的从视频帧截取的图像块的示意图；图2(b)为本专利技术的具体实施方式的从视频帧截取的图像块的示意图；图2(c)为本专利技术的具体实施方式的从视频帧截取的图像块的示意图；图3为本专利技术的具体实施方式的第一宏块示意图；图4为本专利技术的具体实施方式的八方向示意图；图5为本专利技术的具体实施方式的宏块区域划分图；图6(a)为本专利技术的具体实施方式的Sobel算法的水平方向模板；图6(b)为本专利技术的具体实施方式的Sobel算法的22.5°方向模板；图6(c)为本专利技术的具体实施方式的Sobel算法的45°方向模板；图6(d)为本专利技术的具体实施方式的Sobel算法的67.5°方向模板；图6(e)为本专利技术的具体实施方式的Sobel算法的垂直方向模板；图6(f)为本专利技术的具体实施方式的Sobel算法的112.5°方向模板；图6(g)为本专利技术的具体实施方式的Sobel算法的135°方向模板；图6(h)为本专利技术的具体实施方式的Sobel算法的157.5°方向模板；图7(a)为本专利技术的具体实施方式的八方向的插值示意图；图7(b)为本专利技术的具体实施方式的Sobel算法的采样示意图；图8为本专利技术的具体实施方式的加权插值示意图；图9为本专利技术的具体实施方式的改进的TEC算法流程图；图10(a)为本专利技术的具体实施方式的每个4×4块修复顺序示意图；图10(b)为本专利技术的具体实施方式的每个4×4块修复顺序示意图；图10(c)为本专利技术的具体实施方式的每个4×4块修复顺序示意图；图10(d)为本专利技术的具体实施方式的每个4×4块修复顺序示意图；图11(a)为本专利技术的具体实施方式的每个8×8块修复顺序示意图；图11(b)为本专利技术的具体实施方式的每个8×8块修复顺序示意图；图11(c)为本专利技术的具体实施方式的每个8×8块修复顺序示意图；图11(d)为本专利技术的具体实施方式的每个8×8块修复顺序示意图；图11(e)为本专利技术的具体实施方式的每个8×8块修复顺序示意图；图11(f)为本专利技术的具体实施方式的每个8×8块修复顺序示意图；图12(a)～(i)为三个视频序列的图像质量修复对比；图13(a)～(k)为FOREMAN序列的图像质量修复对比；图14(a)～(b)为CREW序列的图像质量修复对比。具体实施方式为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。参阅图1-14，本专利技术提供的一种时空域相结合的自适应错误隐藏修复方法，包括：获取已解码的图像信息；确定所述图像信息中待修复的帧；若所述待修复的帧为I帧，采用空域修复方法对待修复的帧进行修复；若所述待修复的帧为P帧，采用时域修复方法对待修复的帧进行修复。所述“若所述待修复的帧为I帧，采用空域修复方法对待修复的帧进行修复”具体为：若所述待修复的帧为I帧，定位所述待修复的帧中丢失数据的宏块的位置；所述宏块为已解码图像信息中的像素点；所述丢失数据的宏块为第一宏块；获取所述第一宏块四周的宏本文档来自技高网...

【技术保护点】
一种时空域相结合的自适应错误隐藏修复方法，其特征在于，包括：获取已解码的图像信息；确定所述图像信息中待修复的帧；若所述待修复的帧为I帧，采用空域修复方法对待修复的帧进行修复；若所述待修复的帧为P帧，采用时域修复方法对待修复的帧进行修复。

【技术特征摘要】
1.一种时空域相结合的自适应错误隐藏修复方法，其特征在于，包括：获取已解码的图像信息；确定所述图像信息中待修复的帧；若所述待修复的帧为I帧，采用空域修复方法对待修复的帧进行修复；若所述待修复的帧为P帧，采用时域修复方法对待修复的帧进行修复。2.根据权利要求1所述的时空域相结合的自适应错误隐藏修复方法，其特征在于，所述“若所述待修复的帧为I帧，采用空域修复方法对待修复的帧进行修复”具体为：若所述待修复的帧为I帧，定位所述待修复的帧中丢失数据的宏块的位置；所述宏块为已解码图像信息中的像素点；所述丢失数据的宏块为第一宏块；获取所述第一宏块四周的宏块的丢失情况；若所述第一宏块四周的宏块均为正确接收的宏块，则采用空域修复中的方向插值方法对所述第一宏块进行修复；若所述第一宏块四周的宏块存在错误接收的宏块，若正确接收的宏块的划分模式个数在预设的阈值范围内，则采用空域修复中的帧内修复方法对所述第一宏块进行修复；若所述第一宏块四周的宏块存在错误接收的宏块，若正确接收的宏块的划分模式个数超出预设的阈值范围，则采用空域修复中的方向插值方法对所述第一宏块进行修复。3.根据权利要求2所述的时空域相结合的自适应错误隐藏修复方法，其特征在于，所述空域修复中的方向插值方法为：采用8个方向对所述第一宏块进行区域划分；对划分后的区域的边界计算边界的梯度向量；根据计算得到的边界的梯度向量计算边界的梯度幅值；通过边界的梯度幅值确定8个方向的相关性大小；根据相关性大小对第一宏块进行插值处理。4.根据权利要求3所述的时空域相结合的自适应错误隐藏修复方法，其特征在于，所述“根据相关性大小对第一宏块进行插值处理”具体为：按照相关性最大所对应的方向，绘制经过第一宏块的直线，得到所述直线与待修复的帧边缘相交的两个像素点，并分别计算两个像素点到第一宏块的距离；根据所述两个像素点的灰度值和两个像素点到第一宏块的距离计算得到第一宏块的灰度值，根据计算得到的灰度值对第一宏块进行插值处理。5.根据权利要求1所述的时空域相结合的自适应错误隐藏修复方法，其特征在于，所述“若所述待修复的帧为P帧，采用时域修复方法对待修复的帧进行修复”具体为：若所述待修复的帧为P帧，定位所述待修复的帧中丢失数据的宏块的位置；所述宏块为已解码图像信息中的像素点；所述丢失数据的宏块为第一宏块；获取所述第一宏块四周的宏块的丢失情况；若所述第一宏块四周的宏块均为正确接收的宏块，则所述正确接收的宏块的划分模式为SKIP模式，将所述待修复的帧的前一帧上与第一宏块对应位置的灰度值作为第一宏块的插值；若所述第一宏块四周的宏块存在错误接收的宏块，若所述第一宏块四周的宏块的划分模式为帧内模式，则采用空域修复中的方向插值方法对所述第一宏块进行修复；若所述第一宏块四周的宏块存在错误接收的宏块，若所述第一宏块四周的宏块的划分模式为帧内模式为第一帧间模式，则采用边界匹配算法对所述第一宏块进行修复；所述第一帧间模式为16×16的帧间模式；若所述第一宏块四周的宏块存在错误接收的宏块，若所述第一宏块四周的宏块的划分模式为帧内模式为第二帧间模式，则采用加权运动矢量修复或帧间插值法对所述第一宏块进行修复；所述第二帧间模式为8×8、16×8、8×16、4×4、4×8或8×4的帧间模式。6.一种时空域相结合的自适应错误隐藏修复系统，其特征在于，包括获取模块、确定模块、第一采用模块和第二采用模块；所述获取模块，用于获取已解码的图像信息；所述确定模块，用于确定所述图像信息中待修复的帧；所述第一采用模块，用于若...

【专利技术属性】
技术研发人员：叶锋，许力，李承欣，林晖，陈家祯，郑子华，洪斯婷，李婉茹，
申请(专利权)人：福建师范大学，
类型：发明
国别省市：福建;35