基于多视点视频整帧丢失的自适应错误掩盖方法技术

一种基于多视点视频整帧丢失的自适应错误掩盖方法，首先将丢失帧分块，然后利用前一视点和后一视点的对应丢失块搜索范围内的视差矢量均向丢失块投影，取得相关视差集合以确定目标块的视差矢量估计，计算视点间绝对误差和VSAD，获得视点间整帧丢失的错误掩盖恢复帧，在时域上将视差矢量改为运动矢量，采用与视点间相同的方式进行投影，估计得到目标块的最佳运动矢量，计算时域前一帧和后一帧的绝对差值和ISAD，获得时域内整帧丢失的错误掩盖恢复帧，最后将视点间和视点内的恢复帧利用块重组方式结合，获得最终的错误掩盖恢复帧。本发明专利技术自适应的块模式缓解了基于块的错误掩盖方法有明显人工痕迹的通病，提高了视频序列的主观质量，相较于传统的时域掩盖法获得了明显改善。

【技术实现步骤摘要】
基于多视点视频整帧丢失的自适应错误掩盖方法
本专利技术涉及一种立体视频的错误掩盖方法。特别是涉及一种基于多视点视频整帧丢失的自适应错误掩盖方法。
技术介绍
现今，多视点视频能够再现场景的立体信息，但是由于需要多个相机从不同的角度拍摄同一场景，其数据量将会远远大于单视点视频，因此也会一定程度上增加传输过程中的差错。采用H.264/AVC的传输则进一步强调了视频帧间相关性，某个关键信息的丢失就可能导致整帧视频解码失败，造成视频整帧丢失，并在该丢失帧的相邻视点和后续解码帧中引起大范围的误差传播，从而降低整个视频图像组的质量。多视点视频的错误掩盖目的，就是为了极大程度地恢复丢失的信息，提高视频的主观质量。目前，尽管已经存在很多基于整帧丢失的错误掩盖算法，但是大多数都是以单视点视频为研究对象，只考虑到时域上的错误掩盖，对于多视点视频不具有普遍的适用性。例如Hsieh提出的基于灰度多项式插值的整帧恢复方法，Liu等提出的一种双向的运动矢量拷贝方法，Koloda提出的基于线性预测模型掩盖丢失帧等。虽然单视点视频整帧丢失的错误掩盖技术近年来得到了极大的发展，基于MVC的多视点视频整帧丢失的错误掩盖仍然是一个相对新的研究领域。因此，如何实现更好的主、客观掩盖质量，有效地控制误码传播，是分析多视点视频的错误掩盖的方法一个具有挑战性的问题。
技术实现思路
本专利技术所要解决的技术问题是，提供一种充分利用MVC的编码结构，引入MVC标准以外的块模式，以实现良好的主、客观掩盖质量的基于多视点视频整帧丢失的自适应错误掩盖方法。本专利技术所采用的技术方案是：一种基于多视点视频整帧丢失的自适应错误掩盖方法，首先将丢失帧分块，然后利用前一视点和后一视点的对应丢失块搜索范围内的视差矢量均向丢失块投影，取得相关视差集合以确定目标块的视差矢量估计，计算视点间绝对误差和VSAD，获得视点间整帧丢失的错误掩盖恢复帧，接着在时域上将视差矢量改为运动矢量，采用与视点间相同的方式进行投影，估计得到目标块的最佳运动矢量，计算时域前一帧和后一帧的绝对差值和ISAD，获得时域内整帧丢失的错误掩盖恢复帧，最后，将视点间和视点内的恢复帧利用块重组方式结合，获得最终的错误掩盖恢复帧。具体包括如下步骤：1）首先进行视点间错误掩盖：（1）假设丢失帧位于视点V的t时刻，记做ft,v,对丢失帧的前一视点V-1和后一视点V+1的对应帧进行局部视差线性外推，使得在前一视点中丢失帧的相邻帧ft,v-1和后一视点中丢失帧的相邻帧ft,v+1搜索范围内的每个局部视差Idv都向丢失帧ft,v投影；定义为内左上角坐标是i,j的块的局部视差，为该左上角坐标是i,j的块在ft,v上投影后与当前考察4×4块重叠面积内的像素数；（2）将所有重叠块的局部视差按照排列，得到一个相关视差的集合：和（3）按集合顺序寻找一对局部视差，假设为它们应该满足如下条件：和其中，TDV为匹配阈值，Smax表示所有符合上述条件的局部视差对外推面积和的最大值；（4）目标块m,n的局部视差被估计为：（5）根据第（1）－（4）步，计算出当前块的估计视差，按照该视差从丢失帧的前一帧或后一帧拷贝每个4×4块，得到由视点间错误掩盖的恢复帧（6）定义VSAD为块m,n在视差DVm,n下的视点间绝对误差和：其中，ft,v-1(x-DVx,y-DVy)是前一视点中坐标为x-DVx,y-DVy处的像素值，ft,v+1(x+DVx,y+DVy)是后一视点中坐标为x+DVx,y+DVy处的像素值；2）视点内错误掩盖：（1）定义丢失帧ft,v的时域相邻帧为ft-1,v和ft+1,v,为ft-1,v内左上角坐标是i,j的块的运动矢量，为左上角坐标是i,j的块在ft,v上投影后与当前考察4×4块重叠面积内的像素数；（2）按照重叠度排序所有重叠块的运动矢量，得到丢失帧ft,v的前一时刻和后一时刻的外推运动矢量集合：和（3）为了避免过多无关块的影响，在和中寻找一对满足如下条件的最佳运动矢量对和其中，TMV为匹配阈值，Smax表示所有符合上述条件的运动矢量对外推面积和的最大值；（4）目标块m,n的最佳运动矢量为：（5）按照所得丢失帧每个4×4块的运动矢量，拷贝前一帧或后一帧恢复丢失帧，得到由视点内错误掩盖恢复的丢失帧丢失帧的所有4×4块从ft-1,v到ft,v和从ft,v到ft+1,v的运动矢量都是MVm,n；（6）计算块m,n在时域前一帧和后一帧中对应块的绝对差值和ISAD：其中，ft-1,v(x-MVx,y-MVy)是前一帧中坐标为x-MVx,y-MVy处的像素值，ft+1,v(x+MVx,y+MVy)是后一帧中坐标为x+MVx,y+MVy处的像素值；3）定义通过步骤1）和步骤2）两种错误掩盖方式得到的候选块分别为B1和B2,B为本文档来自技高网...

【技术保护点】
一种基于多视点视频整帧丢失的自适应错误掩盖方法，其特征在于，首先将丢失帧分块，然后利用前一视点和后一视点的对应丢失块搜索范围内的视差矢量均向丢失块投影，取得相关视差集合以确定目标块的视差矢量估计，计算视点间绝对误差和VSAD，获得视点间整帧丢失的错误掩盖恢复帧，接着在时域上将视差矢量改为运动矢量，采用与视点间相同的方式进行投影，估计得到目标块的最佳运动矢量，计算时域前一帧和后一帧的绝对差值和ISAD，获得时域内整帧丢失的错误掩盖恢复帧，最后，将视点间和视点内的恢复帧利用块重组方式结合，获得最终的错误掩盖恢复帧。

【技术特征摘要】
1.一种基于多视点视频整帧丢失的自适应错误掩盖方法，首先将丢失帧分块，然后利用前一视点和后一视点的对应丢失块搜索范围内的视差矢量均向丢失块投影，取得相关视差集合以确定目标块的视差矢量估计，计算视点间绝对误差和VSAD，获得视点间整帧丢失的错误掩盖恢复帧，接着在时域上将视差矢量改为运动矢量，采用与视点间相同的方式进行投影，估计得到目标块的最佳运动矢量，计算时域前一帧和后一帧的绝对差值和ISAD，获得时域内整帧丢失的错误掩盖恢复帧，最后，将视点间和视点内的恢复帧利用块重组方式结合，获得最终的错误掩盖恢复帧，其特征在于，具体包括如下步骤：1)首先进行视点间错误掩盖：(1)假设丢失帧位于视点V的t时刻，记做ft,v,对丢失帧的前一视点V-1和后一视点V+1的对应帧进行局部视差线性外推，使得在前一视点中丢失帧的相邻帧ft,v-1和后一视点中丢失帧的相邻帧ft,v+1搜索范围内的每个局部视差Idv都向丢失帧ft,v投影；定义为ft,v-1内左上角坐标是(i,j)的块的局部视差，为该左上角坐标是(i,j)的块在ft,v上投影后与当前考察4×4块重叠面积内的像素数；(2)将所有重叠块的局部视差按照排列，得到一个相关视差的集合：和(3)按集合顺序寻找一对局部视差，假设为它们应该满足如下条件：和其中，TDV为匹配阈值，Smax表示所有符合上述条件的局部视差对外推面积和的最大值；(4)目标块(m,n)的局部视差被估计为：(5)根据第(1)－(4)步，计算出当前块的估计视差，按照该视差从丢失帧的前一帧或后一帧拷贝每个4×4块，得到由视点间错误掩盖的恢复帧(6)定义VSAD为块(m,n)在视差DVm,n下的视点间绝对误差和：其中，ft,v-1(x-DVx,y-DVy)是前一视点中坐标为(x-DVx,y-DVy)处的像素值，ft,v+1(x+DVx,y+DVy)是后一视点中坐标为(x+DVx,y+DVy)处的像素值；2)视点内错误掩盖：(1)定义丢失帧ft,v的时域相邻帧为ft-1,v和ft+1,v,为ft-1,v内左上角坐标是(i,j)的块的运动矢量，为左上角坐标是(i,j)的块在ft,v上投影后与当前考察4×4块重叠面积内的像素数；(2)按照重叠度排序所有重叠块的运动矢量，得到丢失帧ft,v的前一时刻和后一时刻的外推运动矢量集合：和(3)为了避免过多无关块的影响，在和中寻找一对满足如下条件的最佳运动矢量对和其...

【专利技术属性】
技术研发人员：周圆，庞勃，陈莹，崔波，侯春萍，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12