一种基于残差分块的自适应多视点视频错误隐藏方法技术

本发明专利技术涉及一种基于残差分块的自适应多视点视频错误隐藏方法。新一代多视点视频编码标准MV‑HEVC一旦出现数据丢包，将影响与丢失帧相关联的所有帧，产生差错传播。本发明专利技术方法针对多视点视频中中间视点视频流丢包的现象，首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，然后根据残差值对丢失块进行模式划分，划分结束后基于残差信息对丢失块划分后的子块进行重建顺序排序，最后基于重建顺序结合时空域信息和视点间信息重建丢失块。本方法结合了丢失块邻块的时空域信息和帧间信息，对于多视点视频的中间视点码流丢失问题有较好的重建效果。

An adaptive multi view video error concealment method based on residual block

【技术实现步骤摘要】
一种基于残差分块的自适应多视点视频错误隐藏方法
本专利技术属于视频编解码
，具体涉及一种基于残差分块的自适应多视点视频错误隐藏方法。
技术介绍
多视点视频有着极强的交互性和沉浸式的用户体验，但与之相对应的是几倍于单视点视频的数据量。虽然新一代多视点视频编码标准MV-HEVC极大地提高了多视点视频的压缩效率，但高压缩率意味着低冗余性和帧间的高相关性，即一旦出现数据丢包，影响的将不止是丢失帧这一帧，丢包问题将影响与丢失帧相关联的所有帧，进而产生差错传播。错误隐藏技术能利用解码端已正确接受的信息有效的重建丢失帧，因此广泛应用于多视点视频丢包问题。
技术实现思路
本专利技术的目的就是针对于新一代多视点视频编码标准MV-HEVC，提供一种基于残差分块的自适应多视点视频错误隐藏方法，针对在多视点视频流在传输过程中，中间视点发生错误的情况。本专利技术方法是基于HTM平台，利用丢失块周围可用块的残差信息对丢失块进行块划分，并根据残差信息对丢失块划分后的子块重建顺序进行排序，最后使用时空域信息和视点间信息依序重建丢失块的子块。<本文档来自技高网...

【技术保护点】
1.一种基于残差分块的自适应多视点视频错误隐藏方法，其特征在于：该方法首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，然后根据残差值对丢失块进行模式划分，划分结束后基于残差信息对丢失块划分后的子块进行重建顺序排序，最后基于重建顺序结合时空域信息和视点间信息重建丢失块；具体如下：/n(1).多方向加权残差重建：/n首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，重建公式如下：/n

【技术特征摘要】
1.一种基于残差分块的自适应多视点视频错误隐藏方法，其特征在于：该方法首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，然后根据残差值对丢失块进行模式划分，划分结束后基于残差信息对丢失块划分后的子块进行重建顺序排序，最后基于重建顺序结合时空域信息和视点间信息重建丢失块；具体如下：
(1).多方向加权残差重建：
首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，重建公式如下：



RT为丢失像素点上侧最相邻像素点的的残差值，RB为丢失像素点下侧最相邻像素点的残差值，RL为丢失像素点左侧最相邻像素点的残差值，RR为丢失像素点右侧最相邻像素点的残差值，d1、d2、d3和d4分别为RT、RB、RL和RR到丢失点的距离，Rlost为待重建的点，当邻块也是丢失块时，将对应点的残差值视为0；
(2).丢失块自适应块划分：
首先利用丢失块的空域残差信息对丢失块进行初步块划分，然后利用时域和视点域的信息对丢失块的初步划分进行修正与细化；具体是：
(2-1).初步块划分：
通过对比丢失块局部块的残差值与丢失块整体块残差值的相对大小，对丢失块进行递归划分，将64×64的丢失块划分为若干不同尺寸的子块；
当局部丢失块的残差值小于等于整体丢失块时，对该局部块进行划分，否则不进行划分；
对于丢失块划分，子块的最大尺寸为64×64，此时划分深度为0；子块的最小尺寸为8×8，此时CU的划分深度为3；
设子块CU的尺寸为L×L，其中L＝(64＞＞depth)，depth∈{1,2,3,4}，即CTU划分的最小单元为8×8的CU块，深度depth每增加1层，L缩小1倍；具体递归划分算法流程如下：
Step1.计算当前块Bcur的残差均值resicur，记当前块的尺寸为L×L，划分深度为depthcur；
Step2.如果当前块Bcur深度depthcur＝3，说明已经划分到最小尺寸，退出递归，否则进入Step3；
Step3.将当前块划分为四个子块B0、B1、B2和B3，每个子块的深度为depthi＝depthcur+1，尺寸为Li×Li，Li＝L＞＞1；
Step4.分别计算子块Bi的残差均值resii，对比resii与resicur：当resii≤resicur，不需要进行递归划分；当resii＞resicur，需要划分为更小尺寸的子块，进入Step1进行递归划分；如果B0、B1、B2和B3均不需要递归划分，将B0、B1、B2和B3划分为一个整体，取消对当前块Bcur的划分；
Step4.结束划分；
(2-2).修正与细化：
将前、后向参考帧的同位块和邻视点帧同位块水平方向上的5个块加入候选块集中，在7个块中选择最优匹配块，选择标准如下：



其中，Blost(u0,v0)为丢失块8邻块中某个邻块(u0,v0)处的像素值，Bcandi(u1,v1)为候选块对应邻块(u1,v1)处的像素值，选取相似度值SimValue最大的块作为最优候选块；当最优候选块的SimValue小于等于设定值Tpixel时，将这个最优候选块选择为最优匹配块，并用最优匹配块的划分模式对丢失块进行修正；否则说明这个丢失块没有最优匹配块，不进行修正；
如果最优匹配块存在，则使用它对丢失块进行划分模式修正，修正过程如下：对于丢失块与最优匹配块的同位置区域，如果它们的深度差大于1，则认为此处初步划分出现误差，对其进行修正，将其划分深度加1；否则保持划分深度不变：depthlost为丢失块的深度值，depthmatch为...

【专利技术属性】
技术研发人员：周洋，谢菲，尉婉丽，周辉，陆宇，殷海兵，黄晓峰，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33