一种基于显著性的立体三维视频错误隐藏方法技术

本发明专利技术公开了一种基于显著性的立体三维视频错误隐藏方法。传统的错误隐藏技术在视频流在传输过程中发生整帧丢失时恢复效果差。本发明专利技术方法首先获取丢失帧的运动显著性图、深度显著性图，深度边缘显著性图，然后融合运动显著性图和深度显著性图并块化，再与深度边缘显著性图合并得到最终显著性图，并进行显著等级划分。对高显著等级的区域采用视点间搜索像素填补和候选运动矢量补偿恢复，对中显著等级的区域采用时域搜索像素填补和视点间搜索像素填补，对低显著等级区域采用时域帧像素拷贝填补。本发明专利技术方法除了结合3D—HEVC特性提出新的错误隐藏方法，考虑了视频画面的显著性，对立体视频在网络传输中发生的整帧丢失现象有很好的恢复效果。

【技术实现步骤摘要】
一种基于显著性的立体三维视频错误隐藏方法
本专利技术属于计算机领域，具体是视频编解码
，涉及一种基于显著性的立体三维视频错误隐藏方法。
技术介绍
错误隐藏是针对视频流传输丢包，既不用像FEC(前向纠错)那样消耗额外带宽，也不用像ARQ(自动重传)那样引入额外的延时，利用帧间和帧内的冗余性，使用已正确接受的信息来隐藏丢失帧中的错误区域。视频流在传输过程中容易因网络拥塞或者带宽受限等问题发生丢包现象，从而降低当前帧及后续帧的解码质量，使观众的视觉体验变差。为解决这一问题，在解码端应用错误隐藏技术来修复差错帧。传统的错误隐藏技术主要面向H.264标准的二维编码视频，对于立体视频的修复效果较差，因此不能直接应用于新标准HVEC及其扩展的多视点加深度框架3D-HEVC。
技术实现思路
本专利技术的目的是针对视频流在传输过程中发生整帧丢失时，传统的错误隐藏技术恢复效果较差的问题，提供一种基于显著性的立体三维视频错误隐藏方法，本专利技术方法不仅提出了新的错误隐藏方法，而且考虑了人眼感知特性显著性的提取。本专利技术方法基于3D本文档来自技高网...

【技术保护点】
1.一种基于显著性的立体三维视频错误隐藏方法，其特征在于，该方法具体是：/n步骤(1).采用高效率视频编码HEVC默认的编码树单元CTU大小64×64，获得丢失帧中各区域的显著等级，具体如下：/n(1-1).对一个丢失块分别获取前向参考帧中同位置的像素块、后向参考帧中同位置的像素块，以及视点间当前参考帧中同位置的像素块；计算得到像素点(x

【技术特征摘要】
1.一种基于显著性的立体三维视频错误隐藏方法，其特征在于，该方法具体是：
步骤(1).采用高效率视频编码HEVC默认的编码树单元CTU大小64×64，获得丢失帧中各区域的显著等级，具体如下：
(1-1).对一个丢失块分别获取前向参考帧中同位置的像素块、后向参考帧中同位置的像素块，以及视点间当前参考帧中同位置的像素块；计算得到像素点(x0+i,y0+j)当前时刻的运动显著性图Sa的像素值Sa(x0+i,y0+j,t)；其中，视点间的参考视点为当前视点的水平相邻视点；所述的丢失块是指彩色图丢失，其对应深度图Sc并未丢失；
Sa(x0+i,y0+j,t)＝||pn(x0+i,y0+j,t-1)-pn-1(x0+i,y0+j,t)|-|pn(x0+i,y0+j,t+1)-pn-1(x0+i,y0+j,t)||；
其中，(x0,y0)是丢失块的左上角的像素坐标，(i,j)是相对于左上角像素坐标的偏移值，i,j∈Z，且i,j∈[0,63]，Z表示整数；t表示当前帧所对应的时刻，t-1、t+1分别表示对应当前帧的前向参考帧和后向参考帧所对应的时刻；n、n-1分别表示当前视点和视点间参考视点；pn(x,y,t-1)表示当前视点前向参考帧中丢失块对应(x,y)位置的像素值，pn(x,y,t+1)表示当前视点后向参考帧中丢失块对应(x,y)位置的像素值，pn-1(x,y,t)表示视点间参考视点当前参考帧中丢失块对应(x,y)位置的像素值；
(1-2).对彩色图丢失块所对应深度图的同位置像素块进行预处理，得到预处理后深度图Sb中像素点(x0+i,y0+j)的像素值Sb(x0+i,y0+j)：



其中，d(x0+i,y0+j)表示当前视点当前深度帧中对应(x0+i,y0+j)位置的像素值，dy0+j表示当前视点当前深度帧中第y0+j行像素点的平均像素值；
(1-3).采用区域对比度提取得到深度显著性图Sd中像素点(x0+i,y0+j)的像素值Sd(x0+i,y0+j)：

其中，k∈[0,255],C(k)表示当前视点当前深度帧中该64×64块内像素值为k的像素点的平均出现频率，m表示该64×64块内像素值为k的像素点的个数；
(1-4).计算深度图Sc中像素点(x0+i,y0+j)的x方向梯度幅值Gx(x0+i,y0+j)和y方向梯度幅值Gy(x0+i,y0+j)，得到(x0+i,y0+j)像素点的边缘梯度幅值G(x0+i,y0+j)：






G(x0+i,y0+j)＝|Gx(x0+i,y0+j)|+|Gy(x0+i,y0+j)|；
其中，d(x,y)表示深度帧中(x,y)位置像素点的像素值；
将边缘梯度幅值大于120的深度像素点所对应的像素值设为255，其余深度像素点的像素值全部设为0，得到深度边缘显著性图Se中像素点(x0+i,y0+j)的像素值Se(x0+i,y0+j)：



(1-5).采用乘法融合的方法计算融合后的显著性值：
首先将运动显著性图和深度显著性图融合，得到运动深度融合显著性图Sad中像素点(x0+i,y0+j)的像素值Sad(x0+i,y0+j)：



然后将运动深度融合显著性图Sad进行块化处理，得到块化处理后运动深度融合显著性图Sad′中像素点(x0+i,y0+j)的像素值Sad′(x0+i,y0+j)：
s.t.1：对于Sad中每个编码树单元CTU尺寸为64×64，存在超过6个像素值为128的像素点；
将深度边缘显著性图Se块化处理，得到块化处理后深度边缘显著性图Se′中像素点(x0+i,y0+j)的像素值Se′(x0+i,y0+j)：
s.t.2：对于Se中每个编码树单元CTU，存在超过10个像素值为255的像素点；
丢失块的最终显著性图S中像素点(x0+i,y0+j)的像素值S(x0+i,y0+j)由Se′(x0+i,y0+j)和Sad′(x0+i,y0+j)合并而成：

&&表示并且；
S中所有像素值为255的像素点构成的区域的显著等级设为高，有像素值为0的像素点构成的区域的显著等级设为低，有像素值为128的像素点构成的区域的显著等级设为中，得到该丢失块各区域的显著等级；
步骤(2).不同显著等级的区域采用不同的恢复方式；
(2-1).对于显著等级为低的区域，采用时域拷贝的方法恢复，即用前向参考帧或者后向参考帧的同位置像素直接填补；
(2-2).对于显著等级为中的区域，采用时域搜索像素填补或视点间搜索像素填补：
将当前64×64的丢失块划分为32×32的宏块pcCU，假设pcCU是线性运动的，在搜索范围为[-16,16]内搜索前向帧与后向帧的对应块；
对搜索的前向块pcCU_forward和后向块pcCU_back做绝对差值Diff：



其中，(i',j')是相对于左上角像素坐标的偏移值，i′,j′∈Z，且i′,j′∈[0,31]；xs和ys分别为x方向和y方向的搜索值，xs,ys∈Z，xs,ys∈[-16,16]；pcCU_back(x0+i'-xs,y0+j'-ys)为搜索的后向块像素，即后向参考帧中对应(x0+i'-xs,y0+j'-ys)位置像素点的像素值；pcCU_forward(x0+i'+xs,y0+j'+ys)为搜索的前向块像素；即前向参考帧中对应(x0+i'+xs...

【专利技术属性】
技术研发人员：崔金鹏，周洋，梁文青，张博文，殷海兵，陆宇，黄晓峰，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33