一种立体视频B帧整帧丢失错误隐藏方法技术

本发明专利技术公开了一种立体视频B帧整帧丢失错误隐藏方法，其根据丢失帧在时域上的前向参考帧与后向参考帧之间的时域相关性，将丢失帧中的每个图像块判定为属于缓慢静止区域或剧烈运动区域，对于属于缓慢静止区域的图像块，由于其时间相关性比较强，因此直接采用时域双向帧拷贝错误隐藏方法对图像块进行错误隐藏；对于属于剧烈运动区域的图像块，计算图像块的时域最优运动矢量，根据图像块的时域最优运动矢量对应的失真值的大小选择合适的时域候选信息和视点域候选信息进行错误隐藏，由于充分利用了丢失帧周围相邻帧的有效信息，采用失真值度量的方法进行有效的选择，使得最终恢复图像的视觉效果(即主观质量)和客观质量得到了大幅度的提升。

【技术实现步骤摘要】
一种立体视频B帧整帧丢失错误隐藏方法
本专利技术涉及一种视频错误隐藏方法，尤其是涉及一种立体视频B帧整帧丢失错误隐藏方法。
技术介绍
随着立体视频各项技术的快速发展及人们生活水平地提高，人们追求更加高质量的视觉体验。与传统媒体相比，立体视频的突出优势在于它能够为大众创造更加直观真实的场景感受，提供更多样化全方位的媒体交互功能。目前，立体视频技术已被广泛地应用于三维电视、远程医疗、视频监控等多个方面。然而，由于立体视频的数据量很大，因此为了有效地传输，不得不进行高效地视频压缩编码。立体视频压缩编码方法通常是利用时间、空间相关性预测来减少时间域、空间域以及视点域的冗余信息，这就使得在压缩数据量的同时，视频流的抗误码性能降低。因而，在视频流经过不可靠的信道传输时，会造成数据包丢失甚至整帧丢失，严重影响解码视频的观看体验。因此，必须采用一种行之有效的错误隐藏方法加以控制。按照丢包方式不同，错误隐藏技术可以分为部分宏块丢失错误隐藏和整帧图像丢失错误隐藏。当部分宏块丢失时，错误隐藏技术不仅可以利用时域和视点域相邻帧的有效信息，还可以利用丢失块周围正确解码重建宏块的信息对丢失宏块进行预测，并通过宏块边界匹配寻找与周围宏块纹理边缘匹配最佳的预测宏块，以达到较好的错误隐藏效果。当整帧图像丢失时，由于丢失帧没有可以利用的信息，在图像恢复及候选块的选择上要比部分宏块丢失更加困难，因此错误隐藏技术只能通过丢失帧时域和视点域相邻帧的有效信息进行恢复，正是由于这个原因，目前针对整帧图像丢失的错误隐藏方法研究的文献相对较少。此外，目前大多数错误隐藏方法是针对立体IPPP编码结构，很少有涉及立体双视点HBP编码结构，由于编码结构的不同，这些错误隐藏方法不能简单地适用于立体双视点HBP编码结构，因此，研究针对立体视频HBP编码结构B帧整帧丢失的错误隐藏方法十分必要。
技术实现思路
本专利技术所要解决的技术问题是提供一种立体视频B帧整帧丢失错误隐藏方法，其能够有效提高丢失的B帧的主观质量和客观质量。本专利技术解决上述技术问题所采用的技术方案为：一种立体视频B帧整帧丢失错误隐藏方法，其特征在于包括以下步骤：①假设HBP编码结构的立体视频中t时刻的右视点图像为B帧，并假设该B帧为丢失帧；②计算丢失帧在时域上的前向参考帧与丢失帧在时域上的后向参考帧之间的像素域帧差图，然后对丢失帧和像素域帧差图分别进行互不重叠的图像块划分处理，再计算像素域帧差图中的每个图像块的像素域平均帧差值，最后根据像素域帧差图中的每个图像块的像素域平均帧差值，判定丢失帧中相同坐标位置的图像块属于剧烈运动区域还是属于缓慢静止区域；③对丢失帧中的每个图像块进行错误隐藏，以完成丢失帧中的每个图像块的亮度信息和色度信息的恢复，具体过程为：③-1、将丢失帧中当前待处理的图像块定义为当前图像块；③-2、如果当前图像块属于缓慢静止区域，则直接采用时域双向帧拷贝错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复，然后执行步骤③-3；如果当前图像块属于剧烈运动区域，则采用时域双向运动估计方法计算当前图像块的时域最优运动矢量，当当前图像块的时域最优运动矢量对应的失真值小于T2时，再采用时域双向错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复，然后执行步骤③-3；而当当前图像块的时域最优运动矢量对应的失真值大于或等于T2时，再采用联合时域和视点域错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复，然后执行步骤③-3；其中，T2表示设定的失真值判定阈值；③-3、将丢失帧中下一个待处理的图像块作为当前图像块，然后返回步骤③-2继续执行，直至丢失帧中的所有图像块各自的亮度信息和色度信息恢复完毕。所述的步骤②的具体过程为：②-1、将丢失帧在时域上的前向参考帧记为Ft-k，将丢失帧在时域上的后向参考帧记为Ft+k，其中，如果丢失帧为核心帧，则取k＝4，如果丢失帧为次核心帧，则取k＝2，如果丢失帧为普通帧，则取k＝1；②-2、计算Ft-k与Ft+k之间的像素域帧差图，记为Ct，将Ct中坐标位置为(x,y)的像素点的像素值记为Ct(x,y)，Ct(x,y)＝|Ft-k(x,y)-Ft+k(x,y)|，其中，1≤x≤W,1≤y≤H，W表示实际编解码中立体视频中的立体图像的宽度，H表示实际编解码中立体视频中的立体图像的高度，Ft-k(x,y)表示Ft-k中坐标位置为(x,y)的像素点的像素值，Ft+k(x,y)表示Ft+k中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝对值符号；②-3、将丢失帧和Ct分别划分成个互不重叠的尺寸大小为16×16的图像块，然后计算Ct中的每个图像块的像素域平均帧差值，将Ct中坐标位置为(m,n)的图像块的像素域平均帧差值记为Et(m,n)，其中，②-4、根据Ct中的每个图像块的像素域平均帧差值，判定丢失帧中相同坐标位置的图像块属于剧烈运动区域还是属于缓慢静止区域，对于丢失帧中坐标位置为(m,n)的图像块，如果Et(m,n)≥T1，则判定该图像块属于剧烈运动区域，如果Et(m,n)＜T1，则判定该图像块属于缓慢静止区域，其中，T1表示设定的区域判定阈值。所述的步骤②-4中取T1＝5。所述的步骤③-2中取T2＝50。所述的步骤③-2中采用时域双向帧拷贝错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复的具体过程为：a1、将丢失帧在时域上的前向参考帧和丢失帧在时域上的后向参考帧分别划分成个互不重叠的尺寸大小为16×16的图像块，其中，W表示实际编解码中立体视频中的立体图像的宽度，H表示实际编解码中立体视频中的立体图像的高度；a2、将丢失帧在时域上的前向参考帧中与当前图像块相同坐标位置的图像块的亮度信息和丢失帧在时域上的后向参考帧中与当前图像块相同坐标位置的图像块的亮度信息的均值作为当前图像块的亮度信息；将丢失帧在时域上的前向参考帧中与当前图像块相同坐标位置的图像块的色度信息和丢失帧在时域上的后向参考帧中与当前图像块相同坐标位置的图像块的色度信息的均值作为当前图像块的色度信息。所述的步骤③-2中采用时域双向运动估计方法计算当前图像块的时域最优运动矢量的具体过程为：b1、将丢失帧在时域上的前向参考帧和丢失帧在时域上的后向参考帧分别划分成个互不重叠的尺寸大小为16×16的图像块，其中，W表示实际编解码中立体视频中的立体图像的宽度，H表示实际编解码中立体视频中的立体图像的高度；b2、假设丢失帧在前向参考帧与后向参考帧之间匀速运动，则当前图像块与前向参考帧中与当前图像块相匹配的图像块之间的运动矢量的方向和当前图像块与后向参考帧中与当前图像块相匹配的图像块之间的运动矢量的方向相反，而值相同；b3、对于当前图像块中的每一个像素点，计算对前向参考帧进行运动估计得到的预测像素值与对后向参考帧进行运动估计得到的预测像素值的差值；然后计算当前图像块对应的所有差值的和，记为STSAD(v)，其中，v表示当前图像块与前向参考帧中与当前图像块相匹配的图像块之间的运动矢量，亦表示当前图像块与后向参考帧中与当前图像块相匹配的图像块之间的运动矢量，p表示以当前图像块的左上角像素点为坐标原点时当本文档来自技高网...

【技术保护点】
一种立体视频B帧整帧丢失错误隐藏方法，其特征在于包括以下步骤：①假设HBP编码结构的立体视频中t时刻的右视点图像为B帧，并假设该B帧为丢失帧；②计算丢失帧在时域上的前向参考帧与丢失帧在时域上的后向参考帧之间的像素域帧差图，然后对丢失帧和像素域帧差图分别进行互不重叠的图像块划分处理，再计算像素域帧差图中的每个图像块的像素域平均帧差值，最后根据像素域帧差图中的每个图像块的像素域平均帧差值，判定丢失帧中相同坐标位置的图像块属于剧烈运动区域还是属于缓慢静止区域；③对丢失帧中的每个图像块进行错误隐藏，以完成丢失帧中的每个图像块的亮度信息和色度信息的恢复，具体过程为：③‑1、将丢失帧中当前待处理的图像块定义为当前图像块；③‑2、如果当前图像块属于缓慢静止区域，则直接采用时域双向帧拷贝错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复，然后执行步骤③‑3；如果当前图像块属于剧烈运动区域，则采用时域双向运动估计方法计算当前图像块的时域最优运动矢量，当当前图像块的时域最优运动矢量对应的失真值小于T2时，再采用时域双向错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复，然后执行步骤③‑3；而当当前图像块的时域最优运动矢量对应的失真值大于或等于T2时，再采用联合时域和视点域错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复，然后执行步骤③‑3；其中，T2表示设定的失真值判定阈值；③‑3、将丢失帧中下一个待处理的图像块作为当前图像块，然后返回步骤③‑2继续执行，直至丢失帧中的所有图像块各自的亮度信息和色度信息恢复完毕。...

【技术特征摘要】
1.一种立体视频B帧整帧丢失错误隐藏方法，其特征在于包括以下步骤：①假设HBP编码结构的立体视频中t时刻的右视点图像为B帧，并假设该B帧为丢失帧；②计算丢失帧在时域上的前向参考帧与丢失帧在时域上的后向参考帧之间的像素域帧差图，然后对丢失帧和像素域帧差图分别进行互不重叠的图像块划分处理，再计算像素域帧差图中的每个图像块的像素域平均帧差值，最后根据像素域帧差图中的每个图像块的像素域平均帧差值，判定丢失帧中相同坐标位置的图像块属于剧烈运动区域还是属于缓慢静止区域；③对丢失帧中的每个图像块进行错误隐藏，以完成丢失帧中的每个图像块的亮度信息和色度信息的恢复，具体过程为：③-1、将丢失帧中当前待处理的图像块定义为当前图像块；③-2、如果当前图像块属于缓慢静止区域，则直接采用时域双向帧拷贝错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复，然后执行步骤③-3；如果当前图像块属于剧烈运动区域，则采用时域双向运动估计方法计算当前图像块的时域最优运动矢量，当当前图像块的时域最优运动矢量对应的失真值小于T2时，再采用时域双向错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复，然后执行步骤③-3；而当当前图像块的时域最优运动矢量对应的失真值大于或等于T2时，再采用联合时域和视点域错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复，然后执行步骤③-3；其中，T2表示设定的失真值判定阈值；所述的步骤③-2中采用时域双向帧拷贝错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复的具体过程为：a1、将丢失帧在时域上的前向参考帧和丢失帧在时域上的后向参考帧分别划分成个互不重叠的尺寸大小为16×16的图像块，其中，W表示实际编解码中立体视频中的立体图像的宽度，H表示实际编解码中立体视频中的立体图像的高度；a2、将丢失帧在时域上的前向参考帧中与当前图像块相同坐标位置的图像块的亮度信息和丢失帧在时域上的后向参考帧中与当前图像块相同坐标位置的图像块的亮度信息的均值作为当前图像块的亮度信息；将丢失帧在时域上的前向参考帧中与当前图像块相同坐标位置的图像块的色度信息和丢失帧在时域上的后向参考帧中与当前图像块相同坐标位置的图像块的色度信息的均值作为当前图像块的色度信息；所述的步骤③-2中采用时域双向运动估计方法计算当前图像块的时域最优运动矢量的具体过程为：b1、将丢失帧在时域上的前向参考帧和丢失帧在时域上的后向参考帧分别划分成个互不重叠的尺寸大小为16×16的图像块，其中，W表示实际编解码中立体视频中的立体图像的宽度，H表示实际编解码中立体视频中的立体图像的高度；b2、假设丢失帧在前向参考帧与后向参考帧之间匀速运动，则当前图像块与前向参考帧中与当前图像块相匹配的图像块之间的运动矢量的方向和当前图像块与后向参考帧中与当前图像块相匹配的图像块之间的运动矢量的方向相反，而值相同；b3、对于当前图像块中的每一个像素点，计算对前向参考帧进行运动估计得到的预测像素值与对后向参考帧进行运动估计得到的预测像素值的差值；然后计算当前图像块对应的所有差值的和，记为STSAD(v)，其中，v表示当前图像块与前向参考帧中与当前图像块相匹配的图像块之间的运动矢量，亦表示当前图像块与后向参考帧中与当前图像块相匹配的图像块之间的运动矢量，p表示以当前图像块的左上角像素点为坐标原点时当前图像块中的像素点的坐标矢量，B表示以当前图像块的左上角像素点为坐标原点时由当前图像块中的所有像素点的坐标矢量构成的集合，Ft-k(p-v)表示丢失帧在时域上的前向参考帧Ft-k中坐标矢量为p的像素点用运动矢量v进行运动估计得到的预测像素值，Ft+k(p+v)表示丢失帧在时域上的后向参考帧Ft+k中坐标矢量为p的像素点用运动矢量v进行运动估计得到的预测像素值，符号“||”为取绝对值符号；b4、在由水平方向搜索范围[-Δx1,Δx1]和垂直方向搜索范围[-Δy1,Δy1]形成的矩形范围内进行运动矢量全遍历搜索，将使得STSAD(v)最小的运动矢量作为当前图像块的时域最优运动矢量，其中，Δx1＝16，Δy1＝1...

【专利技术属性】
技术研发人员：郁梅，严柯森，刘爱玲，彭宗举，陈芬，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33