一种低复杂度的深度视频和多视视频编码方法技术

本发明专利技术公开了一种低复杂度的深度视频和多视视频编码方法，首先利用深度图的均值和方差将深度宏块分为平坦区域和复杂区域，对于平坦区域深度宏块，从SKIP模式和 Inter 16x16模式中选择RD cost最小的一个作为帧间候选模式，对于复杂区域深度宏块，判断所述深度宏块对应的纹理宏块的编码模式是否为SKIP模式，如果是，从SKIP模式和 Inter 16x16模式中选择RD cost最小的一个作为帧间候选模式，否则遍历所有的帧间模式选择RD cost最小的一个作为帧间候选模式，对于所有深度宏块，遍历所有的帧内模式选择RD cost最小的一个作为帧内候选模式，再选择帧间候选模式和帧内候选模式中RD cost最小的一个作为编码模式。本发明专利技术在保证视频质量的同时降低了深度视频的编码复杂度，且维持码率不变。

【技术实现步骤摘要】

本专利技术涉及一种深度视频和多视视频编码方法，尤其是涉及一种低复杂度的深度视频和多视视频编码方法，属于视频编码

技术介绍
3D视频近年来广泛应用于电视、电影以及视频会议中，给观看者提供沉浸式和身临其境的视觉感受。这种全新的视觉体验越来越受到人们的欢迎，进而推动了三维视频的发展。多视加深度视频(Multi-viewVideoplusDepth，MVD)作为三维场景信息的主要表示方式，其数据量与单视点视频相比成倍增加，编码复杂度较高。深度视频的一帧通常称为深度图，它是一种灰度图像，其像素值代表的是被拍摄物体到摄像机的距离。灰度值越小表示该位置距离摄像机越远。深度信息有效的表示了三维场景的几何信息，但并不在终端显示，而是用于虚拟视点绘制。多视深度视频和纹理视频一样具有大量的冗余，同样需要进行编码。3DV-ATM编码研究平台沿用了H.264的编码工具对纹理视频进行编码，在此基础上增加了深度视频编码工具，但是并不能消除深度视频和纹理视频之间的数据冗余。3DV-ATM对每个纹理宏块或深度宏块均采用可变块大小划分模式进行全预测模式搜索，预测模式包括帧间预测模式和帧内预测模式，帧间预测模式包括SKIP、Inter16×16、Inter16×8、Inter8×16、Inter8×8，帧内预测预测模式包括Intra4×4、Intra8×8、Intra16×16。在纹理视频或深度视频编码模式选择过程中，P帧和B帧的宏块在编码过程中都要遍历帧内预测模式和帧间预测模式，然后采用率失真优化技术选取最优的预测模式作为编码模式。这种编码模式选择方法具有相当高的编码复杂度，使得多视视频系统难以实现实时性应用。国内外学者针对这一问题进行了大量研究，主要集中在纹理视频的快速编码模式选择。纹理视频与深度视频虽然具有相似性，但是深度视频具有独特性，纹理图的编码模式直接应用于深度图编码中并不能使编码效率最大化。深度视频与纹理视频具有相关性，因此可以利用参考宏块来提前终止当前宏块的编码模式选择过程。深度图有自己独特的特性，具有较大的平滑区域，纹理细节少。对于深度图中的背景区域，其距离摄像机的远近几乎没有变化，也就是说背景区域往往具有相似的灰度值，根据灰度值的分布则可以把深度图像划分为平坦区域和复杂区域，对不同的区域采用不同的编码模式选择方法，从而降低编码复杂度。因此，同时考虑深度视频与纹理视频的相关性以及深度视频的独特性，设计低复杂度的深度视频编码方法具有重大意义。
技术实现思路
本专利技术所要解决的技术问题是提供一种低复杂度的深度视频和多视视频编码方法。为达到上述目的，本专利技术所采用的技术方案为：技术方案一：一种低复杂度的深度视频编码方法，选取当前时刻的深度图，将其划分为宽和高分别为16和16的深度宏块，逐一编码所述各深度宏块，所述深度图对应的纹理视频帧已经预先完成编码，所述纹理视频帧中的纹理宏块的划分方法与深度图中的深度宏块划分方法相同，所述各深度宏块的编码方法相同，均包括以下步骤：步骤1：深度宏块分类：由以下具体步骤组成：步骤1-1：计算深度宏块的像素均值e和方差d：e=1256Σi=016Σj=016p(i,j)]]>d=1256Σi=016Σj=016(p(i,j)-e)2]]>其中(i,j)表示所述深度宏块中像素点的坐标位置；p(i,j)表示所述宏块中坐标为(i,j)的像素点的亮度值；步骤1-2：判断所述方差值是否小于设定的阈值λ，如果是，则为平坦区域，转向步骤2；否则，为复杂区域，转向步骤3；步骤2：从SKIP模式和Inter16x16模式中选择RDcost最小的一个作为帧间候选模式，转向步骤5；步骤3：判断所述深度宏块对应的纹理宏块的编码模式是否为SKIP模式，如果是，转向步骤2，否则，转向步骤4；步骤4：从所有帧间预测模式中选择RDcost最小的一个作为帧间候选模式；步骤5：预选帧内候选模式：从所有帧内预测模式中选择RDcost最小的一个作为帧内候选模式；步骤6：确定深度宏块的编码模式：选择帧间候选模式与帧内候选模式中RDcost最小的一个作为所述深度宏块的编码模式。所述步骤1-2中所述的阈值λ为5。技术方案二：一种低复杂度的多视视频编码方法，所述多视视频由两个或两个以上视的纹理视频和深度视频组成；相同时刻的各视的纹理视频帧和深度图组建为一个接入单元，所述接入单元编码时先逐一编码各视的纹理视频，再逐一编码各视的深度视频；所述各视的深度视频均采用技术方案一所述的深度视频编码方法编码。采用上述技术方案，本专利技术取得以下有益效果：1、本专利技术方法利用深度图的特性，提出利用深度宏块的像素方差将深度图分成平坦区域和复杂区域，对于平坦区域只采用SKIP模式和Inter16x16模式。对于复杂区域，充分利用深度图和纹理视频帧的相关性，提出深度宏块参考纹理宏块的预测模式。这两种方法的结合不仅减少了深度视频帧中平坦区域的模式选择复杂度，提高了复杂区域中部分宏块的编码速度，从而降低深度视频编码的计算复杂度。2、本专利技术在降低编码复杂度的同时，保证编码质量不受影响；平均PSNR仅降低0.01dB，比特率无明显增加。附图说明图1是本专利技术的流程图；图2是本实施例与ATM的编码方法的编码时间对比图；图3是Kendo序列在本实施例中与在ATM平台中编码的R-D曲线对比图；图4是Balloons序列在本实施例中与在ATM平台中编码的R-D曲线对比图；图5是原始kendo序列第3和第5视点所绘制出第4视点的第7帧图像；图6是经过ATM平台编码后kendo序列第3和第5视点所绘制出第4视点的第7帧图像；图7是本实施例中kendo序列第3和第5视点所绘制出第4视点的第7帧图像。具体实施方式实施例1：如图1所示，一种低复杂度的深度视频编码方法，选取当前时刻的深度图，将其划分为宽和高分别为16和16的深度宏块，逐一编码所述各深度宏块，所述深度图对应的纹理视频帧已经预先完成编码，所述纹理视频帧中的纹理宏块的划分方法与深度图中的深度宏块划分方法相同，所述各深度宏块的编码方法相同，均包括以下步骤：步骤1：深度宏块分类：由以下具体步骤组成：步骤1-1：计算深度宏块的像素均值e和方差d：e=1256Σi=016Σj=016p(i,j)]]>d=1256Σi=016Σj=016(p(i,j)-e)2]]>其中(i,j)表示所述深度宏块中像素点的坐标位置；p(i,j)表示所述宏块中坐标为本文档来自技高网...

【技术保护点】
一种低复杂度的深度视频编码方法，选取当前时刻的深度图，将其划分为宽和高分别为16和16的深度宏块，逐一编码所述各深度宏块，所述深度图对应的纹理视频帧已经预先完成编码，所述纹理视频帧中的纹理宏块的划分方法与深度图中的深度宏块划分方法相同，其特征在于：所述各深度宏块的编码方法相同，均包括以下步骤：步骤1：深度宏块分类：由以下具体步骤组成：步骤1‑1：计算深度宏块的像素均值e和方差d：e=1256Σi=016Σj=016p(i,j)]]>d=1256Σi=016Σj=016(p(i,j)-e)2]]>其中(i,j)表示所述深度宏块中像素点的坐标位置；p(i,j)表示所述宏块中坐标为(i,j)的像素点的亮度值；步骤1‑2：判断所述方差值是否小于设定的阈值λ，如果是，则为平坦区域，转向步骤2；否则，为复杂区域，转向步骤3；步骤2：从SKIP模式和Inter 16x16模式中选择RD cost最小的一个作为帧间候选模式，转向步骤5；步骤3：判断所述深度宏块对应的纹理宏块的编码模式是否为SKIP模式，如果是，转向步骤2，否则，转向步骤4；步骤4：从所有帧间预测模式中选择RD cost最小的一个作为帧间候选模式；步骤5：预选帧内候选模式：从所有帧内预测模式中选择RD cost最小的一个作为帧内候选模式；步骤6：确定深度宏块的编码模式：选择帧间候选模式与帧内候选模式中RD cost最小的一个作为所述深度宏块的编码模式。...

【技术特征摘要】
1.一种低复杂度的深度视频编码方法，选取当前时刻的深度图，将其划分为宽和高分别为16和16
的深度宏块，逐一编码所述各深度宏块，所述深度图对应的纹理视频帧已经预先完成编码，所述纹理视频
帧中的纹理宏块的划分方法与深度图中的深度宏块划分方法相同，其特征在于：所述各深度宏块的编码方
法相同，均包括以下步骤：
步骤1：深度宏块分类：由以下具体步骤组成：
步骤1-1：计算深度宏块的像素均值e和方差d：
e=1256Σi=016Σj=016p(i,j)]]>d=1256Σi=016Σj=016(p(i,j)-e)2]]>其中(i,j)表示所述深度宏块中像素点的坐标位置；p(i,j)表示所述宏块中坐标为(i,j)的像素点的亮度值；
步骤1-2：判断所述方差值是否小于设定的阈值λ，如果是，则为平坦区域，转向步骤2；否则，为
复杂区域，转向步骤3；
步骤2：从SKIP模式和Inter16x16模式中选择RDcost...

【专利技术属性】
技术研发人员：安平，何宛文，杨超，沈礼权，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31