三维视频编码方法和装置制造方法及图纸

本发明专利技术涉及一种三维视频编码方法和装置，包括：获取B视频块和对应的已编码或未编码A视频块虚拟绘制得到的虚拟绘制块或B视频块对应的虚拟视点图像块作为参考块；B视频块在当前编码模式下编码得到预编码B视频块，获取预编码B视频块和对应的已编码或未编码A视频块虚拟绘制得到的重建虚拟绘制块；计算参考块和重建虚拟绘制块的空域失真和时域失真，融合得到绘制失真；载入B视频帧的拉格朗日乘子，获取B视频块的预编码比特数，根据绘制失真、拉格朗日乘子和预编码比特数计算率失真代价；遍历所有编码模式编码，率失真代价最小的编码模式为B视频块的最佳编码模式；获取下一个B视频块编码直到待编码B视频帧编码完成，提高三维视频编码效率。

【技术实现步骤摘要】

本专利技术涉及视频编码领域，特别是涉及一种三维视频编码方法和装置。
技术介绍
随着数字媒体技术的快速发展及生活水平的不断提高，人们对于视频观看提出了更高的要求，以固定视点观看的传统平面(二维)视频，已无法满足人们的需求。三维电视和自由视点视频应运而生，三维电视和自由视点视频增加了场景对象的深度信息，使图像不再局限于显示屏平面，仿佛能够走出显示屏，使用户感受到深度感和沉浸感。多视点视频加深度(Multi-viewVideoplusDepth,MVD)的这种三维场景表示方式已逐渐成为多媒体系统中主流数据表示格式，MVD视频数据包含多通道彩色与深度视频，数据量是传统平面2D视频的几十倍甚至上百倍，对媒体计算平台的信号处理、传输和存储提出了重大挑战。为了有效压缩MVD巨大的数据量，3D视频联合专家组(JointCollaborativeTeamon3DVideo,JCT-3V)着重推进基于高效视频编码标准(HighEfficiencyVideoCoding,HEVC)的三维视频研究以及多视点视频标准化，即3D-HEVC。其采用了基于率失真优化的运动预测和模式选择技术，以及其他一系列先进的视频编解码技术。三维视频除了传输视点外，在用户端还需要综合利用彩色信息与深度信息获得虚拟视点视频图像信息，以供三维显示装置显示较佳的三维效果。现有的编码中，率失真优化只考虑了传输视点图像失真，而没有考虑合成的虚拟视点失真，三维视频的主、客观质量不能达到最优。
技术实现思路
基于此，有必要针对上述技术问题，提供一种三维视频编码方法和装置，能提高三维编码视频的主、客观质量从而提高三维视频的编码效率。一种三维视频编码方法，待编码三维视频包括多视点彩色视频和多视点深度视频，多视点彩色视频包括多个视点不同时刻的彩色视频帧，多视点深度视频包括多个视点不同时刻的深度视频帧，将深度视频帧和彩色视频帧分为A视频帧和B视频帧，同一视点同一时刻的彩色视频帧和深度视频帧中先编码的视频帧为A视频帧，后编码的视频帧为B视频帧，将A视频帧分割得到A视频块后进行编码得到已编码A视频块，将待编码B视频帧按照和A视频帧相同的分割方式得到B视频块为待编码块，所述方法包括：步骤S110：获取由所述B视频块和对应的已编码或未编码A视频块进行虚拟绘制得到的虚拟绘制块或获取所述B视频块对应的虚拟视点图像块，将所述虚拟绘制块或虚拟视点图像块作为参考块；步骤S120：将所述B视频块在当前编码模式下进行编码得到预编码B视频块；步骤S130：获取由所述预编码B视频块和对应的已编码或未编码A视频块进行虚拟绘制得到的重建虚拟绘制块；步骤S140：计算所述参考块和重建虚拟绘制块在空间方向上的空域失真，计算所述参考块和重建虚拟绘制块在时间方向上的时域失真，将空域失真和时域失真进行融合得到绘制失真；步骤S150：载入B视频帧的拉格朗日乘子，获取编码后的B视频块的预编码比特数，根据所述绘制失真、拉格朗日乘子和预编码比特数计算得到率失真代价；步骤S160：遍历所有编码模式重复步骤S120至步骤S150，比较率失真代价，将率失真代价最小的编码模式作为所述B视频块的最佳编码模式；获取下一个B视频块重复步骤S110至步骤S160，直到待编码B视频帧包含的所有B视频块编码完成。在其中一个实施例中，所述计算所述参考块和重建虚拟绘制块在时间方向上的时域失真的步骤包括：获取所述参考块BCVS(i,j,t)在之前时刻所对应的前向参考块BCVS(i,j,t-k)，其中i表示块位置横向坐标，j表示块位置纵向位置坐标，t表示时刻，k表示时刻索引，k>0；获取所述重建虚拟绘制块在之前时刻所对应的前向重建绘制块计算所述参考块BCVS(i,j,t)和前向参考块BCVS(i,j,t-k)不同像素位置的第一亮度像素差异其中ii,jj为像素位置索引值，0≤ii≤M-1，0≤jj≤N-1，M表示参考块的水平宽度，N表示参考块的竖直高度；计算所述重建虚拟绘制块和前向重建绘制块不同像素位置的第二亮度像素差异在参考块的像素范围内计算所述第一亮度像素差异和对应的第二亮度像素差异的变化平均值得到所述时域失真。在其中一个实施例中，所述计算所述参考块和重建虚拟绘制块在时间方向上的时域失真的步骤包括：根据公式计算得到所述时域失真其中IVS(i+ii,j+jj,t)为参考块BCVS(i,j,t)在像素位置(i+ii,j+jj)的亮度像素值，IVS(i+ii,j+jj,t-k)为前向参考块BCVS(i,j,t-k)在像素位置(i+ii,j+jj)的亮度像素值，为重建虚拟绘制块在像素位置(i+ii,j+jj)的亮度像素值，为前向重建虚拟绘制块在像素位置(i+ii,j+jj)的亮度像素值。在其中一个实施例中，在所述载入B视频帧的拉格朗日乘子的步骤之前包括：获取所述B视频帧之前时刻所对应的前向A视频帧和前向B视频帧，并进行绘制得到虚拟绘制帧；获取所述B视频帧之前时刻所对应的前向重建A视频帧和前向重建B视频帧，并进行绘制得到重建虚拟绘制帧；计算所述虚拟绘制帧和重建虚拟绘制帧在空间方向上的帧空域失真，计算所述虚拟绘制帧和重建虚拟绘制帧在时间方向上的帧时域失真，将帧空域失真和帧时域失真进行融合得到帧绘制失真；通过公式计算得到B视频帧的拉格朗日乘子λ(n,t)，其中R(n,t′)为B视频帧之前时刻的前向B视频帧F(n,t′)编码后的比特数，φ1(n,t′)为所述帧空域失真，QVS(n,t′)为所述帧绘制失真，n表示视点索引，t′表示B视频帧之前的时刻。在其中一个实施例中，所述将空域失真和时域失真进行融合得到绘制失真的步骤为：通过计算得到绘制失真DVS(i,j)，其中表示空域失真，表示时域失真，ω为加权系数，其中0≤ω≤1；所述将帧空域失真和帧时域失真进行融合得到帧绘制失真的步骤为：将所述绘制失真以帧为单位相加得到帧绘制失真。在其中一个实施例中，在所述载入B视频帧的拉格朗日乘子的步骤之前包括步骤之前，还包括：计算所述前向A视频帧和对应的前向重建A视频帧在空间方向上的前向编码失真Q′(n,t′)；将前向编码失真Q′(n,t′)和帧绘制失真QVS(n,t′)通过公式Q(n,t′)＝(1-α)·Q′(n,t′)+α·QVS(n,t′)得到帧编码失真Q(n,t′)，其中0≤α≤1；通过公式计算得到拉格朗日乘子，其中R(n,t′)为B视频帧之前时刻的前向B视频帧F(n,t′)编码后的比特数，n表示视点索引，t′表示时刻。在其中一个实施例中，所述方法还包括：在待编码三维视频包括的多视点彩色视频和多视点深度视频编码完成后，在所有视点和所有时刻范围内，进行以下步骤：依次获取彩色视频帧和深度视频帧进行绘制得到第n个视点和t时刻对应的虚拟视频绘制帧FVS(n,t)或依次获取第n个视点和t时刻的B视频帧对应的虚拟视点图像帧CVS(n,t)，将虚拟视频绘制帧FVS(n,t)或虚拟视点图像帧CVS(i,j)作为参考帧FCVS(n,t)，其中0＜n＜N-1,0＜t＜T-1；依次获取重建彩色视频帧和重建深度视频帧进行绘制得到第n个视点和t时刻的重建虚拟视频绘制帧依次计算所述参考帧和重建虚拟视频绘制帧在时间方向上第n个视点和t时刻的时本文档来自技高网...

【技术保护点】
一种三维视频编码方法，待编码三维视频包括多视点彩色视频和多视点深度视频，多视点彩色视频包括多个视点不同时刻的彩色视频帧，多视点深度视频包括多个视点不同时刻的深度视频帧，将深度视频帧和彩色视频帧分为A视频帧和B视频帧，同一视点同一时刻的彩色视频帧和深度视频帧中先编码的视频帧为A视频帧，后编码的视频帧为B视频帧，将A视频帧分割得到A视频块后进行编码得到已编码A视频块，将待编码B视频帧按照和A视频帧相同的分割方式得到B视频块为待编码块，所述方法包括：步骤S110：获取由所述B视频块和对应的已编码或未编码A视频块进行虚拟绘制得到的虚拟绘制块或获取所述B视频块对应的虚拟视点图像块，将所述虚拟绘制块或虚拟视点图像块作为参考块；步骤S120：将所述B视频块在当前编码模式下进行编码得到预编码B视频块；步骤S130：获取由所述预编码B视频块和对应的已编码或未编码A视频块进行虚拟绘制得到的重建虚拟绘制块；步骤S140：计算所述参考块和重建虚拟绘制块在空间方向上的空域失真，计算所述参考块和重建虚拟绘制块在时间方向上的时域失真，将空域失真和时域失真进行融合得到绘制失真；步骤S150：载入B视频帧的拉格朗日乘子，获取编码后的B视频块的预编码比特数，根据所述绘制失真、拉格朗日乘子和预编码比特数计算得到率失真代价；步骤S160：遍历所有编码模式重复步骤S120至步骤S150，比较率失真代价，将率失真代价最小的编码模式作为所述B视频块的最佳编码模式；获取下一个B视频块重复步骤S110至步骤S160，直到待编码B视频帧包含的所有B视频块编码完成。...

【技术特征摘要】
1.一种三维视频编码方法，待编码三维视频包括多视点彩色视频和多视点深度视频，多视点彩色视频包括多个视点不同时刻的彩色视频帧，多视点深度视频包括多个视点不同时刻的深度视频帧，将深度视频帧和彩色视频帧分为A视频帧和B视频帧，同一视点同一时刻的彩色视频帧和深度视频帧中先编码的视频帧为A视频帧，后编码的视频帧为B视频帧，将A视频帧分割得到A视频块后进行编码得到已编码A视频块，将待编码B视频帧按照和A视频帧相同的分割方式得到B视频块为待编码块，所述方法包括：步骤S110：获取由所述B视频块和对应的已编码或未编码A视频块进行虚拟绘制得到的虚拟绘制块或获取所述B视频块对应的虚拟视点图像块，将所述虚拟绘制块或虚拟视点图像块作为参考块；步骤S120：将所述B视频块在当前编码模式下进行编码得到预编码B视频块；步骤S130：获取由所述预编码B视频块和对应的已编码或未编码A视频块进行虚拟绘制得到的重建虚拟绘制块；步骤S140：计算所述参考块和重建虚拟绘制块在空间方向上的空域失真，计算所述参考块和重建虚拟绘制块在时间方向上的时域失真，将空域失真和时域失真进行融合得到绘制失真；步骤S150：载入B视频帧的拉格朗日乘子，获取编码后的B视频块的预编码比特数，根据所述绘制失真、拉格朗日乘子和预编码比特数计算得到率失真代价；步骤S160：遍历所有编码模式重复步骤S120至步骤S150，比较率失真代价，将率失真代价最小的编码模式作为所述B视频块的最佳编码模式；获取下一个B视频块重复步骤S110至步骤S160，直到待编码B视频帧包含的所有B视频块编码完成。2.根据权利要求1所述的方法，其特征在于，所述计算所述参考块和重建虚拟绘制块在时间方向上的时域失真的步骤包括：获取所述参考块BCVS(i,j,t)在之前时刻所对应的前向参考块BCVS(i,j,t-k)，其中i表示块位置横向坐标，j表示块位置纵向位置坐标，t表示时刻，k表示时刻
\t索引，k>0；获取所述重建虚拟绘制块在之前时刻所对应的前向重建绘制块计算所述参考块BCVS(i,j,t)和前向参考块BCVS(i,j,t-k)不同像素位置的第一亮度像素差异▽IVS(i+ii,j+jj)，其中ii,jj为像素位置索引值，0≤ii≤M-1，0≤jj≤N-1，M表示参考块的水平宽度，N表示参考块的竖直高度；计算所述重建虚拟绘制块和前向重建绘制块不同像素位置的第二亮度像素差异在参考块的像素范围内计算所述第一亮度像素差异▽IVS(i+ii,j+jj)和对应的第二亮度像素差异的变化平均值得到所述时域失真。3.根据权利要求2所述的方法，其特征在于，所述计算所述参考块和重建虚拟绘制块在时间方向上的时域失真的步骤包括：根据公式▽IVS(i+ii,j+jj)＝IVS(i+ii,j+jj,t)-IVS(i+ii,j+jj,t-k)计算得到所述▿I^VS(i+ii,j+jj)=I^VS(i+ii,j+jj,t)-I^VS(i+ii,j+jj,t-k)]]>时域失真其中IVS(i+ii,j+jj,t)为参考块BCVS(i,j,t)在像素位置(i+ii,j+jj)的亮度像素值，IVS(i+ii,j+jj,t-k)为前向参考块BCVS(i,j,t-k)在像素位置(i+ii,j+jj)的亮度像素值，为重建虚拟绘制块在像素位置(i+ii,j+jj)的亮度像素值，为前向重建虚拟绘制块在像素位置(i+ii,j+jj)的亮度像素值。4.根据权利要求1所述的方法，其特征在于，在所述载入B视频帧的拉格朗日乘子的步骤之前包括：获取所述B视频帧之前时刻所对应的前向A视频帧和前向B视频帧，并进行绘制得到虚拟绘制帧；获取所述B视频帧之前时刻所对应的前向重建A视频帧和前向重建B视频帧，并进行绘制得到重建虚拟绘制帧；计算所述虚拟绘制帧和重建虚拟绘制帧在空间方向上的帧空域失真，计算所述虚拟绘制帧和重建虚拟绘制帧在时间方向上的帧时域失真，将帧空域失真和帧时域失真进行融合得到帧绘制失真；通过公式计算得到B视频帧的拉格朗日乘子λ(n,t)，其中R(n,t′)为B视频帧之前时刻的前向B视频帧F(n,t′)编码后的比特数，φ1(n,t′)为所述帧空域失真，QVS(n,t′)为所述帧绘制失真，n表示视点索引，t′表示B视频帧之前的时刻。5.根据权利要求4所述的方法，其特征在于，所述将空域失真和时域失真进行融合得到绘制失真的步骤为：通过计算得到绘制失真DVS(i,j)，其中表示空域失真，表示时域失真，ω为加权系数，其中0≤ω≤1；所述将帧空域失真和帧时域失真进行融合得到帧绘制失真的步骤为：将所述绘制失真以帧为单位相加得到帧绘制失真。6.根据权利要求4所述的方法，其特征在于，在所述载入B视频帧的拉格朗日乘子的步骤之前包括步骤之前，还包括：计算所述前向A视频帧和对应的前向重建A视频帧在空间方向上的前向编码失真Q′(n,t′)；将前向编码失真Q′(n,t′)和帧绘制失真QVS(n,t′)通过公式Q(n,t′)＝(1-α)·Q′(n,t′)+α·QVS(n,t′)得到帧编码失真Q(n,t′)，其中0≤α≤1；通过公式计算得到拉格朗日乘子，其中R(n,t′)为B视频帧之前时刻的前向B视频帧F(n,t′)编码后的比特数，n表示视点索引，t′表示时刻。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：在待编码三维视频包括的多视点彩色视...

【专利技术属性】
技术研发人员：杨小祥，张云，朱林卫，刘祥凯，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44