一种三维视频编码的深度和彩色码率分配方法组成比例

本发明专利技术公开了一种三维视频编码的深度和彩色码率分配方法，其在获得最优的虚拟视点绘制质量情况下，通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频编码量化步长与原始左视点深度视频、原始右视点深度视频编码量化步长的关系模型，进而将彩色和深度比特分配问题描述为一个标准一元三次方程，再获得在一定码率下对原始左视点彩色视频、原始右视点彩色视频和原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，最后采用最佳初始编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码，不仅提高了虚拟视点视频的率失真性能，而且简化了码率分配操作过程。

【技术实现步骤摘要】

本专利技术涉及一种视频信号的编码压缩方法，尤其是涉及ー种三维视频编码的深度和彩色码率分配方法。
技术介绍
三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。多视点彩色加深度(multi-view video plus depth,MVD)是目前ISO/MPEG推荐采用的3D场景信息表示方式。MVD数据为在多视点彩色图像的基础上增加了对应视点的深度信息，其通过利用參考视点的彩色图像及该參考视点的彩色图像中的每个像 素点对应的深度信息，采用基于深度图像的绘制(Depth Image Based Rendering,DIBR)技术来合成三维场景的虚拟视点图像。然而，现有的三维视频编码的研究并没有充分考虑彩色视频与深度视频的最优码率分配问题，这是因为一方面，由于彩色视频的编码失真和深度视频的编码失真都会对虚拟视点绘制产生影响；另一方面，各个视频序列都有自身的特点，不同测试视频序列的彩色视频的编码失真和深度视频的编码失真对虚拟视点绘制的影响是各不相同的。因此，如何在彩色视频与深度视频之间进行合理的码率分配，以及在总码率给定的情况下通过关系模型来确立对彩色视频和深度视频进行编码的编码量化參数，以保证获得最优的虚拟视点绘制质量，是对MVD数据的编码过程中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种能够有效地提高虚拟视点视频的率失真性能，并能够简化码率分配操作过程的三维视频编码的深度和彩色码率分配方法。本专利技术解决上述技术问题所采用的技术方案为ー种三维视频编码的深度和彩色码率分配方法，其特征在于包括以下步骤①将外部三维视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色视频及其对应的深度视频定义为原始三维视频，在空域上该原始三维视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第I个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V ；将介于左视点与右视点之间的视点作为虚拟视点；将利用原始左视点彩色视频、原始右视点彩色视频经过编码、解码后对应得到的左视点彩色视频、右视点彩色视频与原始左视点深度视频、原始右视点深度视频经过编码、解码后对应得到的左视点深度视频、右视点深度视频进行虚拟视点绘制得到的虚拟视点视频的峰值信噪比的最大值作为最优的虚拟视点绘制质量；②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为minPv(K(G)A(A))I ’以保证获得最优的虚拟视点绘制质量，其中，min{}为取最小值函数，R。表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，Rt(Qt)表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd(Qd)表示采用深度视频量化步长Qd对原始左视点深度视频、原始右视点深度视频进行编码的码率，Dv (Rt (Qt)，Rd(Qd))表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色 视频和采用深度视频量化步长Qd对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的绘制失真；③在最优的虚拟视点绘制质量下，通过二次拟合方法建立用来编码原始左视点彩色视频、原始右视点彩色视频的彩色视频量化步长Qt与用来编码原始左视点深度视频、原始右视点深度视频的深度视频量化步长Qd的二次关系模型，记为=aQ2t +bQt +c，其中，a、b和c均为仏=aQf +bQt +c中的模型參数；④通过线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率Rt与l/Qt的关系模型，记为及=Xt/Qt+Lt，通过线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率Rd与1/Qd的关系模型，记为A = Xd IQd +Ld，其中，Xt和Lt均为及=JTi/ +A中的模型參数，Xd和Ld均为& /^+ん中的模型參数；⑤根据Qt与Qd的二次关系模型込=aQ2t +bQt +c、Rt与1/Qt的关系模型RgXtIQt +Lt、Rd与i/Qd的关系模型Rd三XJQd +Ld及码率分配模型min{Z)v(^(aX^(a))} ’计算得到在最小的虚拟视点失真下的Qt与τ。的关系 s^t- (Qt )+ (Qd甘+ Lt + n2 Jn , +Ld <'，然后对甘+ Lt + Π2 In +Ld 的两边取等Qt aQt +bQt+CQt aQt +bQt+c号并化成标准一元三次方程，得到在最小的虚拟视点失真下的Qt与R。的关系模型为a(Rc ~Lt ~Ld) n3 (b(Rc-Lt-Ld)2 C(Rc-Lt-Ld)-Xd ---Qt + (----a)Qt +、----b)Qt -c = 0 ；xt xt xt⑥在给定ー个总码率R。的情况下，根据在最小的虚拟视点失真下的Qt与R。的关系模型 a(Rc ~lt~Ld)Q] + (b{Rc~^~Ld)-ci)Qf + (C{Rc~LtxLd)~Xd -b)Qt -c = 0，获取对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长，记为Qt°pt，然后根据Qt与Qd的~■次关系ホ吴型Gd = aQf +c，获取对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，记为；⑦根据对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长2广，计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化參数，记为ρρ, = [6 X Iog2^i+4]，然后根据设定的多视点视频编码结构采用 对原始左视点彩色视频、原始右视点彩色视频进行编码，其中，“「I”为向上取整数符号；根据对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长2Γ，计算对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化參数，记为,^r=[6 X Iog2^r+4]，然后根据设定的多视点视频编码结构采用ぽ/对原始左视点深度视频、原始右视点深度视频进行编码，其中，“「 ”为向上取整数符号。所述的步骤③的具体过程为③-I、任取一个多视点视频序列，任取ー个不大于64的编码量化步长作为原始左视点彩色视频、原始右视点彩色视频的编码量化步长，记为Qttl,对于Qttl选取N个各不相、同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.ー种三维视频编码的深度和彩色码率分配方法，其特征在于包括以下步骤 ①将外部三维视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色视频及其对应的深度视频定义为原始三维视频，在空域上该原始三维视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第I个分 量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V ； 将介于左视点与右视点之间的视点作为虚拟视点； 将利用原始左视点彩色视频、原始右视点彩色视频经过编码、解码后对应得到的左视点彩色视频、右视点彩色视频与原始左视点深度视频、原始右视点深度视频经过编码、解码后对应得到的左视点深度视频、右视点深度视频进行虚拟视点绘制得到的虚拟视点视频的峰值信噪比的最大值作为最优的虚拟视点绘制质量； ②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为mm{代(《(の，&(仏))j ’以保证获得最优的虚拟视点绘制质量，其中，min{}为取最小值函数，R。表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，Rt(Qt)表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd(Qd)表示采用深度视频量化步长Qd对原始左视点深度视频、原始右视点深度视频进行编码的码率，Dv(Rt (Qt)，Rd(Qd))表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用深度视频量化步长Qd对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的绘制失真； ③在最优的虚拟视点绘制质量下，通过二次拟合方法建立用来编码原始左视点彩色视频、原始右视点彩色视频的彩色视频量化步长Qt与用来编码原始左视点深度视频、原始右视点深度视频的深度视频量化步长Qd的二次关系模型，记为=aQ2t +bQt +c，其中，a、b和c均为仏=aQf +bQt +c中的模型參数； ④通过线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率Rt与1/Qt的关系模型，记为及=Xt/Qt+Lt，通过线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率Rd与1/Qd的关系模型，记为A = Xd IQd +Ld，其中，Xt和Lt均为及ξ Xi IQt +A中的模型參数，Xd和Ld均为& ^ Xd IQd +ん中的模型參数； ⑤根据Qt与Qd的二次关系模型=aQ2t+bQt +c、Rt与1/Qt的关系模型RfXtIQt+Lt、Rd与i/Rd的关系模型Rd三XJQd+Ld及码率分配模型min{Z)v(^(aX^(a))} ’计算得到在最小的虚拟视点失真下的Qt与R。的关系2.根据权利要求I所述的ー种三维视频编码的深度和彩色码率分配方法，其特征在于所述的步骤③的具体过程为 ③-I、任取一个多视点视频序列，任取ー个不大于64的编码量化步长作为原始左视点彩色视频、原始右视点彩色视频的编码量化步长，记为Qttl,对于Qttl选取N个各不相同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为Qdtl,Qdl…，Qdi，…，Qdfrl),将对采用Qttl分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用Qdi分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制...

【专利技术属性】
技术研发人员：蒋刚毅，朱高锋，郁梅，王晓东，彭宗举，邵枫，李福翠，
申请(专利权)人：宁波大学，
类型：发明
国别省市：