基于绘制失真模型的多视点加深度编码的码率分配方法组成比例

为了解决纹理视频和深度图联合编码的优化码率分配问题，本发明专利技术公开了一种基于绘制失真模型的多视点加深度编码的码率分配方法，其步骤是：建立虚拟视点总失真模型框架；计算左右视点绘制失真；研究加入深度敏感值的绘制失真，建立引入深度误差的几何误差模型；建立加入遮挡区域的失真模型；建立引入纹理视频误差的几何误差模型；求出整体视点绘制失真模型误差；得到基于视点绘制失真模型的码率分配方法。本发明专利技术用纹理视频差别和深度图差别来估计虚拟视点绘制失真，可用来优化纹理视频和深度图的码率分配，从而优化视点绘制质量；由于在视点间进行了合理的比特分配，其视点编码图像的质量均衡性较好，具有实际操作性，便于应用实现。

【技术实现步骤摘要】

本专利技术属于三维视频编码的
，具体涉及的是一种视频编码的码率分配方 法，特别是一种基于绘制失真模型的多视点视频加深度编码的码率分配方法。
技术介绍
随着多视点系统和3D显示技术的发展，新的3D视频格式一一多视点视频加深度 (MVD)应用，如3D电视（3DTV)和自由视点电视日益引人关注。与传统2D视频相比，MVD 合成了纹理视频和相应深度图，能够使人们在观看视频时获得丰富的立体感和沉浸感；此 外，它的交互功能可以从不同视角提供不同的立体效果，使用基于深度图的视点合成技术 (DIBR)生成任意位置的虚拟视点。为了绘制新的视点图像，必须同时传输深度图和纹理视 频。由于涉及的数据量巨大，纹理视频和深度图都应该在传输前进行压缩，可采用联合编码 或独立编码方式来压缩纹理视频和深度图像，解码后的纹理视频和相应深度图像能够在接 收端合成虚拟视点。因此，如何对MVD数据进行高效压缩关系到传输性能和绘制质量，是3D 视频编码标准研究的一个重要问题。 目前，独立压缩纹理视频和深度图已经有许多成熟的技术，能够取得纹理视频和 深度图的高压缩比率。而MVD联合编码中，固定纹理视频和深度图的整体码率，不同的码率 分配对视点绘制质量有重要影响。为了解决纹理视频和深度图联合编码的优化码率分配问 题，提出了一些技术，但现有技术并没有融合纹理视频压缩和深度图压缩，不能完全反映虚 拟视点绘制过程，相应的码率分配性能也不尽如人意，从而影响了虚拟视点绘制质量。因 此，如何优化纹理视频和深度图间的码率分配，最小化视点绘制失真是一个有待解决的关 键问题。
技术实现思路
为了解决以上现有技术存在的问题和不足，本专利技术提供了一种基于视点绘制失真 模型的多视点加深度编码的码率分配方法，能够估计视点绘制失真的失真模型，综合考虑 深度误差敏感度和遮挡处理，从而降低复杂度、提升编码效率；基于失真模型提出一种码率 分配算法，在给定比率限制下优化纹理视频和深度图的量化参数，进而高效解决MVD编码 中的码率分配问题。 为了达到上述目的，本专利技术的构思是：首先推导编码的纹理/深度失真和绘制视 点间的关系；然后，建立估计视点合成失真的模型，在此基础上，提出可优化纹理视频和深 度图比率的码率分配方法。根据上述构思，本专利技术的技术方案是：一种基于视点绘制失真模 型的多视点视频加深度编码的优化码率分配方法，推导编码的纹理、深度失真和绘制视点 间的关系，建立虚拟视点合成失真的模型，然后提出可优化纹理视频和深度图比率的码率 分配方法，其步骤如下： (1)、建立虚拟视点总失真模型，包括深度图编码误差和纹理视频编码误差造成的 视点绘制失真；(2)、计算左右视点绘制失真；(3)、加入深度敏感值的绘制失真，建立引入深度误差的几何误差模型； (4)、建立加入遮挡区域的失真模型； (5)、建立引入纹理视频误差的几何误差模型； (6)、根据步骤（4)和步骤（5)求出整体视点绘制失真模型误差；(7)、得到基于视点绘制失真模型的码率分配方法。 所述建立虚拟视点总失真模型是得到一个纹理视频压缩和深度图压缩的视点绘 制失真模型的数学表达式，具体方法是：虚拟视点绘制失真队为： 其中，Iv表示由未压缩的纹理视频和未压缩的深度图绘制的虚拟视点，表示由 未压缩的纹理视频和压缩过的深度图绘制的虚拟视点，^表示由压缩过的纹理视频和压 缩过的深度图绘制的虚拟视点；表示由深度图编码误差造成的视点绘制失真， 表示由纹理视频编码误差造成的视点绘制失真，且 所述计算左右视点绘制失真的具体步骤是：(2-1)、考虑遮挡影响的虚拟视点绘制 考虑遮挡的影响，虚拟视点图像像素（xv，yv)处的像素值Iv(xv，yv)表示为：[00191 其中，IJm)和IR(xR，yR)分别表示两个邻近相机的左、右参考图像，（m)和 (xR，yR)分别是虚拟视点图像像素（xv，yv)在由左、右参考图像分别生成的目标图像上的对 应点；是权重因子，I；、1；和Tv分别是左参考、右参考和虚拟视点相机外 参矩阵的平移向量；(2-2)、根据虚拟视点图像像素值Iv(xv，yv)，深度图编码误差造成的视点绘制失真I示为： 其中，乃(毛，兔)和4(元，九)分别表示编码深度图的左右参考图像；(2-3)、针对不同视点，深度图编码引起的虚拟视点绘制失真没有相关性， 人(毛,幻]和深度图编码误差造成的视点视频加深度为：其中，纪表示深度图编码导致的左纹理视频失真fjtACn)-，％ 表示深度图编码导致的右纹理视频失真叫九)]:}。 所述引入深度误差引起的几何误差模型的具体步骤是：(3_1)、深度编码误差引起视点绘制失真，深度失真和合成视点的绘制失真呈线性 关系，则深度图编码导致的左、右纹理视频失真 :端和忠:可表示为： Dvd=| |Ap， | | 2 ?也 (5)也表示与绘制虚拟视点内容相关的运动敏感因子，Ap'指绘制位置误差， Ap' （Axv，Ayv) =k?AVr(xr，yr);其中，Ax,Ayv分另lj是绘制视点图像在坐标（x， y)上横轴方向和纵轴方向的几何误差，A\(\，yi〇指参考视点深度编码后误差；比例因 子k由相机参数和深度范围来确定，相同数量的深度误差会导致不同数量的绘制失真，SP其中，和Z是来自摄像机场景中最近和最远 截面的深度值，分别对应深度图v中255和0的深度值;Av是虚拟视点摄像机的内参矩阵；Rv是虚拟视点摄像机的旋转矩阵； (3-2)、使用与深度图一致的属于相同视点的参考纹理图像，绘制位置误差 Ap' (Axv，Ayv)进一步改进为：Ap' (Axv,Ayv) =k?Avr (xr,yr) ? 8 (6)其中，S表示深度误差敏感度； (3-3)、深度图编码误差造成的视点绘制失真7；)2jI改写为： 其中，kL和k廣不左参考和右参考摄像机参数，AvL (xL,yL)和AvR (xR,yR)表不左 参考和右参考摄像机失真变量，和丨R表示左参考和右参考摄像机的运动敏感因子，5 和sR分别表示左参考和右参考摄像机的深度误差敏感度。 所述建立加入遮挡区域的失真模型的具体步骤是：(4-1)、加入遮挡区域，调整深度图编码误差造成的视点绘制失真为： 其中，D。指由填补绘制虚拟视点的遮挡区域引起的绘制失真；(4-2)、假定像素i。在遮挡区域的遮挡绘制失真为气，根据空洞填补方法，像素i。 的填补值为H(i。)，则绘制失真乓计算如下： 其中，V(i。）表示虚拟纹理图像中像素i。的亮度值； (4-3)、填补遮挡区域导致的绘制失真D。，为： 所述建立引入纹理视频误差引起的几何误差模型的具体步骤是：(5-1)、纹理视频编码误差造成的视点绘制失真表示为： 其中，纪和分别表示纹理视频编码造成的左摄像机编码失真右摄像机编码失真 (5-2)、纹理视频编码造成的编码失真砍和钇是遵循左右摄像机的线性组合，表 示为：Dvt= | |At| | 2 ?边 (12)其中，At是纹理视频编码的绘制位置误差；(5-3)、纹理视频编码误差造成的视点绘制失真￡#-之；^改写如下：当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种基于绘制失真模型的多视点加深度编码的码率分配方法，其特征在于：推导编码的纹理、深度失真和绘制视点间的关系，建立虚拟视点合成失真的模型，然后提出可优化纹理视频和深度图比率的码率分配方法，其步骤如下：(1)、建立虚拟视点总失真模型，包括深度图编码误差和纹理视频编码误差造成的视点绘制失真；(2)、计算左右视点绘制失真；(3)、加入深度敏感值的绘制失真，建立引入深度误差的几何误差模型；(4)、建立加入遮挡区域的失真模型；(5)、建立引入纹理视频误差的几何误差模型；(6)、根据步骤(4)和步骤(5)求出整体视点绘制失真模型误差；(7)、得到基于视点绘制失真模型的码率分配方法。

【技术特征摘要】

【专利技术属性】
技术研发人员：赵进超，张秋闻，苏晓珂，王晓，陈明，李明英，黄新彭，赵小鑫，
申请(专利权)人：郑州轻工业学院，
类型：发明
国别省市：河南;41