一种分区域的3D视频编码方法技术

一种基于分区域的3D视频编码技术，属于3D视频编码技术领域，其特征是：第一通过虚拟视点合成技术确定原始视点的区域划分，以此将原始视点划分为不同区域；第二根据区域的重要性进行编码，随机选择一个视点作为主视点，对划分的区域分为重要区域和非重要区域；然后对非重要区域采用较低的BCS观测率，而重要区域则采用较高的BCS观测率。优点是对原始视点进行分区域，然后对区域中的像素进行不同压缩处理，避免无效信息的重复编码，在相同观测率下，虚拟视点质量得到提高。

【技术实现步骤摘要】

本专利技术属于3D视频编码
，具体设及一种分区域的3D视频编码方法。
技术介绍
在3D视频中，对原始视点的编码是一项很重要的技术。3D视频，即=维视频，其格 式主要分为多视点和多视点加深度两种常见格式。多视点加深度格式由于能利用纹理信息 个深度信息合成任意位置虚拟视点，因此是目前最广泛使用的3D视频格式。 目前最新的=维视频编码标准是3D-HEVC，即=维的高效视频编码技术，利用了视 点间相关性、视点内的相关性，和纹理和深度之间的相关性W压缩视频序列。但是3D-肥VC 只是从原始视点的角度考虑如何尽可能的压缩视频数据，没有考虑对虚拟视点质量的影 响。因为在某些使用场景，虚拟视点可能比原始视点更为重要。在有限的传输带宽下，牺牲 原始视点的质量W满足虚拟视点的高质量也是可行的。 化eonLee,化-Sung化等人提出了一种利用视点合成预测的视频编码的框架， 运个框架同时压缩视频图像和深度图像，并根据视点位置设计了四中类型的视点合成预测 方法，但是运种方法非常复杂，运算量大，因为在编码段和解码端都要合成一个新的虚拟视 点。 目前大多数采用DIBR值epth-image-basedRendering,即基于深度图像的绘制） 技术来合成虚拟视点。DIBR的核屯、是利用深度信息和摄像机参数把像素从已知的原始视点 映射到未知的合成视点。DIBR-般包括S个步骤：（1)3D映射；（2)空桐填补；(3)视点融 合。
技术实现思路
本专利技术的目的是提供一种分区域的3D视频编码方法，在相同BCS观测率条件下能 够有效地提高合成的虚拟视点的质量。 本专利技术是运样实现的，其特征是包括下列步骤：如附图2所示：[000引第一步：计算阔值：3D视频两个相邻视点的纹理图和深度图，即摄像机获取的两 个视点分别记为第一视点1和第二视点3,假设用第一视点1和第二视点3来合成中间的虚 拟视点2。我们通过计算一个阔值来确定第一视点1和第二视点3中区域的边界，阔值由公 式（1)可求，[000引W 其中，Z。。。,和Zhf是自然场景与摄像机之间的距离范围，也可称为深度范围，L是 第一视点1和第二视点3之间的距离，即基线长度，fy是摄像机焦距。 第二步：从第一视点1和第二视点3中任选取一个视点为主视点，根据主视点深度 图分别对第一视点1和第二视点3进行分区域。 首先从第一视点1和第二视点3中任选取一个视点为主视点，计算主视点深度图 中每两个相邻像素之间的深度值之差AZ，然后利用公式（2)、（3)进行感兴趣边界检测，d(x，y)代表（x，y)处的深度值，Bl(x，y)代表深度图左边界， g粒的么^ 紙^ ;如-岭碱;3 ^ 巧 ' to,城我好F秘!及孩 ? 同理，Br(X，y)代表右边界， 「。…Cl?>f'、！'13? ::::巧》，V) ....d(xI- 1,V) <AZ,勺、[001 引 孩叫义'< V)二：I。f, 、 、?' (3) - ' %化(茲孩鮮'脈W好[001引 （1)如果Bl(X，y) = 1，则认为（X，y)和（X-1，y)之间有一个左边界，（X，y)属于 前景，（X-1，y)属于背景； 似如果化(X，y) = 1，认为（X+1，y)和（X，y)之间有一个右边界，（X，y)属于前 景，（X+1，y)属于背景；[001引 做如果Bl(x，y)或者化(x，y)等于0,则相邻像素之间没有边界。 第=步：根据虚拟视点2合成规则对第一视点1和第二视点3执行区域分割，并判 定是否为重要区域。 我们对不同区域采用不同的处理方法W节省码率，考虑背景平面Q与成像平面P 平行的情况，由于本方法对区域要求可W不用很精确，因此只考虑背景Q作为平面的情况。 本专利技术只考虑ID模型，即第一视点1和第二视点3的照相机平行放置，成像平面P仅有水 平视差没有垂直视差。根据深度图所描述的实际场景信息对成像平面P进行区域划分，第 一视点1和第二视点3代表原始视点，虚拟视点2代表需要使用第一视点1和第二视点3 来合成的视点，区域丽和AJ分别表示前景和背景。第一视点1和第二视点3之间的基线 长度为以fx是摄像机的焦距长度。 假设第一视点1被选为主视点。根据3D映射过程按照虚拟视点2所需的区域"从 左到右"顺序进行，可分为四个步骤： 1)计算区域AB在第一视点1中的长度Cab。[002引 由于区域AB超出了虚拟视点2的视觉范围，为非重要区域，所W将其在第一视点 1中的对应区域进行低BCS观测率采样。设Cab代表区域AB在第一视点1中的长度，CU代 表A点对应的视差值，Z。。。,和Z hf分别代表场景最近值和最远值，(4)[002引。计算左边界区域DE在第一视点1中的长度Cw。 由于区域DE被前景MN所遮挡，导致虚拟视点2对此区域不可见，因此为非重要区 域，对此区域采用低BCS观测率采样，巧）[002引其中，dM、屯的表示意义同上述cU。第一视点1中除W上两个区域外的所有区域均 为重要区域，在编码时对其采用高BCS观测率采样。 扣计算区域FG在第二视点3中的长度 因为虚拟视点2需要的FG区域在第一视点1中被遮挡，因此我们需要从第二视 点3中寻找对应的区域，因此此区域为重要区域，需要采用高BCS观测率，区域FG可由公式 化）求得：(巧[00础其中，(In、dp的求取方法同上述(1a。 4)计算第二视点3中区域IJ的长度C。。 最后，对于虚拟视点2需要的区域IJ，由于在第一视点1中不可得，因此我们需要 从第二视点3的相应区域来得到，因此此区域为重要区域，需要采用高BCS观测率。区域长 度Cu可化围过公式（7)计算，[00对斌:[003引其中，di的求取方法同上述cU。第二视点3中除区域FG、区域IJ外的所有区域均 为非重要区域，在编码时采用低BCS观测率采样。 如果第二视点3被选为主视点，区域划分方法和求取方法相同，只是改变了重要 性规则。[003引第四步：对不同的区域进行观测率分配。 在上一步中对第一视点1和第二视点3进行了区域划分，在运一步则根据区域重 要性进行不同的CS观测率分配：对重要区域分配了较高的CS观测率，对非重要区域去则分 配较低观测率。 根据压缩感知（C巧理论，对于一个稀疏信号X，通过使用一个采样矩阵O可得一 个观测值向量，运个矩阵通常是标准正交的，即二I。观测值y可由公式（8)得到： Y=巫X 做 在CS重建的过程中，假设存在一个稀疏变换参数阵使得X' = Wx,最理想的恢复 是找到和y具有最小零范数的X'， :r' ::::argmjByr1i;〇>'s,Ly::::尔?/ ''V' 棋) 义 其中W 1代表逆变换。 当CS应用到二维图像领域的时候，CS面临很多问题，例如较大的观测矩阵和复杂 耗时的重建过程等。由于W上问题，分块压缩感知度C巧被提出。一幅图像被分为几个不 重叠的块，每个块都由一个相同的观测矩阵〇8进行观测，等同于原始图像被一个对角阵? 进行观测， # - (10) . 夺资- 由于Oe的大小远小于巫，储存观测矩阵所用的空间大大减小，重建过程的速度也 大大提高。 由于选择第一视点1为主视点，所W第一视点1中大部分区域都是重要区域，而第 二视点3中只有W上求取得区域为重要区域，其余均为非重要本文档来自技高网...

【技术保护点】
一种分区域的3D视频映射方法，其特征在于具体操作方法为：第一步：计算阈值：3D视频两个相邻视点的纹理图和深度图，即摄像机获取的两个视点分别记为第一视点(1)和第二视点(3)，假设用第一视点(1)和第二视点(3)来合成中间的虚拟视点(2)，我们通过计算一个阈值来确定第一视点(1)和第二视点(3)中区域的边界，阈值由公式(1)可求：ΔZmax=510L·fx·(1znear-1zfar)---(1)]]>其中，znear和zfar是自然场景与摄像机之间的距离范围，也可称为深度范围，L是第一视点(1)和第二视点(3)之间的距离，即基线长度，fx是摄像机焦距；第二步：从第一视点(1)和第二视点(3)中任选取一个视点为主视点，根据主视点深度图分别对第一视点(1)和第二视点(3)进行分区域，首先从第一视点(1)和第二视点(3)中任选取一个视点为主视点，计算主视点深度图中每两个相邻像素之间的深度值之差ΔZ，然后利用公式(2)、(3)进行感兴趣边界检测，d(x，y)代表(x，y)处的深度值，Bl(x，y)代表深度图左边界，Bl(x,y)=1,&Delta;Zd=d(x-1,y)-d(x,y)≥ΔZ0,otherwise---(2)]]>同理，Br(x，y)代表右边界，Br(x,y)=1,ΔZd=d(x,y)-d(x+1,y)≤ΔZ0,otherwise---(3)]]>(1)如果Bl(x，y)＝1，则认为(x，y)和(x‑1，y)之间有一个左边界，(x，y)属于前景，(x‑1，y)属于背景；(2)如果Br(x，y)＝1，认为(x+1，y)和(x，y)之间有一个右边界，(x，y)属于前景，(x+1，y)属于背景；(3)如果Bl(x，y)或者Br(x，y)等于0，则相邻像素之间没有边界；第三步：根据虚拟视点(2)合成规则对第一视点(1)和第二视点(3)执行区域分割，并判定是否为重要区域，我们对不同区域采用不同的处理方法以节省码率，考虑背景平面(Q)与成像平面P平行的情况，由于本方法对区域要求可以不用很精确，因此只考虑背景(Q)作为平面的情况；本专利技术只考虑1D模型，即第一视点(1)和第二视点(3)的照相机平行放置，成像平面(P)仅有水平视差没有垂直视差；根据深度图所描述的实际场景信息对成像平面(P)进行区域划分，第一视点(1)和第二视点(3)代表原始视点，虚拟视点(2)代表需要使用第一视点(1)和第二视点(3)来合成的视点，区域MN和AJ分别表示前景和背景，第一视点(1)和第二视点(3)之间的基线长度为L，fx是摄像机的焦距长度；假设第一视点(1)被选为主视点，根据3D映射过程按照虚拟视点(2)所需的区域“从左到右”顺序进行，可分为四个步骤：1)计算区域AB在第一视点(1)中的长度CAB由于区域AB超出了虚拟视点(2)的视觉范围，为非重要区域，所以将其在第一视点(1)中的对应区域进行低BCS观测率采样，设CAB代表区域AB在第一视点(1)中的长度，dA代表A点对应的视差值，znear和zfar分别代表场景最近值和最远值，CAB=L2·fx·(dA255·(1znear-1zfar)+1zfar)---(4)]]>2)计算左边界区域DE在第一视点(1)中的长度CDE由于区域DE被前景MN所遮挡，导致虚拟视点(2)对此区域不可见，因此为非重要区域，对此区域采用低BCS观测率采样，CDE=L2·fx·dM-dE255·(1znear-1zfar)---(5)]]>其中，dM、dE的表示意义同上述dA，第一视点(1)中除以上两个区域外的所有区域均为重要区域，在编码时对其采用高BCS观测率采样；3)计算区域FG在第二视点(3)中的长度CFG因为虚拟视点2需要的FG区域在第一视点(1)中被遮挡，因此我们需要从第二视点(3)中寻找对应的区域，因此此区域为重要区域，需要采用高BCS观测率，区域FG可由公式(6)求得：CFG=L2·fx·dN-dF255·(1znear-1zfar)---(6)]]>其中，dN、dF的求取方法同上述dA；4)计算第二视点(3)中区域IJ的长度CIJ最后，对于虚拟视点(2)需要的区域IJ，由于在第一视点(1)中不可得，因此我们需要从第二视点(3)的相应区域来得到，因此此区域为重要区域，需要采用高BCS观测率，区域长度CIJ可以通过公式(7)计算，CIJ=L2·fx·(dI255·(...

【技术特征摘要】

【专利技术属性】
技术研发人员：王安红，邢志伟，金鉴，武迎春，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：山西;14