基于绘制的最大可容忍深度失真计算方法技术

本发明专利技术属于图像处理技术及自由立体成像领域，为建立在不影响虚拟视图质量的情况下的最大可容忍的深度失真模型，能够精确的求取出虚拟视点绘制过程中的可容忍的深度失真范围，可以应用于低复杂度的深度视频编码以及深度图的平滑处理中。本发明专利技术采用的技术方案是，基于绘制的最大可容忍深度失真计算方法，步骤如下：1)将参考视点中的像素点分别利用原始深度和失真后的深度通过3D warping映射到虚拟视点图像中；2)比较映射后的像素点的位置；3)利用像素取整原理，分析不引起整像素位置偏移的几何失真范围；4)建立水平方向的几何失真Δu

Maximum tolerable depth distortion calculation method based on rendering

The invention belongs to the technology of image processing and stereo imaging of free field, as the depth of the maximum tolerable establishment does not affect the quality of the virtual view of the distortion model can accurately compute the virtual viewpoint rendering process can tolerate distortion depth range, can be applied to low complexity video encoding and depth depth map smoothing. The technical proposal of the invention is that the steps of drawing the maximum tolerable distortion depth calculation method, based on the following: 1) the reference pixel point in respectively using the original depth and distortion after the depth by the 3D warping mapped to the virtual view image; 2) pixel mapping the position; 3) using pixel rounding principle, the analysis does not cause integer pixel offset range of geometric distortion; 4) a U horizontal geometry distortion

【技术实现步骤摘要】
基于绘制的最大可容忍深度失真计算方法
本专利技术属于图像处理技术及自由立体成像领域，涉及一种针对基于深度的虚拟视点绘制的最大可容忍深度失真的测量方法。
技术介绍
自由立体显示技术不需要佩戴辅助视具，裸眼就可以直接获得深度信息，使用户能体会到逼真自然、身临其境的冲击感和震撼力。为实现自由立体显示技术的应用，需要采集大量的视频数据，这就增加了存储和传输的负担。在3D视频中，“多视点视频+深度”的视频表示格式可以利用基于深度图的绘制(Depth-image-basedrendering，DIBR)技术在解码终端绘制出所需的视点图像，从而大大降低了存储容量和传输带宽，成为当前的研究热点。在很多3DV应用中，视图绘制的质量非常重要。绘制的质量主要取决于参考视点图像的质量、深度图的质量、相机参数、视点间距以及它们之间的相互关系。由于有损压缩等导致的纹理和深度图像中的错误会影响绘制的视图的质量。纹理误差只会引起虚拟视图中像素点亮度/色度层的失真，而深度编码中量化产生的深度误差会导致绘制视图中的位置误差，即绘制过程中像素的映射会稍微偏移原始位置，进而对绘制虚拟视点图像的质量产生较大的影响。因此，一个能够估计绘制质量的精确的分析模型，对于3DV系统的设计是非常有价值的。对于视图合成的分析，主要分成纹理失真引起的视图合成失真和深度失真引起的视图合成失真两部分进行分析。目前，已经提出了一些视点合成失真估计模型。Liu等提出了一种近似估计视点合成失真的线性失真模型，并根据求解的最小绘制失真决定彩色视频和深度图的最优码率分配；Ma等提出了一种零绘制失真模型，能够准确地预测绘制视点零失真；Yuan等针对深度失真和绘制失真之间的关系，建立了一种多项式模型，定量的分析了深度编码失真与绘制的虚拟视点失真之间的关系；Kim等人提出了一种新的失真标准来量化深度编码对视图合成的影响。然而，这些方法只专注于MVD数据的联合编码，利用不同的率失真模型通过表征的编码失真和视图合成失真之间的关系应用到纹理视频和深度图的编码中，获得纹理和深度编码的最佳比特率分配。在这些失真估计模型中，通过三种绘制视图来分别求取纹理视频的失真引起的虚拟视点的失真和深度失真引起的虚拟视点的失真。其中三种绘制视图分别为利用原始的纹理图和原始的深度图绘制的虚拟视图、利用失真的纹理图和原始的深度图绘制的虚拟视图以及利用原始的纹理和失真的深度绘制的虚拟视图。然而，深度失真不会直接导致绘制的虚拟视图中产生颜色失真，它只会改变映射后的像素位置发生偏移，进而影响虚拟视点绘制的质量。由于深度图的特性与纹理图的特性完全不同，因此在上述方法中，对深度图失真的分析是不充分的。深度信息在合成虚拟视图的过程中发挥着重要的作用。在视图合成中，原始图像中的像素点通过深度图映射到虚拟视点位置的图像中。当深度数据发生失真后，会使映射后的虚拟视图中像素位置发生变化，从而使虚拟视图产生几何失真。除此之外，通过Z-Buffer判定法则可知，如果映射到虚拟视图中的前景物体与背景物体发生了重叠，则深度较小的前景物体会遮挡住深度较大背景物体。因此深度数据的变化同样也会使得遮挡顺序发生变化，使得背景物体遮挡前景物体。而这些几何变化和遮挡变化又会导致合成视图的纹理失真。在虚拟视点绘制的过程中，原始视图中的像素点通过映射投影到虚拟视图中，通常不会位于整像素位置，因此需要对映射后的像素位置进行取整操作。这就使得对于同一像素点，当其对应的深度发生一定的改变时，而映射后的像素位置不发生改变。也就是说当深度在一定范围内变化时，而绘制的虚拟视图的质量不会发生任何改变。因此，对于3DV系统而言，精确地分析由深度导致的虚拟视图的失真模型并建立不引起绘制失真的最大可容忍深度失真模型是非常有意义且有价值的。比如，用这个模型可以更好地理解什么条件下能够减轻深度误差以提高视图绘制的质量，并可以利用这些信息来判断什么时候需要分配更多的比特来编码深度图。
技术实现思路
为克服现有技术的不足，本专利技术旨在依据基于深度的虚拟视点绘制原理，通过分析深度失真与绘制视图的几何失真之间的关系，建立在不影响虚拟视图质量的情况下的最大可容忍的深度失真模型。本专利技术能够精确的求取出虚拟视点绘制过程中的可容忍的深度失真范围，可以应用于低复杂度的深度视频编码以及深度图的平滑处理中。本专利技术采用的技术方案是，基于绘制的最大可容忍深度失真计算方法，步骤如下：1)将参考视点中的像素点分别利用原始深度和失真后的深度通过3Dwarping映射到虚拟视点图像中。2)比较映射后的像素点的位置，获得由深度失真造成的绘制视图的几何失真模型，垂直方向的失真影响非常小忽略不计，只考虑水平方向的几何失真，即水平方向的位置偏移量；3)利用像素取整原理，分析不引起整像素位置偏移的几何失真范围；4)依据步骤3)中获得的几何失真范围，建立水平方向的几何失真Δuv与映射后的像素水平方向坐标位置之间的关系，u′为利用原始深度值映射后的水平方向的坐标分量，d′为映射后的真实深度值；依据建立的几何失真Δuv与深度失真层Δz之间的关系以及在步骤4)中建立的Δuv与之间的关系，推导出Δz关于的关系表达式，即为可容忍的深度失真范围。其中，步骤1)进一步细化为：将参考视点中的像素点(u，v)分别利用原始深度d(u，v)和失真的深度d(u，v)+Δd(u，v)映射到虚拟视点图像中的位置(uv，vv)和(u′v，v′v)处；其中，K，R，t分别表示参考视点的内参矩阵、旋转矩阵和平移矩阵；K′，R′和t′分别对应于虚拟视点的内参、旋转和平移矩阵；R′-1和K-1分别表示矩阵R′和矩阵K的逆矩阵；u′和u″分别为利用原始深度值和失真深度值映射后的水平方向的坐标分量；v′和v″分别为利用原始深度值和失真深度值映射后的垂直方向的坐标分量；d′和d″分别为利用原始深度和失真深度值映射后的深度值；(uv，vv)为利用原始深度d(u，v)映射后在虚拟视点中的坐标位置，(u′v，v′v)为利用失真的深度d(u，v)+Δd(u，v)映射后在虚拟视点中的位置。在映射的过程中，d(u，v)以及d(u，v)+Δd(u，v)为真实的深度，真实的深度d与深度图中的深度层z之间的对应关系为：其中，MinZ和MaxZ分别表示真实深度d的最小和最大值。步骤2)进一步细化为：比较映射后的像素位置(u′/d′，v′/d′)和(u″/d″，v″/d″)获得深度失真造成的绘制视图的几何失真：(Δuv，Δvv)＝(u″/d″-u′/d′，v″/d″-v′/d′)在步骤1中进行映射时，定义P为投影矩阵，Pij(i，j＝1，2，3)为投影矩阵中对应位置上的元素值。在投影矩阵P中通常P31＝P32＝0且有，从而可以得出d′＝d(u，v)，d″＝d(u，v)+Δd(u，v)，则有：深度层与真实的深度之间的对应关系得到d(u，v)对应于深度图中的深度层z(u，v)，d(u，v)+Δd(u，v)对应于深度图中的深度层z(u，v)+Δz(u，v)，则上式写为：通过上式可以得到绘制视图的几何位置失真与深度图中对应的深度层失真Δz(u，v)呈线性关系。步骤3)进一步细化为，对于映射后的像素位置需要进行取整处理：当利用失真的深度进行映射而绘制的视图中不产生几何失真时，u″/d″和u本文档来自技高网...

【技术保护点】
一种基于绘制的最大可容忍深度失真计算方法，其特征是，步骤如下：1)将参考视点中的像素点分别利用原始深度和失真后的深度通过3D warping映射到虚拟视点图像中；2)比较映射后的像素点的位置，获得由深度失真造成的绘制视图的几何失真模型，垂直方向的失真影响非常小忽略不计，只考虑水平方向的几何失真，即水平方向的位置偏移量；3)利用像素取整原理，分析不引起整像素位置偏移的几何失真范围；4)依据步骤3)中获得的几何失真范围，建立水平方向的几何失真Δu

【技术特征摘要】
1.一种基于绘制的最大可容忍深度失真计算方法，其特征是，步骤如下：1)将参考视点中的像素点分别利用原始深度和失真后的深度通过3Dwarping映射到虚拟视点图像中；2)比较映射后的像素点的位置，获得由深度失真造成的绘制视图的几何失真模型，垂直方向的失真影响非常小忽略不计，只考虑水平方向的几何失真，即水平方向的位置偏移量；3)利用像素取整原理，分析不引起整像素位置偏移的几何失真范围；4)依据步骤3)中获得的几何失真范围，建立水平方向的几何失真Δuv与映射后的像素水平方向坐标位置之间的关系，u′为利用原始深度值映射后的水平方向的坐标分量，d′为映射后的真实深度值；依据建立的几何失真Δuv与深度失真层Δz之间的关系以及在步骤4)中建立的Δuv与之间的关系，推导出Δz关于的关系表达式，即为可容忍的深度失真范围。2.如权利要求1所述的基于绘制的最大可容忍深度失真计算方法，其特征是，其中，步骤1)进一步细化为：将参考视点中的像素点(u,v)分别利用原始深度d(u,v)和失真的深度d(u,v)+Δd(u,v)映射到虚拟视点图像中的位置(uv,vv)和(u′v,v′v)处；其中，K,R,t分别表示参考视点的内参矩阵、旋转矩阵和平移矩阵；K′,R′和t′分别对应于虚拟视点的内参、旋转和平移矩阵；R′-1和K-1分别表示矩阵R′和矩阵K的逆矩阵；u′和u″分别为利用原始深度值和失真深度值映射后的水平方向的坐标分量；v′和v″分别为利用原始深度值和失真深度值映射后的垂直方向的坐标分量；d′和d″分别为利用原始深度和失真深度值映射后的深度值；(uv,vv)为利用原始深度d(u,v)映射后在虚拟视点中的坐标位置，(u′v,v′v)为利用失真的深度d(u,v)+Δd(u,v)映射后在虚拟视点中的位置；在映射的过程中，d(u,v)以及d(u,v)+Δd(u,v)为真实的深度，真实的深度d与深度图中的深度层z之间的对应关系为：其中，MinZ和MaxZ分别表示真实深度d...

【专利技术属性】
技术研发人员：王来花，倪建成，齐苏敏，姜蓝蓝，鲁大营，
申请(专利权)人：曲阜师范大学，
类型：发明
国别省市：山东,37