一种基于深度图的全搜索视点预测方法技术

本发明专利技术公开了一种基于深度图的全搜索视点预测方法。本发明专利技术首先，根据初始视点绘制生成当前视点v0下的深度图然后移动当前视点v0设定的距离r得到参考视点vi，绘制生成参考视点深度图并设置标志数组data[]用以标志当前视点下各个像素能否在参考视点下获取，通过统计标志数组中未标记部分大小，检查是否满足指定的空洞阈值，如果不满足，增大移动距离r，继续移动初始参考视点，直到其空洞大小满足指定阈值。最后，根据全搜索得到最大参考视点vr,绘制渲染此视点下的深度图和颜色图，并连同初始视点下的深度图和颜色图传输给客户端。本发明专利技术在搜索的过程中，不进行颜色图的绘制，大大降低了绘制时间，从而实现快速精确的参考视点预测。

【技术实现步骤摘要】
一种基于深度图的全搜索视点预测方法
本专利技术属于无线网络中移动设备端绘制三维图形的多媒体
，特别涉及一种基于深度图的全搜索视点预测方法。
技术介绍
随着手机硬件迅速发展，计算处理能力越来越强，手机的功能越来越强大，计算机三维图形应用程序也慢慢出现在手机上，如移动三维游戏、移动三维虚拟展示与漫游和移动增强现实系统等应用近几年得到快速发展。然而，由于手机运算能力及硬件方面的限制的问题，使得手机上面只能运行小规模场景的三维图形应用程序，对大型场景、精细模型、高级特效的绘制显得无能为力。基于图像的远程绘制是一种解决此问题的可行方法。在此方法中，服务端完成海量复杂三维场景的绘制和计算，并将绘制后的图像传输到移动客户端。可以看出，此方法中远程客户端不需要任何3D图形处理能力即可得到具有强烈真实感三维效果。通常，基于图像的远程绘制方法主要有基于图像替代物(imageimpostor)、环境图(EnvironmentMap)和深度图(DepthMap)三种方法。基于图像替代物的方法在服务端仅需要生成一种单精度渲染图像，而客户端也只需发出简单的交互命令即可完成远程绘制。然而，此方法的主要缺陷在于每帧的绘制，都需要与服务器进行通信传输新视点下的图像，交互时延较长，不能满足实时交互的需求。基于环境图方法通常被应用于简化复杂的三维场景中的背景部分。此方法的服务端可以对于一个给定的视点位置产生一个360度的全景环境图，而此图在客户端可以被投影为任意视角方向下的标准图像，从而使客户端用户可以360度任意漫游。在此过程中，不需要服务端再传输相关图像数据，从而显著降低了交互时延。然而，当用户使用此方法进行三维漫游时部分区域会产生较大的图像变形失真现象。基于深度图的绘制方法中，服务端根据当前视点预测出多个参考视点，绘制生成参考视点下的颜色图和深度图并将其传输给客户端。客户端根据参考视点的深度图和颜色图，采用3D虚拟合成算法合成当前新视点下的绘制图像。这种方法能保证当前视点在参考视点范围内的时候不需要传输新的图像数据，只根据参考视点的深度图和颜色图便可无延迟的生成绘制新视点下的图像。基于深度图的绘制方法中，有两种参考点预测算法，基于全搜索的方法和基于预测的方法。基于全搜索能够获得较为精准的参考视点，但是，此绘预测算法在预测过程中需要不断的绘制场景的颜色图和深度图，其运行时间与绘制场景成正比，当场景较大时，算法运行时间甚至达到十几分钟，不满足实时交互式需求。基于预测的方法可以快速预测出参考视点，获得实时预测效果，但是算法并不能获得精确的参考视点，会出现预测视点范围过大或者过小的特殊情况。
技术实现思路
本专利技术针对现有方法预测时间过长的不足，提出了一种基于深度图的全搜索视点预测方法，减少预测过程对场景的绘制次数，极大提高预测效率。本专利技术解决其技术问题所采用的技术方案如下：首先，根据初始视点绘制生成当前视点v0下的深度图然后，移动当前视点v0设定的距离r得到参考视点vi，绘制生成参考视点深度图并设置标志数组data[]用以标志当前视点下各个像素能否在参考视点下获取，通过统计标志数组中未标记部分大小(即空洞大小)，检查是否满足指定的空洞阈值，如果不满足，增大移动距离r，继续移动初始参考视点，直到其空洞大小满足指定阈值。最后，根据全搜索得到最终参考视点vi,绘制渲染此视点下的深度图和颜色图，并连同初始视点下的深度图和颜色图传输给客户端。本专利技术与
技术介绍
相比，具有的有益的效果是：本专利技术适用于基于深度图绘制方法中参考视点预测，在搜索的过程中，不进行颜色图的绘制，大大降低了绘制时间，从而实现快速精确的参考视点预测。具体实施方式全搜索方法在每次搜索过程中，都需获取要参考视点的深度图和颜色图，同时通过虚拟合成得到两视点之间的目标视点时颜色图，此外为求取生成的目标视点的图像与目标视点下的原始图像的误差时，此方法还需要渲染目视视点的原始图像以便获得其PSNR值。本专利技术用一个标志数组代表目标视点下各像素是否被填充，在每次搜索的过程中，只需要参考视点的深度图，将参考视点各像素虚拟合成到参考视点之间的目标视点下后，如果在目标视点下，则将标志数组的指定位置标记为已填充，最后标志数组中未被标记部分的则为空洞部分。因此，在搜索过程中，本方法不需要渲染各参考视点的颜色图，同时，在求取目标视点下生成的图像与原始图像的误差值时，直接用标记数组中空洞大小来作为评判标准，不需要渲染目标视点的颜色图，通过这两步的减少图像绘制，大大减少了全搜索算法的时间。本专利技术的具体实施方式如下:首先，根据初始视点绘制生成当前视点v0下的深度图这里定义vi为搜索到的最终参考视点，Cv,Dv分别为在视点v处获得的彩色图和深度图，为将视点v下的图像虚拟合成到视点vi后的结果，vi为视点v0按照设定移动方式M(M可为左右、前后和上下移动)移动r个单位方向向量后的参考视点，MAXm为搜索视点时初始视点移动的最大距离,vi＝v0+r*M,0<r<MAXm公式(1)然后，移动当前视点v0特定的距离r得到参考视点vi，绘制生成参考视点vi下的深度图并设置标志数组data[]用以标志目标视点下各个像素能否在参考视点下获取。此时，初始的视点v0和之后生成的新视点vi作为参考视点，根据各参考视点深度图，将参考视点各像素虚拟合成到参考视点之间的目标视点下，如果参考视点像素代表的空间点在目标视点范围内，则将指定位置处的标志数组设定为已经标记。接着，统计标志数组中未标记部分大小(即空洞大小)，检查是否满足指定的空洞阈值，如果满足，则此时视点vi即为搜索到的最终参考视点，否则，继续增加移动距离r，直到找出最大的移动距离rmax。求取最大移动距离rmax的步骤如下：Step1：初始化设置搜索次数n(n＝1)，并设置开始时移动初始参考视点v0到新的参考视点vi的特定距离r的大小，渲染获得参考视点下的深度图Step2：设定视点vi的值为视点v0的值加上移动距离r。如果r大于视点v0和vi之间的预设最大距离MAXm，则停止搜索并返回MAXm；否则将渲染参考视点vi的深度图并增加搜索次数n(n+＝1)和重新设置移动初始视点的步长r(此处可根据需要设置视点增加步长的方式。若r为常数n时,代表按照步长为n的固定单位距离方式进行递增，若r为2n时，代表按照指数递增步长。显然，指数递增方式可以加快参考视点的预测速度，但是其预测精确度没有顺序递增方法高)。Step3：设置目标视点vt为(v0+vi)/2。(根据研究发现，两参考视点虚拟合成到两视点之间的视点时，一般在中间视点处会产生最大空洞，因此这里设置目标v0和vi的中间视点而非遍历v0到vi的所有视点，大大降低搜索算法的时间)Step4:利用深度图和获得图中每个像素的深度值和及其在此深度图像中的坐标值(xv0,yv0)和(xvi,yvi)；虚拟合成这两坐标点获得(xv0,yv0)和(xvi,yvi)在目标视点vt的投影位置(xv0',yv0')和(xvi',yvi')，v0<vt<vi，并将此位置处标志为可见。Step5:统计目标视点vt下未标志为可见的位置个数，即空洞的大小。如果不可见的个数小于一定阈值，则返回step2。否则，停止搜索，返回此时视点移动的本文档来自技高网...

【技术保护点】
一种基于深度图的全搜索视点预测方法，其特征在于：步骤1.根据初始视点绘制生成当前视点v0下的深度图这里定义vr为搜索到的最终参考视点，Cv,Dv分别为在视点v处获得的彩色图和深度图，为将视点v下的图像WARPING到视点vi后的结果，vi为视点v0按照设定移动方式M移动r个单位方向向量后的参考视点，MAXm为搜索视点时初始视点移动的最大距离vi＝v0+r*M,0<r<MAXM        公式(1)步骤2.移动当前视点v0距离r得到参考视点vi，绘制生成参考视点vi下的深度图并设置标志数组data[]用以标志当前视点下各个像素能否在参考视点下获取，求得两参考视点；此时，初始的视点v0和之后生成的新视点vi作为参考视点，根据各参考视点深度图，将参考视点各像素WARPING到参考视点之间的目标视点下，如果像素代表的空间点在当前视点范围内，则将指定位置处的标志数组设定为已经标记；接着，统计标志数组中未标记部分大小，检查是否满足指定的空洞阈值，如果满足，则此时视点即为搜索到的最大预测视点，否则，继续增加移动距离r，直到找出最大的移动距离rmax；步骤3.根据全搜索得到最大移动距离rmax,获得最大的参考视点vr，vr＝v0+rmax,绘制渲染此视点下的深度图和颜色图，并连同初始视点v0下的深度图和颜色图传输给客户端。...

【技术特征摘要】
1.一种基于深度图的全搜索视点预测方法，其特征在于：步骤1.根据初始视点绘制生成当前视点v0下的深度图这里定义vi为搜索到的最终参考视点，Cv,Dv分别为在视点v处获得的彩色图和深度图，为将视点v下的图像虚拟合成到视点vi后的结果，vi为视点v0按照设定移动方式M移动r个单位方向向量后的参考视点，MAXm为搜索视点时初始视点移动的最大距离vi＝v0+r*M,0<r<MAXm公式(1)步骤2.移动当前视点v0距离r得到参考视点vi，绘制生成参考视点vi下的深度图并设置标志数组data[]用以标志目标视点下各个像素能否在参考视点下获取；此时，初始的视点v0和之后生成的新视点vi作为参考视点，根据各参考视点深度图，将参考视点各像素虚拟合成到参考视点之间的目标视点下，如果参考视点像素代表的空间点在目标视点范围内，则将指定位置处的标志数组设定为已经标记；接着，统计标志数组中未标记部分大小，检查是否满足指定的空洞阈值，如果满足，则此时视点vi即为搜索到的最终参考视点，否则，继续增加移动距离r，直到找出最大的移动距离rmax；步骤3.根据全搜索得到最大移动距离rmax,获得最终参考视点vi，vi＝v0+rmax,绘制渲染此视点下的深度图和颜色...

【专利技术属性】
技术研发人员：王勋，杨柏林，王玉峰，韩建伟，金剑秋，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：浙江;33