一种用于车载多目摄像机环视系统的虚拟视点合成方法技术方案

本发明专利技术一种用于车载多目摄像机环视系统的虚拟视点合成方法，包括如下步骤；S1向环视系统中输入左右视点参考图像，进行视差估计得到左右视点深度图；S2根据左右视点深度图，分别对应生成左右视点预测深度图；S3根据左右视点参考图像及其对应的左右视点预测深度图，分别生成左右视点预测图；S4利用左右视点预测图，合成虚拟视点图像。通过引入深度可信图的思想，利用深度可信图生成遮挡图，而该遮挡图能够清楚准确地描述出在合成虚拟视点图像时，插值信息应该来自哪个视点的具体什么区域。理论和实验结果证明，这种方法能够有效的得出遮挡区域，提高虚拟视点合成图像的质量，而现有方法都无法有效地检测，跟无法得到高质量的虚拟视点图像。

【技术实现步骤摘要】

本专利技术涉及虚拟视点合成
，具体为。
技术介绍
虚拟视点合成技术是指利用两个或多个来自于同一场景的真实视点图像生成一个新视点的图像。它在环境认知、虚拟现实、地理信息系统、远程视频会议、军事、医疗、教育、娱乐和影视特技等多个领域都有着广泛的应用。基于深度图的绘制(Depth ImageBased Rendering,DIBR)技术是虚拟视点合成技术中最有发展前景的技术之一。该技术根据参考图像的深度信息和摄像机参数，通过3D图像映射，将参考图像投影到目标图像坐标系，能够实现任意视点虚拟图像的快速绘制。然而，单一地通过DIBR技术合成的虚拟视点图像的质量往往并不理想，存在的主要问题是空洞问题、重叠问题和重采样问题。空洞问题是虚拟视点合成的最大难点所在。现在对空洞问题的研究已经有很多。预处理法是对场景深度图像采用二维非对称高斯滤波器通过平滑预处理的方法以改善其不连续性，这种方法可以较好地改善深度的不连续性，并能最大程度地保留物体边缘信息。但从客观上来说，由于对深度光滑已完全改变了三维场景中物体的实际深度，所以这种方法会导致绘制出的图像中的物体出现严重的变形，合成图像的视觉效果也会大大降低。图像修复(Image Inpainting)是利用背景、纹理和相邻像素对虚拟视点图像中的空洞进行填充。这类方法对复杂度比较高的场景进行视点生成时，不仅合成的效果比较差，而且计算复杂度也特别高。解决重叠问题的最简便易行的算法是简单的顺序绘制。这种方法假设了在DIBR映射时，虚拟视点中物体的左右关系与在参考视点中的顺序基本相同。当两个物体的景深差别不大时，这种左右位置关系可以较好地维持应有的顺序而不改变。然而，如果它们在三维空间中的深度相差较大，那么这两个物体经过DIBR映射后，其空间位置排列顺序就有可能会被颠倒。也就是说，DIBR在合成虚拟视点图像时，可能会错误地把参考视点图像中原来在相对右边的物体映射到了左边。因此，虽然这种顺序绘制的视点合成算法简单易行，但在解决重叠问题时效果并不理想。Chen等提出了另一种视点独立可见优先算法。但这种算法也不能完全解决重叠问题。比较常用并且有效的算法是Z-Buffer算法。该方法首先需要为虚拟视点图像平面上的所有像素点开辟一个适当大小的缓存。当绘制新视点时，就可以把与虚拟视点图像中的该像素对应的在参考视点图像中的像素点的深度值存储到与其对应的缓存中。因此，虚拟视点图像中该像素点的像素值，可在该像素点对应的缓存内通过选择具有最小深度值的像素点作为虚拟视点图像中该像素点的估计值。该方法能够比较有效地解决重叠问题，算法复杂度也较低。然而，该算法的不足之处就是需要开辟一些存储空间，从而能够为虚拟视点图像平面中的所有像素分配一个适当大小的缓存。解决重采样的算法已有很多种。最临近点插值法简单地把非整数点的像素值赋值给临近的整数点。然而，这种方法通常会导致虚拟视点图像出现细小的空洞，降低了的合成图像的视觉效果。子像素视点合成算法在合成前对参考图像进行上采样，以增加3D映射时图像的分辨率，然后对合成后的结果进行下采样得到最终的虚拟视点图像。由于这种方法是对参考图像上采样后的图像进行处理，因而合成时的计算量将会大大地增加。
技术实现思路
针对现有技术中存在的问题，本专利技术的目的在于提供，合成效果好，虚拟视点图像质量高，能够用于道路交通视景中。本专利技术是通过以下技术方案来实现:，包括如下步骤；步骤SI:向环视系统中输入左右视点参考图像，进行视差估计得到左右视点深度图；步骤S2:根据左右视点深度图，分别对应生成左右视点预测深度图；步骤S3:根据左右视点参考图像及其对应的左右视点预测深度图，分别生成左右视点预测图；步骤S4:利用左右视点预测图，合成虚拟视点图像；合成时步骤如下；步骤S41，根据左右视点深度图，计算得到左右视点深度可信图，左视点深度可信图计算公式为:本文档来自技高网...

【技术保护点】
一种用于车载多目摄像机环视系统的虚拟视点合成方法，其特征在于，包括如下步骤；步骤S1：向环视系统中输入左右视点参考图像，进行视差估计得到左右视点深度图；步骤S2：根据左右视点深度图，分别对应生成左右视点预测深度图；步骤S3：根据左右视点参考图像及其对应的左右视点预测深度图，分别生成左右视点预测图；步骤S4：利用左右视点预测图，合成虚拟视点图像；合成时步骤如下；步骤S41，根据左右视点深度图，计算得到左右视点深度可信图，左视点深度可信图计算公式为：CCL(x,y)=1,if||dL->R(x,y)+dR->L(x+dL->R(x,y),y)||≤λ0,otherwise;右视点深度可信图计算公式为：CCR(x,y)=1,if||dR->L(x,y)+dL->R(x+dR->L(x,y),y)||≤λ0,otherwise;其中，CCL(x,y)表示左视点深度可信值，CCR(x,y)表示右视点深度可信值，||·||表示欧式范数，(x,y)表示左视点参考图像中的一个像素点，dL?>R(x,y)表示点(x,y)处从左视点到右视点的视差矢量，dR?>L(x,y)表示点(x,y)处从右视点到左视点的视差矢量，λ表示判定阈值；步骤S42，根据得到左右视点深度可信图，生成遮挡图，遮挡图用于指示左右视点预测图中的有效合成信息；视点位置P的遮挡图OP(x,y)可通过下式计算：OP(x,y)={(x,y)|OPI(x,y)∪OPII(x,y)∪OPIII(x,y)}，其中OPI(x,y)，OPII(x,y)和OPIII(x,y)分别定义如下：OPI(x,y)={(x,y)|(x+pdL->R(x,y),y)∈OL(x,y)}OPII(x,y)={(x,y)|(x+pdL->R(x,y),y)∈OL‾}and(x+(1-p)dR->L(x,y),y)∈OR‾}OPIII(x,y)={(x,y)|(x+(1-p)dR->L(x,y),y)∈OR}OPI(x,y)表示虚拟视点P处在左视点图像IL可见但在右视点图像IR中不可见的像素构成的集合，OPII(x,y)表示虚拟视点P处在左视点图像IL和右视点图像IR中都可见的像素构成的集合，OPIII(x,y)表示虚拟视点P处在右视点图像IR可见但在左视点图像IL中不可见的像素构成的集合，而OL={(x,y)|CCL(x,y)=0}，OR={(x,y)|CCR(x,y)=0}；步骤S43，根据对OPI(x,y)，OPII(x,y)和OPIII(x,y)的定义，建立用于虚拟视点合成的优化插值权重模型，左视点的优化插值权重模型表示为：ωL(x,y)=1-p2,if(x,y)∈OPI1-p,if(x,y)∈OPII1-1-(1-p)2,if(x,y)∈OPIII;右视点的优化插值权重模型表示为：ωR(x,y)=1-1-(1-p)2,if(x,y)∈OPI1-p,if(x,y)∈OPII1-p2,if(x,y)∈OPIII;其中，ωL(x,y)与ωR(x,y)分别为左右视点在(x,y)处的优化插值权重模型，p(0≤p≤0.5)为深度值的缩放因子；步骤S44，利用遮挡图和优化插值权重模型，根据左视点权重ωL和右视点权重ωR，将左视点预测图IPL和右视点预测图IPR进行加权插值融合，生成虚拟视点图像IP，计算公式为IP=ωLIPL+ωRIPR。...

【技术特征摘要】
1.一种用于车载多目摄像机环视系统的虚拟视点合成方法，其特征在于，包括如下步骤； 步骤S1:向环视系统中输入左右视点参考图像，进行视差估计得到左右视点深度图；步骤S2:根据左右视点深度图，分别对应生成左右视点预测深度图；步骤S3:根据左右视点参考图像及其对应的左右视点预测深度图，分别生成左右视点预测图；步骤S4:利用左右视点预测图，合成虚拟视点图像；合成时步骤如下； 步骤S41，根据左右视点深度图，计算得到左右视点深度可信图， 左视点深度可信图计算公式为: 2.根据权利要求1所述的一种用于车载多目摄像机环视系统的虚拟视点合成方法，其特征在于，步骤S2包括如下步骤； 步骤S21，根据左右视点深度图，利用正向映射方法分别计算出左右视点在虚拟视点处的左右视点预测深度图； 步骤S22，采用中值滤波法去除正向映射过程中在左右视点预测深度图中形成的细小空洞区域，其中细小空洞区域指宽度小于5个像素的空洞区域。3.根据权利要求2所述的一种用于车载多目摄像机环视系统的虚拟视点合成方法，其特征在于，步骤S2还包括步骤S23，在正向映射过程中采用基于距离和深度的子像素加权算法；步骤S23包括如下步骤， 步骤S231，采用基于距离和深度的点集筛选方法获取有效候选点点集，具体如下； 虚拟视点图像中某个位于整数坐标xO的像素点的候选点集S为:S= {x I X-X01〈1} (I); 式中:?为虚拟视点图像中某个目标像素点的整数坐标的水平分量；X为从参考图像映射到虚拟视点图像并位于Xtl附近的像素点的浮点坐标的水平分量；s为Xtl的候选浮点坐标点集； 且S由重叠点集A和重采样点集B构成，则S为: S=A U B (2)； a.采用基于距离的方法对重叠点集进行分类，对应于虚拟视点图像中的浮点坐标xk，其重叠点集Ak为: Ak= {x I I x-xk| < a and | χ-χ01〈1}，k=l, 2,..., K (3)； 其中:Ixk-XciRl (4)； 式中:α为阈值，用于判断处于位置X的像素点是否属于Ak ;Κ为对应于Xtl的重叠点集的个数，由...

【专利技术属性】
技术研发人员：刘跃虎，来毅，张驰，苏远歧，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：