一种基于独立相机视角下空间采样的多光编码相机的深度提取方法技术

本发明专利技术公开了一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，应用于以多深度少纹理为基础的多视点采集和重建架构。本发明专利技术从独立的光编码深度相机视角出发，通过对采集场景进行空间分层采样的方式解决多光编码相机系统存在相互干扰的问题，从而获得无干扰的场景深度图。本发明专利技术与基于结构光及多视点立体的平面扫描方法相比，可有效降低多光编码相机间的干扰，在获得精确深度信息的同时能够更好地保留场景的形状信息，为三维场景重建提供高质量、高精度的深度图像。

【技术实现步骤摘要】
一种基于独立相机视角下空间采样的多光编码相机的深度提取方法
本专利技术属于融合多深度信息的复杂场景采样与重建领域，特别涉及多光编码深度相机间的干扰消除与深度提取。
技术介绍
近年来，随着数字电视技术和显示技术的不断发展，从多角度身临其境地观看场景的立体视频正逐渐成为人们的迫切需求。传统的2D视频由于缺少景物的深度信息，剥夺了观察者的视觉立体感受；而且人们不能根据自身的喜好编辑、操作视听对象，使用户失去了交互操作的权利。为了让观察者能够感知立体视觉效果，基于多视点的3D视频应运而生。本质上，2D与3D视频的区别就在于深度信息。由于3D视频蕴含丰富的深度信息，使其在自然场景的表征上更具立体感，进而增强了用户的自然感知能力。由于深度图获取的难度大、精度差、价格高，传统的多视点数据采集系统大都是基于纹理相机的。2008年以前没有深度相机，人们通过立体匹配等估计方法间接地获取场景深度。这些方法不仅计算复杂度高难以实时，而且复杂场景下对于遮挡、纹理重复等区域的匹配结果不准确。2011年微软推出的光编码深度相机Kinect打破了这一格局。它给出了一种实时的场景深度图像提取方法；并且以低廉的价格和可开发性吸引着越来越多的计算机视觉研发人员。随着Kinect深度相机的广泛推广，使基于多深度的多视点视频研究和应用成为可能，并将具有巨大的发展和应用前景。然而当多台Kinect同时工作在同一场景下时，由于不同红外投影机发射的散斑在空间内叠加，使每台Kinect在匹配时受到来自其它深度相机信号的干扰，无法区分自身的投影散斑，导致深度计算出现错误，从而严重地影响了深度图的进一步应用。这也是目前正在使用的光编码深度相机面临的致命问题。研究人员在多光编码深度相机的干扰消除上尝试了许多方法。理论上，时分复用与频分复用都可以用来解决信号间干扰，但对于多光编码深度相机并不适用。时分复用需要严格的同步机制，很难被应用在大规模的采集系统中，而且对于运动场景的捕捉具有很大的困难；频分复用需要对不同的深度相机进行不同的频率定制，这很难在有限的红外频段下实现。基于结构光及多视点立体的平面扫描方法可以有效地减小多光编码深度相机间的干扰。通过考虑投影机与相机及相机与相机间的光强度相关性，该方法可以恢复任意视点下散斑重叠区域的深度信息，获得无干扰的深度图。但是由于相机约束条件的限制，在某些遮挡情况下被重建物体的形状会产生畸变。被遮挡处的物体深度与背景深度混淆，导致深度提取出现错误。基于以上分析，现有方法或多或少都存在一些不足。
技术实现思路
本专利技术的目的是为了解决现有技术的不足，提出一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，目的在于消除多个光编码深度相机间的干扰，同时避免因相机约束条件所导致的被遮挡物体深度与背景深度混淆的问题，可以在多深度相机同时工作的情况下，获得准确的场景深度信息。一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，包括如下步骤：(1)将某独立相机视角下的拍摄空间划分为若干深度测试平面；(2)在某一确定的测试平面下，将该相机成像平面中的某一待测像素点重投影到各投影机的视点下；(3)分别在各重投影像素点周围取邻域，估算这些邻域的线性组合与相机成像平面中待测像素点邻域相等时的线性权值；(4)利用已求出的线性权值，计算重投影像素点邻域的线性组合与待测像素点邻域的相似度；(5)为抵消干扰的影响，遍历所有测试平面，以具有最高相似度的深度为当前待测像素点的深度；(6)遍历整个相机的成像平面，获得该深度相机视角下的无干扰的深度图。优选地，所述步骤1)中，深度测试平面与该独立相机的成像平面平行。优选地，所述步骤2)中，各投影机与相机事先已标定完成。优选地，所述步骤3)中，利用最小二乘拟合的方法计算各线性权值系数。优选地，所述步骤4)中，利用去均值互相关准则计算二者的邻域相似性。本专利技术的优点在于：(1)本方法实现的基于独立深度相机视角下空间采样的深度估计，可以正常提取场景的深度信息；(2)本方法可以去除相机约束条件，避免因被遮挡物体深度与背景深度混淆而产生的深度计算错误；(3)本方法可利用多组投影散斑获得高质量、高精度的场景深度图像，适用于精确的三维场景重建技术；(4)本方法中多光编码深度相机间无需通信，降低了计算成本。附图说明图1是本专利技术的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法的原理示意图；图2是本专利技术的一种实施例的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法中左相机拍摄到的场景图像；图3是本专利技术的一种实施例的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法中某待测像素点在所有深度测试平面下的相似度曲线；图4是本专利技术的一种实施例的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法中左相机生成的无干扰的深度图。具体实施方式下面将结合附图和实施例对本专利技术作进一步的详细说明。本专利技术是一种基于独立相机视角下空间采样的多光编码相机的深度提取方法：首先将某独立相机视角下的拍摄空间划分为与深度成像平面平行的若干测试平面；其次，依据已知测试平面，将相机中待测像素点重投影到各投影机视点下。通过比较待测像素点邻域与各重投影像素点邻域线性组合的相似度，估计出待测像素点的深度值。其中，以具有最高相似度的深度作为当前待测像素点的深度值，而相似度的计算则采用去均值互相关的方式进行。最后，遍历相机成像平面的所有像素，获得该独立相机视角下的无干扰的深度图。具体实现步骤如下：步骤一，对拍摄空间进行采样：假设场景中包含M个红外投影机P1P2…PM及N个相机C1C2…CN。以某独立相机Ci为例，i∈{1,2,…,N}，将该视角下的拍摄空间划分为与其深度成像平面平行的若干测试平面Z1Z2…ZL，其中Z1距离相机位置最近，ZL距离相机位置最远，并且这L个深度测试平面按等间隔的顺序排列，如图1所示。步骤二，依据某一确定的测试平面，将待测像素点重投影到各个投影机视角：取深度值为Zh的测试平面并给定相机Ci成像平面上的待测像素点x，h∈{1,2,…,L}。由于各投影机和相机事先已标定完成，它们各自的投影矩阵已知。记第j台投影机的投影矩阵为第i台相机的投影矩阵为利用这些已知的投影矩阵，可以将像素点x分别重投影到投影机P1P2…PM视角下。具体的重投影过程分为如下两步：(1)将x重投影到深度测试平面Zh假设X是待测像素点x重投影到深度测试平面Zh上的空间点的行向量坐标。由相机空间与场景空间的几何投影关系，可以得到空间点X与待测像素点x坐标间的关系(x同样以行向量坐标表示)：其中：T表示对当前坐标向量进行转置，表示对矩阵取逆，通过此公式可以计算出空间点X的坐标。(2)将深度测试平面Zh上的点投影到各投影机视角根据已知的投影机投影矩阵，可以将步骤二(1)中获得的空间点X投影到各个投影机视角下。假设是X映射到第j台投影机视角的投影点，可以得到：通过上述公式，可以获得在测试平面Zh下，深度相机中待测点x重投影到各投影机视角下的像素点的具体位置。步骤三，取像素点周围邻域，估算各投影机内重投影点的线性加权系数：取待测点x及重投影点周围的邻域，分别记为及由于本方法不需要考虑相机约束条件，通过相机直接拍摄到的邻域可以利用各重投影像素点本文档来自技高网...

【技术保护点】
一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，包括如下步骤：(1)将某独立相机视角下的拍摄空间划分为若干深度测试平面；(2)在某一确定的测试平面下，将该相机成像平面中的某一待测像素点重投影到各投影机的视点下；(3)分别在各重投影像素点周围取邻域，估算邻域的线性组合与相机成像平面中待测像素点邻域相等时的线性权值；(4)利用已求出的线性权值，计算重投影像素点邻域的线性组合与待测像素点邻域的相似度；(5)遍历所有测试平面，设置最高相似度的深度为当前待测像素点的深度；(6)遍历整个相机的成像平面，获得该深度相机视角下的无干扰的深度图。

【技术特征摘要】
1.一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，包括如下步骤：(1)将某独立相机视角下的拍摄空间划分为若干深度测试平面；(2)在某一确定的测试平面下，将该相机成像平面中的某一待测像素点重投影到各投影机的视点下；(3)分别在各重投影像素点周围取邻域，估算邻域的线性组合与相机成像平面中待测像素点邻域相等时的线性权值；(4)利用已求出的线性权值，计算重投影像素点邻域的线性组合与待测像素点邻域的相似度；(5)遍历所有测试平面，设置最高相似度的深度为当前待测像素点的深度；(6)遍历整个相机的成像平面，获得该深度相机视角下的无干扰的深度图。2.根据权利要求1所述的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，所述的步骤(1)中深度测试平面与该独立相机的成像平面平行，具体的：假设场景中包含M个红外投影机P1P2…PM及N个相机C1C2…CN，对某个独立相机Ci，i∈{1,2,…,N}，将该视角下的拍摄空间划分为与其深度成像平面平行的若干测试平面Z1Z2…ZL，其中Z1距离相机位置最近，ZL距离相机位置最远，并且这L个深度测试平面按等间隔的顺序排列。3.根据权利要求1所述的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，所述的步骤(2)具体包括：取深度值为Zh的测试平面并给定相机Ci成像平面上的待测像素点x，h∈{1,2,…,L}，设各投影机和相机已标定完成，各自的投影矩阵已知，记第j台投影机的投影矩阵为第i台相机的投影矩阵为将像素点x分别重投影到投影机P1P2…PM视角下，具体的重投影过程分为如下两步：(1)将x重投影到深度测试平面Zh假设X是待测像素点x重投影到深度测试平面Zh上的空间点的行向量坐标，由相机空间与场景空间的几何投影关系，得到空间点X与待测像素点x坐标间的关系：其中：T表示对当前坐标向量进行转置，表示对矩阵取逆；通过上式计算出空间点X的坐标；(...

【专利技术属性】
技术研发人员：刘荣科，潘宇，杜秋晨，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11