基于阵列摄像机的深度图实时获取算法制造技术

本发明专利技术公开了一种基于阵列摄像机的深度图实时获取算法，其摄像机阵列包含一个３Ｄ摄像机和若干个可见光摄像机，本算法根据３Ｄ摄像机提供的低分辨率深度图，来得到每个可见光摄像机视点上的高分辨率深度图，本算法的步骤为：首先，对摄像机阵列进行标定，将３Ｄ摄像机深度图投影到每个可见光摄像机视野下，得到可见光摄像机视野下的初始深度图；其次，用本算法中定义的新的融合了颜色信息和初始深度信息的能量函数，以可见光摄像机彩色图或灰度图为参考，迭代的修正初始深度图，得到最终的高分辨率深度图。本算法是一种能实时地获得普通摄像机视野下的高分辨率深度图的方法，它可以满足立体电视、虚拟现实等多方面应用的需求。

【技术实现步骤摘要】

本专利技术涉及一种三维深度信息获取系统，特别涉及一种基于阵列摄像机的 深度图获取算法。
技术介绍
近年来，三维深度信息的获取已经成为计算机视觉领域一个非常热门的研 究方向，国内外的许多机构和专家已经做了大量相关的工作，提出一些方法和 技术。但是，这些方法和技术都存在着各自的缺点，尚没有一个方法或者技术 能够满足各方面的应用，所以在深度信息的获取方面仍然存在着很多挑战。传统的基于可见光摄像机阵列的立体匹配方法，虽然在理论上是完美的， 但是在实际应用中，因为无法找到准确的匹配点，该方法对于无纹理的平面区 域、渐变的曲面无能为力。再加上传统的深度信息获取传感器是逐点扫描的， 无法达到实时的要求，这导致该项技术只能用于静态的场景。因此，立体匹配 方法和传统的深度信息获取传感器在应用方面受到了极大的限制。随着新的传感器技术的发展，使实时获取动态场景的深度信息成为可能，例如Time-of-Flight。这些新的传感器技术采用极其快速的快门，通过向整个 场景中每一点发送脉冲式光波，并检测其反射回来的光波，来计算这两种光波 之间的时延来估算场景中每一点和传感器之间的距离。这种传感器目前已经得 到了一定的应用，但它也有如下不足之处在边缘的地方深度信息不准，对噪 声、物体的材料敏感，不容易被标定，以及分辨率低等。由于传统的立体匹配在纹理丰富的区域可以求到准确的深度值，而3D摄 像机可以在平坦的颜色均一的区域提供准确的深度数据，利用3D摄像机和可 见光摄像机一起来获得深度信息成为一种趋势。已有的技术中，采用双边滤波器或者马尔可夫随机场的方法，来得到高分辨率的深度图，这些方法是建立在 深度的不连续性和颜色的不连续性基本一致的假设的基础上。它们对高分辨率深度图中的每一点都进行处理，这往往会破环平坦区域的3D原始数据，并且在具有近似相同深度值但处于纹理丰富区域的那些点上无法得到好的效果，会 形成不必要的深度突变。而且，它对高分辨率深度图的每个点都进行处理，也 很难满足实时的要求。
技术实现思路
本专利技术的目的在于提供一种可以实时地获得普通摄像机视野下的高分辨 率深度图的方法，它可以满足立体电视、虚拟现实等多方面应用的需求。为此，本专利技术提出一种基于阵列摄像机的深度图获取算法，其摄像机阵列包含一个3D摄像机和若干个可见光摄像机，本算法根据3D摄像机提供的低 分辨率深度图，来得到每个可见光摄像机视点上的高分辨率深度图，本算法步 骤为首先，对摄像机阵列进行标定，将3D摄像机深度图投影到每个可见光 摄像机视野下，得到可见光摄像机视野下的初始深度图；然后，用本算法中定 义的新的融合了颜色信息和初始深度信息的能量函数，以可见光摄像机彩色图 或者灰度图为参考，迭代的修正初始深度图，得到最终的高分辨率深度图。所述高分辨率深度图的分辨率高于3D摄像机提供的深度图。优选为，所 述所述高分辨率深度图的分辨率为3D摄像机提供的深度图的2倍。在进行可见光摄像机视野下深度图的获取之前，要对每个可见光摄像机和 3D摄像机进行标定，得到将3D摄像机低分辨率深度图投影到每个可见光摄V"l 「一 ,一*1 。2 '13像机视野下的参数，即平移矩阵7=《和旋转矩阵i 二《《《。<formula>formula see original document page 5</formula>在标定以后，用本专利技术中提出的算法来生成每个可见光摄像机视野下的高 分辨率的深度图。对于每个可见光摄像机，算法只用到了该可见光摄像机视野和旋转矩阵^二____下的高分辨率彩色图或灰度图以及3D摄像机的深度图。首先，利用标定时得到的参数将3D摄像机的低分辨率深度图投影到可见 光摄像机视野下，得到每个可见光摄像机视点上的初始高分辨率深度图。进一 步的，用离每个无深度值的点最近的有深度值的点的深度值，对初始高分辨率 深度图中的那些无深度值的点进行填充，得到完整的初始深度图。然后，定义了一个融合了颜色信息和初始深度信息的能量函数，以对应的 可见光摄像机的高分辨率彩色图或者灰度图为参考，对每个初始高分辨率深度 图进行迭代修正。在每次迭代中，首先，根据深度图中的像素点和其四个相邻像素点之间深 度值之差的最大值，将上一次迭代后得到的深度图中的像素点分为可靠点和不 可靠点两类；然后，针对这些不可靠点，用能量函数来修正这些点的深度值；能量函数定义为<formula>formula see original document page 6</formula>其中—，h" = {L2 '艮" 若以可见光摄像机彩色图为参考<formula>formula see original document page 6</formula>以可见光摄像机灰度图为参考<formula>formula see original document page 6</formula>(U')为可见光摄像机视野下深度图中的一点，Z,(/，力为第t次迭代中要计算的 该点的深度值，4_1(/ + ^ +力为点(/ + "，7' +力经过"1次迭代后得到的深度值，RGB是可见光摄像机彩色图的三个颜色通道，/为可见光摄像机灰度图的灰度值，Anax是点G' + "，y + V)和其相邻的四个像素点深度值之差的最大值，MXN 是以点("力为中心的窗口的大小，6和7是常数。以能量函数最小为原则，对那些不可靠点的深度值进行修正，在每个可见 光摄像机视点上，该迭代过程持续到最终高分辨率深度图无明显变化为止。 本专利技术的优点是-1、 提出了一种基于阵列摄像机的深度图实时获取算法，该算法能根据3D 摄像机得到的低分辨率深度图，得到阵列中每个可见光摄像机视点上的高分辨 率深度图。2、 本专利技术中的算法速度快，能得到255级高分辨率深度图，且实现简单， 整个过程自动完成。附图说明图1为本专利技术的一种基于阵列摄像机的深度图实时获取算法实施例的总 流程图2为图1中的投影模块流程图3为图1中的迭代修正模块流程图。具体实施例方式下面，结合附图和具体实施例对本专利技术作进一步说明。 该实施例中用到的可见光摄像机采用CCD传感器，可以提供分辨率为768 X576的彩色图或者灰度图，用到的3D摄像机为Swiss Ranger 3000 (TOF摄 像机)，可以提供分辨率为176X144的深度图和灰度图。摄像机阵列具体的标定方法是首先，对每个CCD摄像机的灰度图进行 下采样，使其分辨率为384X288，并对TOF摄像机的灰度图进行上采样，使 其分辨率达到352X288;然后，采用传统的平板摄像机的标定方法对每个CCD 摄像机和TOF摄像机进行标定(张正友平板摄像机标定法)，得到从TOF摄像机投影到每个CCD摄像机的参数平移矩阵<formula>formula see original document page 7</formula>和旋转矩阵本实施例算法的总流程图见图1，具体做法分为以下三步第一步通过投 影得到CCD摄像机视野下的初始高分辨率深度图，投影部分的流程图见图2; 第二步和第三步属于迭代模块，通过对初始深度图的迭代修正来得到最终的高 分辨率深度图，迭本文档来自技高网...

【技术保护点】
一种基于阵列摄像机的深度图的实时获取算法，所述摄像机阵列包含一个３Ｄ摄像机和若干个可见光摄像机，本算法根据３Ｄ摄像机提供的低分辨率深度图，来得到每个可见光摄像机视点上的高分辨率深度图，其特征在于，本算法的步骤为：首先，对摄像机阵列进行标定，将３Ｄ摄像机深度图投影到每个可见光摄像机视野下，得到可见光摄像机视野下的初始深度图；其次，用本算法中定义的新的融合了颜色信息和初始深度信息的能量函数，以可见光摄像机彩色图或灰度图为参考，迭代的修正初始深度图，得到最终的高分辨率深度图。

【技术特征摘要】

【专利技术属性】
技术研发人员：于慧敏，吴嘉，周颖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]