双目深度相机系统技术方案

本申请实施例公开了双目深度相机系统。该系统的一具体实施方式包括：散斑投影仪，用于向目标区域投射红外散斑图案；双目相机，包括两个具有红外摄像功能的红外相机，且双目相机中存在至少一个红外相机还具有彩色摄像功能；处理模块，用于利用双目视觉原理处理各红外相机利用红外摄像功能采集到的红外图像以生成红外深度图，并将红外深度图与红外相机利用彩色摄像功能采集到的彩色图像相叠加得到深度图像。该实施方式提供的双目深度相机系统缩小了其所在的双目深度相机的体积，降低了双目深度相机的成本。

【技术实现步骤摘要】
双目深度相机系统
本申请实施例涉及机器视觉领域，具体涉及双目深度相机系统。
技术介绍
视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器的智能水平是当前机器视觉系统研究的难点。目前，深度相机已经被广泛地应用于机器视觉领域，如机器人、无人车、人脸识别、手机解锁等。深度相机根据成像原理的不同，可以包括TOF(TimeofFlight，飞行时间)、双目散斑和结构光等不同类型的深度相机。其中，双目深度相机由于硬件要求低、适用环境要求低而被广泛采用，并且双目深度相机中除了包括用于发射红外波段的散斑投影仪之外，通常还需要包括两个红外相机和一个彩色相机。
技术实现思路
本申请实施例提出了双目深度相机系统本申请实施例提供了一种双目深度相机系统，该系统包括：散斑投影仪，用于向目标区域投射红外散斑图案；双目相机，包括两个具有红外摄像功能的红外相机，且双目相机中存在至少一个红外相机还具有彩色摄像功能；处理模块，用于利用双目视觉原理处理各红外相机利用红外摄像功能采集到的红外图像以生成红外深度图，并将红外深度图与红外相机利用彩色摄像功能采集到的彩色图像相叠加得到深度图像。在一些实施例中，双目相机中的两个红外相机的光轴相互平行。在一些实施例中，系统还包括：控制模块，用于控制散斑投影仪和双目相机的工作状态。在一些实施例中，双目相机中具有彩色摄像功能的红外相机包括彩色-红外传感器；彩色-红外传感器包括至少一个图像采集单元，图像采集单元由红光采集子单元、绿光采集子单元、蓝光采集子单元和红外光采集子单元组成。在一些实施例中，图像采集单元包括沿第一方向排列的第一采集子单元列和第二采集子单元列，第一采集子单元列包括沿第二方向依次排列的绿光采集子单元和蓝光采集子单元，第二采集子单元列包括沿第二方向依次排列的红光采集子单元和红外光采集子单元，第一方向与第二方向垂直。在一些实施例中，处理模块进一步用于：基于双目视觉原理，将分别由双目相机的两个红外相机采集到的第一红外图像和第二红外图像进行处理得到红外深度图，其中，红外深度图中包括第一红外图像中每个红外像素的深度信息；对彩色图像进行升采样，得到完整分辨率的彩色图像，其中，彩色图像和第一红外图像由同一红外相机采集得到；将红外深度图中的深度信息叠加到所得到的完整分辨率的彩色图像中，得到目标区域的深度图像。本申请实施例提供的双目深度相机系统，包括用于向目标区域投射红外散斑图案的散斑投影仪和包括两个具有红外摄像功能的红外相机的双目相机，并且该双目相机中存在至少一个红外相机还具有彩色摄像功能，处理模块可以利用双目视觉原理处理各红外相机采集到的红外图像生成红外深度图，并将红外深度图与红外相机采集到的彩色图像相叠加得到深度图像，从而实现了利用同一红外相机可以实现红外摄像功能和彩色摄像功能，而不需要在双目深度相机系统中额外设置单独用于采集彩色图像的相机，减小了双目深度相机系统所在的双目深度相机的体积和零件成本。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出了根据本申请的双目深度相机系统的一个实施例的结构示意图；图2示出了根据本申请的双目深度相机系统的另一个实施例的结构示意图；图3示出了根据本实施例的双目深度相机系统中的彩色-红外传感器的采集子单元的排列方式的示意图；图4示出了根据本实施例的双目深度相机系统中的彩色-红外传感器的采集子单元的另一排列方式的示意图；图5示出了应用本申请的双目深度相机系统的双目深度相机的一个实施例的结构示意图；图6示出了利用本申请的双目深度相机系统生成深度图像的一个实施例的流程图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关技术，而非对该技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。请参考图1，其示出了根据本申请的双目深度相机系统的一个实施例的结构示意图。如图1所示，本实施例中的双目深度相机系统100可以包括散斑投影仪101、双目相机102和处理模块103。在本实施例中，双目深度相机系统100可以利用散斑投影仪101向目标区域投射红外散斑图案，以便于该红外散斑图案可以对目标区域进行编码。通常，散斑可由相干光透射过粗糙表面(如毛玻璃)后产生，其本质是无数具有随机相位的光波波前叠加而产生的干涉现象。在空间自由传播的过程中，散斑图案可以对其分布空间的每个区域进行独特的编码，因此通过分析计算散斑的空间分布可以实现测距和三维成像等。因此，在散斑投影仪向目标区域投射红外散斑图案时对目标区域进行拍摄可以得到红外图像。而后，对红外图像进行分析计算得到深度信息。这里的深度信息可以包括红外相机与目标区域的每个视点的距离相关的信息。在本实施例中，上述双目相机102可以从目标区域采集红外图像。具体地，双目相机102可以包括红外相机1和红外相机2两个红外相机，如图1所示，且各红外相机均具有红外摄像功能。因此，在散斑投影仪101向目标区域投射红外散斑图案时，各红外相机可以在目标区域进行图像采集，从而得到目标区域的两张红外图像。需要说明的是，双目相机102的红外相机1和红外相机2中至少存在一个红外相机还具有彩色摄像功能，以便于该具有彩色摄像功能的红外相机还可以利用彩色摄像功能采集目标区域的彩色图像。作为示例，双目相机102中的红外相机1和红外相机2可以均具有红外摄像功能和彩色摄像功能；或者双目相机102中的红外相机1具有红外摄像功能和彩色摄像功能，而红外相机2具有红外摄像功能而不具有彩色摄像功能。在本实施例中，上述处理模块103可以用于利用双目视觉原理处理各红外相机利用红外摄像功能采集到的红外图像，生成红外深度图，并将该红外深度图与红外相机利用彩色摄像功能采集到的彩色图像相叠加得到目标区域的深度图像。双目相机102中的红外相机1和红外相机2可以从不同的角度对目标区域进行图像采集，得到两张拍摄角度不同的红外图像。双目相机102中具有彩色摄像功能的红外相机还可以对目标区域进行图像采集，得到彩色图像。上述处理模块103可以对彩色图像和红外图像进行预处理(如，去除噪声、图像增强等)和特征提取。而后，处理模块103利用两张红外图像中对应各像素点所处的位置偏差，可以基于三维成像原理计算出红外图像中的红外像素的深度信息，得到包含深度信息的红外深度图。最后，将上述彩色图像与红外深度图相叠加，可以得到目标区域的深度图。这里，深度图像类似于灰度图，该深度图像中的每个像素的灰度值可用于表征目标区域中的某一点与红外相机之间的实际距离。本申请的上述实施例提供的双目深度相机系统100，包括用于向目标区域投射红外散斑图案的散斑投影仪101和包括两个具有红外摄像功能的红外相机的双目相机102，并且该双目相机102中存在至少一个具有彩色摄像功能的红外相机，使本文档来自技高网...

【技术保护点】
1.一种双目深度相机系统，其特征在于，包括：散斑投影仪，用于向目标区域投射红外散斑图案；双目相机，包括两个具有红外摄像功能的红外相机，且所述双目相机中存在至少一个所述红外相机还具有彩色摄像功能；处理模块，用于利用双目视觉原理处理各所述红外相机利用红外摄像功能采集到的红外图像以生成红外深度图，并将所述红外深度图与所述红外相机利用彩色摄像功能采集到的彩色图像相叠加得到深度图像。

【技术特征摘要】
1.一种双目深度相机系统，其特征在于，包括：散斑投影仪，用于向目标区域投射红外散斑图案；双目相机，包括两个具有红外摄像功能的红外相机，且所述双目相机中存在至少一个所述红外相机还具有彩色摄像功能；处理模块，用于利用双目视觉原理处理各所述红外相机利用红外摄像功能采集到的红外图像以生成红外深度图，并将所述红外深度图与所述红外相机利用彩色摄像功能采集到的彩色图像相叠加得到深度图像。2.根据权利要求1所述的系统，其中，所述双目相机中的两个所述红外相机的光轴相互平行。3.根据权利要求1所述的系统，其中，所述系统还包括：控制模块，用于控制所述散斑投影仪和双目相机的工作状态。4.根据权利要求1所述的系统，其中，所述双目相机中具有彩色摄像功能的红外相机包括彩色-红外传感器；所述彩色-红外传感器包括至少一个图像采集单元，所述图像采集单元由红光采集子单元、绿光采集子单元、蓝光采集子单元...

【专利技术属性】
技术研发人员：包英泽，周仁义，覃曾攀，陈明裕，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：新型
国别省市：北京,11