一种多摄像头阵列的深度感知方法技术

本发明专利技术提供了一种多摄像头阵列的深度感知方法，采用激光散斑投射器或其它投影装置投射出固定图案，对空间进行结构光编码，再利用在同一基线上的多个摄像头获取所投射的图案，通过两种块匹配运动估计方法计算深度，包括输入图像与参考图案之间的块匹配计算和输入图像两两之间的双目块匹配计算，再在多个深度图之间根据所检测的距离范围、投射阴影进行深度图融合，消除阴影和噪声的干扰，生成高分辨率、高精度的图像深度信息。该方法易于采用硬件实现，可提升深度测量的精度、拓展深度测量的范围。

【技术实现步骤摘要】
一种多摄像头阵列的深度感知方法
本专利技术属于图像处理、人机交互和机器视觉
，具体涉及一种多摄像头阵列的深度感知方法。
技术介绍
视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器的智能水平是当前机器视觉系统研究的难点。在工业领域，高分辨率、高精度的三维深度信息在汽车辅助安全驾驶、高速机床加工、工业建模、3D打印、医疗成像、物联网3D视觉感知等领域有着广泛的应用需求。在消费电子领域，深度感知技术和装置有助于提高电子产品的智能水平和交互能力，可为用户带来“科幻”般的操控方式和全新的人机交互体验，在智能电视、智能手机、家电、平板PC等领域实现创新应用。基于结构光编码的主动视觉模式可以较为准确地获取图像的深度信息，该模式相比双目立体摄像头，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配过程简单、算法计算量小等优势。如微软的体感交互设备Kinect就是采用红外结构光的主动视觉模式，即通过红外激光投射固定模式的图像到物体表面，经物体表面的漫反射形成散斑点，由摄像头采集获得散斑图像，再通过图像深度感知装置计算获得物体的深度图信息。Kinect可实时获取深度图(0.8～3.8米范围，640*480，30f/s)，深度距离测量最优处可精确到3毫米，具备3D图像识别及动作捕捉功能，使得人能够以手势、体感动作与智能终端进行交互。2013年美国苹果公司公布了一项最新申请的专利技术专利“DepthPerceptionDeviceandSystem，深度感知设备与系统”，利用激光发射图形、摄像头获取散斑图后计算出深度距离，该技术有可能作为其未来创新产品的虚拟交互和输入设备进行应用。当前微软、苹果所开发的深度感知装置都采用单一的摄像头接收模式，且主要适用于消费类电子，在深度图分辨率、精度、距离和实时性等方面难以满足无人车辅助驾驶、高速机床加工、工业三维建模、3D打印等领域的应用需求。当前大范围、高精度的深度感知装置已成为不同应用领域研究的热点和急需突破的关键设备。
技术实现思路
鉴于此，本专利技术提供了一种多摄像头阵列的深度感知方法，该方法采用激光散斑投射器或其它投影装置投射出固定图案，对空间进行结构光编码，再利用在同一基线上的多个摄像头获取所投射的图案，通过各自的深度计算和深度图融合，生成高分辨率、高精度的图像深度信息(距离)。根据本专利技术的一种多摄像头阵列的深度感知方法，包括以下步骤：步骤1、采用结构光编码的主动视觉模式，利用投射器投射固定图案的图像，对投射空间进行结构光编码，即主动进行特征标定；步骤2、多摄像头阵列接收一定波长范围的投射器所投射的图案；步骤3、多摄像头阵列的K个摄像头采集输入图像I1,I2,…,IK，经各自的预处理模块进行预处理；步骤4、将预处理后的输入图像I1,I2,…,IK送入块匹配运动估计模块进行匹配计算，包括各输入图像I1,I2,…,IK与其对应的参考图案R1,R2,…,RK之间的块匹配计算以及各输入图像I1,I2,…,IK两两之间的双目块匹配计算；步骤5、进行深度计算：将各摄像头的输入图像I1,I2,…,IK与对应参考图案R1,R2,…,RK块匹配计算得到的X轴方向偏移量Δx1,Δx2,…,ΔxK，结合参考图案的已知距离参数d、摄像头图像传感器焦距fk、摄像头到投射器的基线距离Sk和摄像头图像传感器点距参数μ，计算各输入图像中对应同一位置的投射图像块blockm×n中心点o的深度信息dk，k＝1,2，…，K；将各输入图像I1,I2,…,IK两两之间双目匹配得到X轴方向偏移量Δx1,2,Δx2,3,…,ΔxK-1,K，结合摄像头图像传感器焦距fk、Sk-1,k相连两个摄像头之间的基线距离Sk-1,k和摄像头图像传感器点距参数μ，计算得到同一位置的投射图像块blockm×n中心点o的深度信息dk-1,k，k＝2,3，…，K；步骤6、进行深度融合：利用输入图像两两之间双目匹配得到的深度信息d1,2,d2,3,…,dK-1,K对输入图像与参考图案匹配得到的深度信息d1,d2,…，dK进行修正，再根据修正后的深度信息与参考阈值的比较结果，选择某一摄像头对应的深度值作为输出。本专利技术突破了当前点激光或线激光扫描仪无法获取大范围、长距离、高精度深度信息的局限，改善了激光三角测距方法随着距离增加、测距精度急剧下降的缺陷。采用本专利技术技术方案的有益效果还将通过以下实施例的阐述而得到具体的体现。附图说明图1是本专利技术实施例的多摄像头阵列深度感知方法流程图；图2是本专利技术实施例的多摄像头阵列结构示意图；图3是激光三角测距方法示意图；图4是本专利技术实施例的多摄像头深度感知计算模块结构图；图5是本专利技术实施例的输入图像块在多摄像头中成像示意图；图6是本专利技术实施例的输入图像块与最优匹配块之间偏移量示意图；图7是本专利技术实施例的输入图像两两之间进行双目块匹配示意图；图8是本专利技术实施例的深度融合示意图。具体实施方式下面结合具体实施例对本专利技术进行进一步的详细说明。总体而言，本专利技术实施例的多摄像头阵列深度感知方法采用激光散斑投射器或其它投影装置投射出固定图案，对空间进行结构光编码，再利用在同一基线上的多个摄像头获取所投射的图案，通过各自的深度计算和深度图融合，生成高分辨率、高精度的图像深度信息(距离)，进行三维图像的目标识别或动作捕捉。图1示意性图示了本专利技术实施例的多摄像头阵列深度感知方法的整体流程。为了清楚说明，下文中将结合图2、图3、图4、图5、图6、图7、图8来描述该方法。步骤1、采用结构光编码的主动视觉模式，利用投射器投射固定图案的图像，对投射空间进行结构光编码，即主动进行特征标定。对于采用结构光编码的主动视觉模式，首先由投射器主动投射出固定图案对投射空间进行编码，即对投射空间进行特征标定。其中，投射器可以是激光散斑投射器或投影装置，其中激光散斑投射器可以投射出的相干激光束(红外、可见光、紫外线、不可见光)，激光束经干涉成像和物体表面的漫反射形成由散斑点组成的散斑图像，而投影装置则可以投射出可控的编码图案。投射器所投射出的图案一般是固定的，或采用一定的控制策略与摄像头接收图像的图像传感器进行同步后改变其投射出的图案；同一幅图案在水平或垂直方向的一定范围特征不重复或随机分布。投射器所投射的视场角FoV(包括水平、垂直视场角)一般大于接收摄像头的视场角FoV。步骤2、多摄像头阵列接收一定波长范围的投射器所投射的图案。其中，由多摄像头阵列(K个)接收所投射的图案。优选地，各摄像头与投射器的光轴平行，且光学中心点在同一基线上。各摄像头可以对称、非对称方式置于投射器的左侧、右侧、上侧、下侧均不影响本
技术实现思路
的实施。如图2所示，以K＝3个接收摄像头为例，摄像头1、摄像头2、摄像头K与投射器之间的基线距离分别为S1、S2、SK，且SK>S2>S1；其焦距分别为f1，f2，fK，焦距可相等、也可互不相等，一般fK≥f2≥f1；视场角也可以互不相等；各摄像头的功能定位有所不同，由于视场角和固定焦距测量范围的限制，摄像头1适用于捕获近距离图像，摄像头2用本文档来自技高网...

【技术保护点】
一种多摄像头阵列的深度感知方法，包括以下步骤：步骤1、采用结构光编码的主动视觉模式，利用投射器投射固定图案的图像，对投射空间进行结构光编码，即主动进行特征标定；步骤2、多摄像头阵列接收一定波长范围的投射器所投射的图案；步骤3、多摄像头阵列的K个摄像头采集输入图像I1，I2，…，IK，经各自的预处理模块进行预处理；步骤4、将预处理后的输入图像I1，I2，…，IK送入块匹配运动估计模块进行匹配计算，包括各输入图像I1，I2，…，IK与其对应的参考图案R1，R2，…，RK之间的块匹配计算以及各输入图像I1，I2，…，IK两两之间的双目块匹配计算；步骤5、进行深度计算：将各摄像头的输入图像I1，I2，…，IK与对应参考图案R1，R2，…，RK块匹配计算得到的X轴方向偏移量Δx1，Δx2，…，ΔxK，结合参考图案的已知距离参数d、摄像头图像传感器焦距fk、摄像头到投射器的基线距离Sk和摄像头图像传感器点距参数μ，计算各输入图像中对应同一位置的投射图像块blockm×n中心点o的深度信息dk，k＝1，2…，K；将各输入图像I1，I2，…，IK两两之间双目匹配得到X轴方向偏移量Δx1,2，Δx23...，ΔxK?1,，K结合摄像头图像传感器焦距fk、Sk?1,k相连两个摄像头之间的基线距离Sk?1,k和摄像头图像传感器点距参数μ，计算得到同一位置的投射图像块blockm×n中心点o的深度信息dk?1,k，k＝2，3…，K；步骤6、进行深度融合：利用输入图像两两之间双目匹配得到的深度信息d1，2，d2，3…，dK?1,K对输入图像与参考图案匹配得到的深度信息d1，d2，…dK进行修正，再根据修正后的深度信息与参考阈值的比较结果，选择某一摄像头对应的深度值作为输出。...

【技术特征摘要】
1.一种多摄像头阵列的深度感知方法，包括以下步骤：步骤1、采用结构光编码的主动视觉模式，利用投射器投射固定图案的图像，对投射空间进行结构光编码，即主动进行特征标定；步骤2、多摄像头阵列接收一定波长范围的投射器所投射的图案；步骤3、多摄像头阵列的K个摄像头采集输入图像I1，I2，…，IK，经各自的预处理模块进行预处理；步骤4、将预处理后的输入图像I1，I2，…，IK送入块匹配运动估计模块进行匹配计算，包括各输入图像I1，I2，…，IK与其对应的参考图案R1，R2，…，RK之间的块匹配计算以及各输入图像I1，I2，…，IK两两之间的双目块匹配计算；步骤5、进行深度计算：将各摄像头的输入图像I1，I2，…，IK与对应参考图案R1，R2，…，RK块匹配计算得到的X轴方向偏移量Δx1，Δx2，…，ΔxK，结合参考图案的已知距离参数d、摄像头图像传感器焦距fk、摄像头到投射器的基线距离Sk和摄像头图像传感器点距参数μ，计算各输入图像中对应同一位置的投射图像块blockm×n中心点o的深度信息dk，k＝1，2，…，K；将各输入图像I1，I2，…，IK两两之间双目匹配得到X轴方向偏移量Δx1，2，Δx2，3，…，ΔxK-1，K，结合摄像头图像传感器焦距fk、Sk-1，k相连两个摄像头之间的基线距离Sk-1，k和摄像头图像传感器点距参数μ，计算得到同一位置的投射图像块blockm×n中心点o的深度信息dk-1，k，k＝2，3，…，K；步骤6、进行深度融合：利用输入图像两两之间双目匹配得到的深度信息d1，2，d2，3，…，dK-1，K对输入图像与参考图案匹配得到的深度信息d1，d2，…，dK进行修正，再根据修正后的深度信息与参考阈值的比较结果，选择某一摄像头对应的深度值作为输出。2.根据权利要求1所述的方法，步骤1中，所述投射器为激光散斑投射器或投影装置，其中激光散斑投射器投射出相干激光束，激光束经干涉成像和物体表面的漫反射形成由散斑点组成的散斑图像，而投影装置投射出可控的编码图案。3.根据权利要求1所述的方法，步骤2中，各摄像头通过滤光片接收投射器所投射的图案。4.根据权利要求1所述的方法，步骤2中，各摄像头与投射器的光轴平行，且光学中心点在同一基线上。5.根据权利...

【专利技术属性】
技术研发人员：葛晨阳，华刚，郑南宁，姚慧敏，张晨，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：