TOF和结构光的融合型深度相机及其深度探测方法、扫地机技术

本申请提供了一种TOF和结构光的融合型深度相机及其深度探测方法、扫地机。其中，融合型深度相机包括发射器、采集器及控制与处理器，发射器投射的线状发射光束的第一延伸方向为平行于地面的水平方向，发射器与采集器之间的基线的第二延伸方向与第一延伸方向交错，TOF模组的大视场角方向沿着平行于地面的水平方向，如此可以有效地减小TOF模组的基线尺寸，有利于减弱窜光现象对深度精度造成的影响；此外，控制与处理器在近距范围内根据结构光原理计算相应的深度信息、及在中远距范围内根据TOF原理计算相应的深度信息，完美地规避了传统方案中在近距范围内基于TOF进行深度探测时的各种光路传播的多路径效应，提升了TOF模组的深度精度。的深度精度。的深度精度。

【技术实现步骤摘要】
TOF和结构光的融合型深度相机及其深度探测方法、扫地机


[0001]本申请涉及光学探测
，尤其涉及一种TOF和结构光的融合型深度相机及其深度探测方法、扫地机。

技术介绍

[0002]扫地机器人所搭载的TOF(Time of flight，飞行时间)模组包括发射器、采集器及控制与处理器，其中，发射器可以向被测物体投射线阵光场，线阵光场经被测物体反射后由采集器采集，使得采集器产生相应的电信号，控制与处理器可以同步发射器与采集器的触发信号，并接收采集器产生的电信号进行处理得到被测物体的深度信息。由于扫地机器人的工作场景在近地面，所以发射器投射出的光场经地面反射后光强度很高，而远地面区域反射光强度较低，这就导致近地面区域处像素过曝，使得近地面区域的测量出现误差，同时会对光强度较低的其它远地面区域的测量精度产生非常严重的影响。为了解决这个问题，一些做法是将发射器投射出线阵光场，且线阵光场的延伸方向设定为水平方向(即平行于地面的方向)，同时增大TOF模组在水平方向上的视场角(通常是大于100度，且越大越好)，以及减小TOF模组在竖直方向(与水平方向垂直)上的视场角(通常在5～50度之间)，此种情况下，TOF模组的基线(即发射器与采集器两者光心之间的连线)的延伸方向与线阵光场的延伸方向一致，也为水平方向，目的则是减小不同距离下引起的视差对TOF模组标定的影响。
[0003]相关技术中，TOF模组除了包括上述结构以外，还设置有起防尘、防水及保护作用的盖板，盖板的设置会引发窜光现象，即发射器投射的线阵光场经过盖板表面及内反射后会进入采集器，这就对TOF模组的深度探测精度造成了极大的影响，而窜光现象的主要影响因素是TOF模组的基线长度(与TOF模组在水平方向上的视场角相关)。此外，在近距范围内(特别是500mm以内)，受TOF模组各种光路传播的多路径效应的影响，使得TOF模组的深度探测精度(包括绝对精度和相对精度)下降严重。
[0004]因此，有必要对上述TOF模组的结构及深度探测方式进行改进。

技术实现思路

[0005]本申请提供了一种TOF和结构光的融合型深度相机及其深度探测方法、扫地机，旨在解决相关技术中TOF模组因窜光现象及各种光路传播的多路径效应所导致的深度精度较低的问题。
[0006]为了解决相关技术中所存在的上述技术问题，本申请实施例第一方面提供了一种TOF和结构光的融合型深度相机，包括：发射器，用于向目标空间投射线状发射光束，线状发射光束的第一延伸方向为平行于地面的水平方向；采集器，采集器包括至少一个采集单元，每个采集单元均包括至少两个抽头，采集器用于在单个帧周期内采集经目标空间反射的线状反射光束并生成相应的rawphase图；控制与处理器，用于根据rawphase图和结构光深度计算原理计算每个第一采集单元的结构光深度值以作为各个第一采集单元的最终深度值，
第一采集单元所采集的线状反射光束由近距位置反射；及，根据rawphase图和TOF深度计算原理计算每个第二采集单元的TOF深度值以作为各个第二采集单元的最终深度值，第二采集单元所采集的线状反射光束由中远距位置反射；及，根据所有的采集单元的最终深度值生成目标空间的深度图；其中，采集器的光心与发射器的光心对齐，采集器与发射器之间的基线的第二延伸方向与第一延伸方向交错，采集器及发射器在第二延伸方向上的视场角均小于在第一延伸方向上的视场角。
[0007]本申请实施例第二方面提供了一种深度探测方法，包括：向目标空间投射线状发射光束；在单个帧周期内采集经目标空间反射的线状反射光束并生成相应的rawphase图；根据rawphase图和结构光深度计算原理计算每个第一采集单元的结构光深度值以作为各个第一采集单元的最终深度值，以及根据rawphase图和TOF深度计算原理计算每个第二采集单元的TOF深度值以作为各个第二采集单元的最终深度值；根据所有的采集单元的最终深度值生成目标空间的深度图；其中，第一采集单元所采集的线状反射光束由近距位置反射，第二采集单元所采集的线状反射光束由中远距位置反射。
[0008]本申请实施例第三方面提供了一种扫地机，包括本申请实施例第一方面所述的融合型深度相机。
[0009]从上述描述可知，与相关技术相比，本申请的有益效果在于：发射器的光心与采集器的光心对齐，将发射器投射至目标空间的线状发射光束的第一延伸方向设置为平行于地面的水平方向，将发射器与采集器之间的基线的第二延伸方向设置为与第一延伸方向交错(即不与第一延伸方向保持一致)，这有别于传统方案中将TOF模组的基线的延伸方向设定为与线阵光场的延伸方向一致，但与传统方案相似的是，仍然将TOF模组在第二延伸方向上的视场角设置为小于在第一延伸方向上的视场角，即TOF模组的大视场角方向依然是沿着平行于地面的水平方向，如此可以有效地减小TOF模组的基线尺寸，使得TOF模组更加趋于小型化，也更有利于减弱窜光现象对深度精度造成的影响。在实际的深度探测过程中，本申请将采集器所包括的采集单元划分为了两个类别，分别为对应于近距深度探测的第一采集单元(其所采集的线状反射光束由目标空间中的近距位置反射)及对应于中远距深度探测的第二采集单元(其所采集的线状反射光束由目标空间中的中远距位置反射)，并且通过结构光深度计算原理计算第一采集单元的结构光深度值、及通过TOF深度计算原理计算第二采集单元的TOF深度值，也就是说在近距范围内根据结构光深度计算原理计算相应的深度信息、及在中远距范围内根据TOF深度计算原理计算相应的深度信息，从而完美地规避了传统方案中在近距范围内基于TOF进行深度探测时的各种光路传播的多路径效应，进而提升了TOF模组的深度精度。
【附图说明】
[0010]为了更清楚地说明相关技术或本申请实施例中的技术方案，下面将对相关技术或本申请实施例的描述中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，而并非是全部实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1为本申请提供的相关技术中扫地机的工作光路图；
[0012]图2为本申请提供的相关技术中TOF模组的结构示意图；
[0013]图3为本申请提供的相关技术中TOF模组投射出的线阵光场示意图；
[0014]图4为本申请提供的相关技术中TOF模组在连续帧周期内的采集示意图；
[0015]图5为本申请提供的相关技术中TOF模组发生窜光现象的演示图；
[0016]图6为本申请提供的相关技术中TOF模组的各种光路传播的多路径效应的演示图；
[0017]图7为本申请实施例提供的融合型深度相机的结构示意图；
[0018]图8为本申请实施例提供的深度值与深度精度的关系图；
[0019]图9为本申请实施例提供的rawphase图与IR图内像素间的对应关系图；
[0020]图10为本申请实施例提供的深度探测方法的流程示意图。
【具体实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种TOF和结构光的融合型深度相机，其特征在于，包括：发射器，用于向目标空间投射线状发射光束，所述线状发射光束的第一延伸方向为平行于地面的水平方向；采集器，所述采集器包括至少一个采集单元，每个所述采集单元均包括至少两个抽头，所述采集器用于在单个帧周期内采集经所述目标空间反射的线状反射光束并生成相应的rawphase图；控制与处理器，用于根据所述rawphase图和结构光深度计算原理计算每个第一采集单元的结构光深度值以作为各个所述第一采集单元的最终深度值，所述第一采集单元所采集的所述线状反射光束由近距位置反射；及，根据所述rawphase图和TOF深度计算原理计算每个第二采集单元的TOF深度值以作为各个所述第二采集单元的最终深度值，所述第二采集单元所采集的所述线状反射光束由中远距位置反射；及，根据所有的所述采集单元的最终深度值生成所述目标空间的深度图；其中，所述采集器的光心与所述发射器的光心对齐，所述采集器与所述发射器之间的基线的第二延伸方向与所述第一延伸方向交错，所述采集器及所述发射器在所述第二延伸方向上的视场角均小于在所述第一延伸方向上的视场角。2.根据权利要求1所述的融合型深度相机，其特征在于，所述控制与处理器具体用于：根据所述rawphase图和TOF深度计算原理计算每个所述采集单元的TOF深度值；分别将每个所述采集单元的TOF深度值与预设的深度临界值进行比较；对于TOF深度值小于或等于深度临界值的每个第一采集单元，再次根据所述rawphase图和结构光深度计算原理计算每个所述第一采集单元的结构光深度值以作为各个所述第一采集单元的最终深度值；对于TOF深度值大于深度临界值的每个第二采集单元，将相应的TOF深度值作为各个所述第二采集单元的最终深度值；根据所有的所述最终深度值生成所述目标空间的深度图。3.根据权利要求1所述的融合型深度相机，其特征在于，所述控制与处理器具体用于：根据所述rawphase图和TOF深度计算原理计算每个所述采集单元的TOF深度值，以及根据所述rawphase图和结构光深度计算原理计算每个所述采集单元的结构光深度值；分别计算每个所述采集单元的TOF深度值与结构光深度值的深度平均值；分别将每个所述采集单元的深度平均值与预设的深度临界值进行比较；以比较结果作为参考，从每个所述采集单元相应的所述TOF深度值和所述结构光深度值中选择一个作为各个所述采集单元的最终深度值；根据所有的所述最终深度值生成所述目标空间的深度图。4.根据权利要求3所述的融合型深度相机，其特征在于，当所述采集单元的深度平均值小于或等于深度临界值时，选择相应的结构光深度值作为所述采集单元的最终深度值；当所述采集单元的深度平均值大于深度临界值时，选择相应的TOF深度值作为所述采集单元的最终深度值。5.根据权利要求1所述的融合型深度相机，其特征在于，所述第二延伸方向与所述第一延伸方向垂直；或，所述第二延伸方向与所述第一延伸方向呈45
°
夹角。6.一种深度...

【专利技术属性】
技术研发人员：郑德金，
申请(专利权)人：奥比中光科技集团股份有限公司，
类型：发明
国别省市：