稳健的立体深度系统技术方案

本公开针对高分辨率、高帧率、稳健的立体深度系统。所述系统基于图像的立体匹配在各种条件下提供深度数据，在一些实现方式中包括主动照明的IR图像。在一些实现方式中，干净的IR或RGB图像可以被捕捉并与任何其他捕捉的图像一起使用。干净的IR图像可以通过使用陷波滤波器来滤出主动照明图案来获得。IR立体照相机、投影仪、宽谱IR LED以及一个或多个其他照相机可以被结合到单个设备中，所述单个设备还可以包括图像处理组件来在所述设备中内部地计算深度数据用于后续输出。

【技术实现步骤摘要】
【国外来华专利技术】稳健的立体深度系统背景在主动深度传感中，投影仪投射诸如红外(IR)点这样的光的图案以照亮被传感的区域。所投射的图案被照相机/传感器(立体系统中的两个或更多个)，其中该(一个或多个)图像被处理以计算深度图或等等，例如，每个帧。在立体系统中，立体照相机捕捉来自不同视点的两个图像。然后，例如，用一对立体图像执行深度估计的一种方式是找到图像间的对应关系，例如，对由于一个图像中的自然纹理造成的强度变化与另一图像中的强度变化进行相关。然而，现有的深度系统/设备有许多缺点。一些系统使用被动深度传感，被动深度传感比主动深度传感较不准确。一些系统要求投影仪被校准以使精确图案一般已知，这意味着如果存在另一个这样的设备，或者如果激光图案移位(诸如由于温度)，设备不能够正常工作。其他系统不在环境光压倒所投射光的环境中工作。概述提供该概述以便以简化形式介绍代表性概念的选集，所述概念在以下详细描述中被进一步描述。该概述不意图标识所要求保护的主题的关键特征或基本特征，也不意图以限制所要求保护的主题的范围的任何方式使用。简言之，此处描述的主题的各种方面的一个或多个方面针对一种稳健的深度传感系统，包括具有一个或多个红外(IR)照相机的一个或多个实现，所述一个或多个红外(IR)照相机被配置成捕捉场景的一个或多个主动照明的图像。投影仪以一个或多个IR频率输出主动照明图案，所述主动照明图案能够在被一个或多个红外照相机传感的同时被陷波滤波器滤出。在一个或多个方面，多个IR照相机被配置成传感用IR光图案主动照明的场景的立体图像。另一个红外和/或可见光照相机被配置有陷波滤波器，所述陷波滤波器用于捕捉未用IR光图案主动照明的场景的图像。在一个或多个方面，设备包括立体IR照相机和投影仪，所述立体IR照相机被配置成传感用IR光图案主动照明的场景的立体图像，所述投影仪被配置成输出IR光图案。设备包括被配置成捕捉场景的非主动照明图像的另一照相机。设备还包括一个或多个图像处理组件，所述图像处理组件被配置成将立体图像处理成深度数据、并且从设备输出深度数据。从结合附图的以下详细描述中，其他优点会变得显而易见。附图简述本专利技术通过示例图示而不被附图所限，附图中相同的参考数字指示相似的元件，附图中：图1是表示根据一个或多个示例实现、可用于基于主动立体图像来计算深度数据的示例组件的框图。图2是根据一个或多个示例实现、用于捕捉IR图像的照相机和投影仪的示例布置的表示。图3A和3B是根据一个或多个示例实现、照相机以及一个或多个光源的示例替代布置的表示，所述照相机以及一个或多个光源可由配置有深度传感系统的设备使用。图4A－4D是根据一个或多个示例实现、照相机以及一个或多个光源的示例替代线性布置的表示，所述照相机以及一个或多个光源可由配置有深度传感系统的设备使用。图5是根据一个或多个示例实现、共享光学路径以用于深度传感系统中的投影仪和照相机的表示。图6是根据一个或多个示例实现、经由一个光学路径提供两个图像以用于深度传感系统中的照相机的表示。图7是根据一个或多个示例实现、与包含照相机的设备解耦的一个或多个投影仪的表示，所述照相机传感来自所述一个或多个投影仪的主动照明。图8是表示其中可实现此处描述的各种实施例的一个或多个方面的示例性非限制性计算系统或操作环境的框图。详细描述此处描述的技术的各种方面一般针对非常适合于高分辨率、高帧率、稳健的立体深度系统的各种硬件配置。一个实现包括具有或没有宽谱IR照明的两个红外(IR)照相机、图案化光投影仪和任选的RGB或RGB/IR照相机(其中IR包括近红外，即NIR)。这些组件可以被构造至单个设备中。立体图像使用所投射的光图案自两个照相机被捕捉，以提供纹理。光图案通常有一般统计性质，但在一个实施例中，精确图案不需要已知。结果，光投影仪不需要被校准，这使制造变得更便宜。而且，在另一个这样的设备正在同一个房间中投影图案时，所捕捉的数据不会降级。在各种实现中，具有光投影仪提供好处，但在一些实现中，不需要光投影仪，据此，如果设备被置于使投影仪的SNR(信噪比)降级的环境中，诸如在建筑物之外，则设备仍在某种程度上工作(例如，提供深度数据，但可能质量降级)。应当理解，此处的任何示例都是非限制性的。例如，尽管在此例示各种照相机和投影仪/发射机布置，但是可以使用其他布置。而且，尽管描述了RGB(红、绿、蓝)彩色分量数据，但是可以使用基于其他彩色方案的数据，诸如在打印或3D打印中一般使用的CMYK。如此，本专利技术不限于此处描述的任何特定的实施例、方面、概念、结构、功能或示例。相反，此处描述的实施例、方面、概念、结构、功能或示例中的任一个都是非限制性的，且本专利技术可以以一般地在主动深度传感、点云和图像处理中提供好处和优点的各种方式使用。图1示出其中立体IR照相机101和102、RGB和/或IR照相机103结合投影仪105布置的示例系统，例如，IE激光由衍射光学元件(DOE)衍射为几千个点，诸如在100000个这种点的数量级上。任选地，可以提供宽谱IR光源，诸如一个或多个LED，例如图1中的LED106和107。通常，两个IR照相机101和102可用于立体深度求解。图案化光投影仪105发射具有立体匹配所期望的统计性质的图案。在诸如图1所示的一些实现中，RGB照相机是任选的，并且可被包括以提供彩色图像。或者，任选的RGB照相机可以是耦合有任选的陷波滤波器104的RGB/IR照相机103(图1)，所述陷波滤波器104滤出所投射的光图案，藉此RGB/IR照相机103输出没有所述光图案的彩色图像和IR图像。为了保证IR范围内的好信号，系统(如图1中所示)可以包括宽谱IR光源，诸如由图1中的LED106和107提供的光源。一个或多个光源不需要必须是宽谱IR光源，相反，例如可以是较窄谱IR源；只要不是全部IR光被陷波滤波器104滤出，任何宽谱或较窄谱源都够了。示例的设备布局可以是在图1中表示的设备布局，(例如，从左至右)IR照相机101、投影仪105、IR照相机102、LED106、RGB/IR照相机103和另一LED107。这些组件可以线性地组织，例如，以12cm的IR照相机间隔。投影仪105在IR照相机101和102之间且距IR照相机101和102等距，诸如以便减少阴影。每个IR照相机101和102具有带同或长通滤波器以排斥可见光。如此处使用的，术语“线性”包括“基本线性”，其中，相对于其他组件线性布置的组件至少部分位于连接那些其他组件的虚线上方。继续该示例，深度可以从最接近于RGB/IR照相机103的IR照相机102计算。RGB/IR照相机103可位于LED106将允许的最接近于IR照相机102之处，而另一LED107可位于尽可能接近于RGB/IR照相机103之处。RGB/IR照相机103具有陷波滤波器104，陷波滤波器104从RGB/IR照相机103所捕捉的图像中移除所投影的图案，例如以提供“干净的”图像。注意到一个原本大致等同的布置可仅具有RGB照相机，而不是陷波滤波的RGB/IR照相机。另一原本大致等同的布置可仅具有陷波滤波的IR照相机，也就是，没有RGB。可以理解，这些组件的次序/布置仅仅是一个示例布置，且可以使用其他布置，包括下文例示的那些布置中的一些本文档来自技高网...

【技术保护点】
一种系统，包括：一个或多个红外(IR)照相机，所述一个或多个红外(IR)照相机被配置成捕捉用结构化光照明的场景的一个或多个图像；以及投影仪，所述投影仪被配置成以能在被所述一个或多个IR照相机传感的同时被陷波滤波器滤出的一个或多个IR频率输出结构化的光照明图案。

【技术特征摘要】
【国外来华专利技术】2013.04.15 US 61/812,232;2013.06.24 US 13/925,7621.一种涉及深度传感的系统，包括：投影仪，所述投影仪被配置成用光图案照明场景；第一红外照相机，所述第一红外照相机被配置成捕捉用所述光图案照明的场景的第一图像；第二红外照相机，所述第二红外照相机被配置成捕捉用所述光图案照明的场景的第二图像；陷波滤波器，所述陷波滤波器被配置成阻挡所述光图案；耦合至所述陷波滤波器的第三红外照相机，所述第三红外照相机被配置成捕捉用所述光图案照明的场景的第三图像，所述第三图像包括没有所述光图案的红外图像。2.如权利要求1所述的系统，其特征在于，还包括至少一个红外光源，所述至少一个红外光源输出未被所述陷波滤波器滤出的至少一些光。3.如权利要求1所述的系统，其特征在于，至少一个红外照相机耦合于窄带通滤波器。4.如权利要求1所述的系统，其特征在于，还包括输出未被所述陷波滤波器滤出的至少一些光的红外光源，其中，输出未被所述陷波滤波器滤出的至少一些光的所述红外光源定位成邻近于所述第一红外照相机和所述第二红外照相机之一，且所述第三红外照相机定位成邻近于输出未被所述陷波滤波器滤出的至少一些光的所述红外光源。5.如权利要求1所述的系统，其特征在于，所述第一红外照相机、所述第二红外照相机和所述第三红外照相机和投影仪在单个设备中线性布置，且其中所述设备包括输出未...

【专利技术属性】
技术研发人员：A·G·柯克，O·A·怀特，S·B·康，C·L·齐特尼克三世，R·S·泽里斯基，S·伊扎迪，C·雷曼，A·乔治欧，A·巴塔查杰，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US