立体深度相机阵列的实时配准制造技术

图像捕捉设备中的相机阵列的实时配准可通过调整映射函数中被确定为对配准误差具有最大贡献的所选的独立参数子集(称为配准系数)在现场实现，使得该阵列可保持在它的初始出厂优化的已校准的状态。通过必须仅调整来自较大的系数集(其在出厂设置中通常是使用专门的校准目标来确定的)中的相对较小的配准系数子集，少得多的匹配图案需要在由阵列中的相机捕捉的相应的图像中被标识出以便校正配准误差。这种经简化的图案匹配可使用在正常相机阵列使用期间捕捉的图像来执行，使得配准可在现场被实时执行而不需要专门的校准目标。

【技术实现步骤摘要】
【国外来华专利技术】立体深度相机阵列的实时配准背景图像配准(“配准”)是这样的过程：通过该过程经由来自两个或更多个相机的图像而从不同角度捕捉的现实世界的特征被匹配，使得有关现实世界的信息可被聚集。典型的示例包括将来自两个标准相机的RGB(红色、绿色、蓝色)图像组合以产生三维(3D)深度图像，以及将来自一个相机的深度数据与来自另一个相机的色彩数据进行组合。配准通常在技术上有挑战性的且实现可能是计算密集和耗时的，这通常使他们仅适合于相机出厂设置的初始校准。提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。概述图像捕捉设备中的相机阵列的实时配准可通过调整映射函数中已被确定为对配准误差具有最大贡献的所选的独立参数子集(称为配准系数)在现场实现，使得该阵列可保持在它的初始出厂优化的已校准的状态。通过必须仅调整来自较大的系数集(其在出厂设置中通常是使用专门的校准目标来确定的)中的相对较小的配准系数子集，少得多的匹配图案需要在由阵列中的相机所捕捉的相应的图像中被标识出以便校正配准误差。这种经简化的图案匹配可使用在正常相机阵列使用期间捕捉的图像来执行，使得配准可在现场被实时地执行而不需要专门的校准目标。提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来帮助确定所要求保护的主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。附图简述图1和2示出其中可实现本实时配准的使用多媒体控制台的说明性的计算环境；图3示出其中可实现本实时配准的使用个人计算机的替换计算环境；图4示出可部分地被用于实现本实时配准的说明性的捕捉设备；图5是示出用于实现本实时配准的方法的概览的示图；图6示出如何配准，配准包括特征被从由一个相机捕捉的图像映射至由另一个相机捕捉的图像；图7是说明性的工厂校准方法的流程图；图8和9示出说明性的校准目标；图10是例示出对理想系统的配准的图示；图11示出描述图10中所示的理想系统中的配准的方程；图12示出描述图10中所示的理想系统中的配准的简化的线性方程；图13示出描述影响由不同相机捕捉的图像之间的映射的视差效果的等式；图14是例示出对于比图10中所示的理想系统更复杂的系统的配准的图示；图15示出说明性的映射函数；图16示出该映射函数的泰勒级数表示；图17示出绘制示例性捕捉设备的温度对照时间的说明性的曲线；图18示出示例性捕捉设备的随时间的说明性的配准误差；图19是说明性的预热分析的流程图；图20-22是三个不同的系统的绘制20个配准系数中的每一者的配准误差的直方图；图23是说明性的实时配准校正方法的流程图；图24示出可部分地被用于实现本实时配准的说明性的多媒体控制台的框图；图25示出可部分地被用于实现本实时配准的说明性的计算平台的框图；各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。详细描述图1示出其中可实现本实时配准的说明性计算环境100。需要强调的是，环境100旨在是说明性，包括其他类型的设备、应用和使用场景的其他环境也可能能够利用此处描述的原理。环境100包括诸如多媒体控制台103的计算平台，该多媒体控制台通常被配置成用于使用本地和/或联网的编程和内容来运行游戏和非游戏应用、播放预先录制的多媒体(诸如包括DVD(数字多功能盘)和CD(紧致盘)的光盘)、从网络流传输多媒体、参与社交媒体、使用诸如电视机等耦合的音频/视觉显示器108来浏览因特网和其他联网媒体和内容等等。多媒体控制台103在此例中被操作地耦合至捕捉设备113，捕捉设备113可使用被配置为在视觉上监视用户119所占据的物理空间116(在图1中大致由虚线指示)的一个或多个摄像机来实现。如以下更详细地描述的，捕捉设备113被配置成捕捉、跟踪以及分析用户119的移动和/或姿势，使得这些移动和/或姿势能被用作可被用来影响例如多媒体控制台103上运行的应用或操作系统的控制。用户119的手121或其他身体部位的各种运动可对应于常见的系统范围任务，诸如从主用户界面中选择游戏或其他应用。例如如图1所示，用户119可在可选对象122(包括显示在耦合显示器108上的各种图标1251-N)之间导航、浏览分层菜单中的项目、打开文件、关闭文件、保存文件等等。另外，用户119可使用移动和/或姿势来结束、暂停或保存游戏，选择级别，查看高分，与朋友交流等。事实上，操作系统和/或应用的任何可控方面都可以由用户119的移动来控制。用户119的全范围运动可以用任何合适的方式来获得、使用并分析以与在环境100中执行的应用或操作系统进行交互。捕捉设备113也可被用来捕捉、跟踪以及分析用户119的移动以在游戏应用在多媒体控制台103上执行时控制玩游戏过程。例如，如图2所示，游戏应用诸如拳击游戏使用显示器108来提供用户119的拳击对手的视觉表示以及用户119可用他或她的移动来控制的玩家化身的视觉表示。用户119可在物理空间116中作出移动(例如，挥拳)以使得玩家化身在游戏空间中作出相应的移动。可在物理空间中识别并分析用户119的移动，使得执行用于对游戏空间中玩家化身的游戏控制的相应移动。图3示出可在其中实现本实时配准的替换计算环境300。在此例中，环境300包括被配置为运行其中游戏和非游戏应用的膝上型PC310(个人计算机)，在这些游戏和非游戏应用中，用户运动被捕捉、跟踪以及分析。捕捉设备313(被安排有与由捕捉设备113(图1和2)提供的那些功能相似的功能)被集成至膝上型PC310。然而，捕捉设备可被替换地配置为独立的设备，该独立的设备可使用常规技术(包括有线和无线连接两者)耦合至膝上型PC310。图4示出捕捉设备113(和/或捕捉设备313)的说明性功能组件，捕捉设备113的功能性组件可作为目标识别、分析和跟踪系统400的一部分用于在物理空间116(图1)的捕捉区域识别人类和非人类目标而无需使用附加到这些主体的专门感测设备，唯一地标识人类和非人类目标，以及在三维空间跟踪人类和非人类目标。捕捉设备113可被配置成经由任何合适的技术(包括例如飞行时间、结构化光、立体图像等)来捕捉具有深度信息的视频，包括可包括深度值的深度图像。在一些实施例中，捕捉设备113可将所计算的深度信息组织为“Z层”，即可垂直于从深度相机沿其视线延伸的Z轴的层。如图4所示，捕捉设备113包括图像相机组件403。图像相机组件403可被配置成用作可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每个像素都可以表示深度值，诸如所捕捉的场景中的对象与相机相距的距离，例如以厘米、毫米等为单位。在此例中，图像相机组件403包括配置在阵列中的IR光组件406、IR相机411和可见光RGB相机414。可利用各种技术来捕本文档来自技高网...

【技术保护点】
一种计算平台，包括：至少一个处理器；以及存储指令的一个或多个计算机可读存储介质，所述指令在由所述至少一个处理器执行时，执行包含以下步骤的方法：在由阵列中的相机所捕捉的图像之间匹配现实世界特征的图案，所述图像被包含在跨时间窗口的单个帧或一系列帧中，对每个要匹配的图案，相对于在所述阵列中的相机的初始校准中定义的深度平面将图像视差归一化，校准所述阵列中的一个或多个相机，所述校准通过使用归一化的匹配的图案来调整所选的参数子集来执行，所述参数在映射函数中被使用，所述映射函数用于在由所述相机阵列捕捉的图像之间配准现实世界特征。

【技术特征摘要】
【国外来华专利技术】2013.07.17 US 13/944,4981.一种计算平台，包括：至少一个处理器；以及存储指令的一个或多个计算机可读存储介质，所述指令在由所述至少一个处理器执行时，执行包含以下步骤的方法：在由阵列中的相机所捕捉的图像之间匹配现实世界特征的图案，所述图像被包含在跨时间窗口的单个帧或一系列帧中，对每个要匹配的图案，相对于在所述阵列中的相机的初始校准中定义的深度平面将图像视差归一化，校准所述阵列中的一个或多个相机，所述校准通过使用归一化的匹配的图案来调整所选的参数子集来执行，所述参数在映射函数中被使用，所述映射函数用于在由相机阵列捕捉的图像之间配准现实世界特征，并且所选的参数子集已被确定为对配准误差具有最大贡献以使得所述阵列能够被保持在其初始出厂优化的已校准的状态。2.如权利要求1所述的计算平台，其特征在于，所述初始校准定义了所述参数子集，所述参数包括一个或多个多项式系数。3.如权利要求1所述计算平台，其特征在于，所述方法还包括响应于测量的与所述阵列或所述计算平台相关联的一个或多个点的温度而执行所述校准的步骤。4.如权利要求1所述的计算平台，其特征在于，所选的参...

【专利技术属性】
技术研发人员：M·豪尔，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US