使用在扩展的景深内提取的三维信息进行的基于姿态的控制制造技术

描述了使用在扩展的景深内提取的三维信息进行基于姿态的控制的系统和方法。该系统包括与至少一个处理器耦合的多个光学检测器。该多个光学检测器对身体成像。该多个光学检测器中的至少两个光学检测器包括波前编码相机。该处理器自动检测身体的姿态，其中该姿态包括身体的瞬时状态。该检测包括聚集一瞬间的该姿态的姿态数据。该姿态数据包括成像系统的景深内的身体的焦点分辨数据。该处理器将该姿态翻译成姿态信号，并使用该姿态信号来控制与该处理器耦合的部件。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术概括地说涉及计算机系统领域，具体地说涉及通过在扩展的景深内提取三 维信息来进行基于姿态的控制的系统和方法。
技术介绍
当在成像系统中在扩展的景深内提取三维信息时，距场景中一点的距离可根据它 在被同时捕捉到的两个或更多图像中的位置来估算出。当图像之间的三维(3D)关系已知 时，该点的3D位置可根据基本几何关系来计算出。根据多个图像计算空间位置所面临的挑 战(常称为立体相关或立体深度计算)是将一点在一个图像中的映射与它在另一个图像中 的映射自动和准确地相关联。这最通常是通过使从一个图像到一个或多个其他图像的图像 特征相关来完成的。然而，所有立体匹配方法中的基本假设是图像中必须存在某个可标识 的局部对比度或特征，以便将该点与它在另一个图像中的位置相匹配。因此，当由于散焦而 在图像中没有局部对比度或特征时，会产生问题——立体匹配在图像的焦点没对准的区域 内不产生准确的结果。用于扩展图像焦深的常规手段是减小相机镜头光瞳的直径(“缩小”)。然而，两个 副作用限制了该技术的实用性。首先，成像系统的灵敏度降低了与光瞳内外径比的平方相 等的倍数。其次，最大空间频率响应降低了与光瞳内外径比相等的倍数，这限制了图像中的 分辨率和对比度。因此，在常规成像系统中存在景深、曝光时间和总体对比度之间的权衡。 在多相机测距系统的情况下，净效应将是立体深度准确度与工作范围之间的折衷。通过引用的合并将本说明书中提到的每个专利、专利申请和/或出版物通过引用而整体合并于 此，就如同特意地且单独地表明将每个专利、专利申请和/或出版物通过引用而合并一样。附图说明图1是本专利技术的系统的一个实施例的图；图2是本专利技术的标记标签的一个实施例的图；图3是本专利技术的一个实施例中的姿态词汇中的姿势的图；图4是本专利技术的一个实施例中的姿态词汇中的取向的图5是本专利技术的一个实施例中的姿态词汇中的双手组合的图；图6是本专利技术的一个实施例中的姿态词汇中的取向混合的图；图7是图示了本专利技术的系统的一个实施例中的操作的流程图；图8是该系统的一个实施例中的命令的例子；图9是一个实施例下的、在扩展的景深内提取三维信息的基于姿态的控制系统的 框图；图10是一个实施例下的、在基于姿态的控制系统中使用的波前编码成像系统的 框图；图11是一个实施例下的基于姿态的控制系统的框图，该系统采用包括两个波前 编码相机的波前编码成像系统在扩展的景深内提取三维信息；图12是一个实施例下的、使用在扩展的景深内提取的三维信息进行的基于姿态 的控制的流程图；图13是一个实施例下的、在基于姿态的控制系统中使用的波前编码设计过程的 框图。具体实施例方式下面描述使用在扩展的景深内提取的三维信息进行基于姿态的控制的系统和方 法。一个实施例的系统包括与至少一个处理器耦合的多个光学检测器。该多个光学检测器 对身体成像。该多个光学检测器中的至少两个光学检测器包括波前编码相机。该处理器自 动检测身体的姿态，其中该姿态包括身体的瞬时状态。该检测包括聚集一瞬间的该姿态的 姿态数据。该姿态数据包括成像系统的景深内的身体的焦点分辨数据。该处理器将该姿态 翻译成姿态信号，并使用该姿态信号来控制与该处理器耦合的部件。一个实施例的方法包括利用成像系统对身体成像，其中该成像包括产生身体的波 前编码图像。该方法自动检测身体的姿态，其中该姿态包括身体的瞬时状态。该检测包括 聚集一瞬间的该姿态的姿态数据。该姿态数据包括成像系统的景深内的身体的焦点分辨数 据。该方法包括将该姿态翻译成姿态信号，并响应于该姿态信号而控制与计算机耦合的部 件。在下面的描述中，详细描述了多个特征，以便提供对这里描述的实施例的更彻底 的理解。显然，本专利技术可以在没有这些具体细节的情况下实施。在其他情况下，没有详细描 述众所周之的特征。系统在图1中示出了本专利技术的一个实施例的框图。用户将手101和102放在相机阵列 104A-104D的观察区域内。相机检测手指及手101和102的定位、取向和移动，并产生输出 信号给预处理器105。预处理器105将相机输出翻译成姿态信号，姿态信号被提供给系统的 计算机处理单元107。计算机107使用输入信息来产生命令以控制一个或多个屏上光标，并 将视频输出提供给显示器103。尽管系统是以单个用户的手作为输入而示出的，本专利技术也可采用多个用户来实 现。另外，代替手或除了手以外，系统可跟踪用户身体的任何一个或多个部分，包括头、脚、 腿、臂、肘、膝等。在所示实施例中，采用四个相机来检测用户的手101和102的定位、取向和移动。 应该理解，在不脱离本专利技术的范围或精神的情况下，本专利技术对更多或更少的相机同样适用。 另外，尽管在示例实施例中相机是对称布置的，但在本专利技术中这种对称不是必需的。在本发 明中，可以使用允许用户的手的定位、取向和移动的任何数目或定位的相机。在本专利技术的一个实施例中，所用相机是能够捕捉灰阶图像的运动捕捉相机。在一 个实施例中，所用相机是由Vicon制造的相机，如Vicon MX40相机。此相机包括相机上处 理并且能够进行每秒1000帧的图像捕捉。运动捕捉相机能够检测并定位标记。在所描述的实施例中，相机用于光检测。在其他实施例中，相机或其他检测器可用 于电磁的、静磁的、RFID或任何其他合适类型的检测。预处理器105用来产生三维空间点重构和骨点标签设定。姿态翻译器106用来将 3D空间信息和标记运动信息翻译成命令语言，该命令语言可由计算机处理器解释以更新显 示器上光标的位置、形状和动作。在本专利技术的一个可替选实施例中，预处理器105和姿态翻 译器106可组合成单个装置。计算机107可以是比如由苹果、戴尔或任何合适的制造商制造的任何通用计算 机。计算机107运行应用并提供显示输出。原本来自鼠标或其他现有技术的输入装置的光 标信息现在来自姿态系统。标记标签本专利技术考虑在用户的一个或多个手指上使用标记标签，以使得系统可定位用户的 手，标识其正在观察左手还是右手以及哪些手指是可视的。这允许系统检测用户的手的定 位、取向和移动。此信息允许多个姿态被系统识别并被用户用作命令。一个实施例中的标记标签是物理标签，该物理标签包括衬底(在本实施例中适合 于贴附到人手上的各个位置)和以唯一标识图案布置在衬底表面上的离散标记。标记和相关联的外部感测系统可以在允许准确、精确、迅速且持续地获取其三维 空间位置的任何域(光域、电磁域、静磁域等)中工作。标记本身可主动地(例如，通过发 射结构化电磁脉冲)工作或被动地(例如，通过如本实施例中的光学回射标记)工作。在每个获取帧，检测系统接收由恢复后的三维空间位置构成的聚集“云”，其包括 目前在仪器化工作空间体积内(在相机或其他检测器的可视范围内)的标签上的所有标 记。每个标签上的标记具有足够的多样性，并且被布置成唯一的图案，从而检测系统可执行 以下任务(1)分割，其中每个恢复后的标记位置被分配给构成单个标签的点的一个且仅 一个子集；( 标签设定，其中点的每个分割后的子集被标识为特定标签；C3)定位，其中被 标识的标签的三维空间位置被恢复；以及(4)取向，其中被标识的标签的三维空间取向被 恢复。如下面所述和如图2中的一个实施例所示的那样，通过标记图案的特定性质，使得任 务(1)和⑵成为可能。一个实施例中的标签上的标本文档来自技高网...

【技术保护点】
一种系统，包括：　　多个光学检测器，其中所述多个光学检测器中的至少两个光学检测器包括波前编码相机，其中所述多个光学检测器对身体成像；以及　　与所述多个光学检测器耦合的处理器，所述处理器自动检测身体的姿态，其中所述姿态包括所述身体的瞬时状态，其中所述检测包括聚集一瞬间的所述姿态的姿态数据，所述姿态数据包括所述成像系统的景深内的所述身体的焦点分辨数据，所述处理器将所述姿态翻译成姿态信号并使用所述姿态信号来控制与所述处理器耦合的部件。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：皮埃尔ST希莱尔，约翰S昂德科夫勒，
申请(专利权)人：奥布隆工业有限公司，
类型：发明
国别省市：US[美国]