姿态跟踪系统技术方案

本文公开的各种具体实施包括基于事件相机数据和基于帧的相机数据(例如，用于CGR环境)来识别姿态的设备、系统和方法。在一些具体实施中，在具有处理器的电子设备处，获得对应于从物理环境反射并在事件相机处接收的光(例如，IR光)的事件相机数据。在一些具体实施中，获得对应于从物理环境反射并在基于帧的相机处接收的光(例如，可见光)的基于帧的相机数据。在一些具体实施中，基于该基于帧的相机数据识别事件相机数据的子集，并且基于该事件相机数据的子集识别(例如，物理环境中的人的)姿态。在一些具体实施中，通过跟踪事件相机数据的子集中的事件相机事件块的分组识别(例如，手的)路径。手的)路径。手的)路径。

【技术实现步骤摘要】
【国外来华专利技术】姿态跟踪系统


[0001]本公开整体上涉及用于使用相机数据进行对象跟踪或姿态识别的系统、方法和装置。

技术介绍

[0002]手移动和其它姿态可能涉及相对快速的移动。因此，使用来自传统基于帧的像机的图像的姿态识别系统可能缺乏准确性和效率或以其它方式受到此类像机使用的相对缓慢的帧速率的限制。在事件发生时，事件相机针对每个像素捕获事件，并且可以显著快于许多基于帧的相机提供捕获关于用户移动的数据的能力。然而，使用事件相机数据的姿态识别系统在尝试识别用户的姿态时可能面临挑战，因为在给定物理环境中，可能存在与被跟踪的姿态无关的许多事件。对分析和解释来自物理环境的潜在大量事件数据的需要可以显著降低此类基于事件相机的姿态识别系统快速、有效和准确地识别姿态的能力。

技术实现思路

[0003]本文公开的各种具体实施包括用于使用事件相机数据的子集进行基于事件相机的姿态识别的设备、系统和方法。在一些具体实施中，基于事件相机数据的子集来识别姿态。在一些具体实施中，事件相机数据的该子集由具有与事件相机视场(FOV)重叠的FOV的基于帧的相机来识别。在一些具体实施中，事件相机FOV和基于帧的相机FOV在时间上或在空间上相关。在一个具体实施中，在具有处理器的电子设备处，事件相机数据由从物理环境反射并在事件相机处接收的光(例如，红外(IR)光)生成。在一些具体实施中，基于帧的相机数据由从物理环境反射并在基于帧的相机处接收的光(例如，可见光)生成。在一些具体实施中，基于帧的相机数据用于识别感兴趣区域(例如，边界框)以供事件相机进行分析。例如，基于帧的相机数据可用于根据事件相机数据分析中的考虑因素移除背景。在一些具体实施中，识别事件相机数据的子集包括仅选择对应于物理环境中的用户的一部分(例如，手)的事件相机数据。在一些具体实施中，该事件相机被调谐到IR光以降低噪声。
[0004]本文公开的各种具体实施包括通过跟踪事件相机事件的块的分组来识别路径(例如，手)的设备、系统和方法。事件相机事件的每个块可以是具有在给定时间发生的预定数量的事件的区域。可以基于分组半径、距离或时间来执行块的分组，例如，包括在一瞬间发生的另一块的给定3D距离内的块。当块的分组在不同时间点再发生时跟踪该块的分组可能比尝试跟踪随时间移动的个体事件更容易且更准确，例如，在不同时间点与拇指尖端相关联的相关事件。
[0005]本文公开的各种具体实施包括获得与从物理环境反射的光(例如，IR或第一波长范围)相对应的事件相机数据的设备、系统和方法。在一些具体实施中，基于成块(blocking)标准来识别与多个时间相关联的事件块。例如，每个块可以是具有在给定时间或预定长度的时间段发生的预定数量的事件的区域。在一些具体实施中，在多个时间中的每个时间处识别到实体(例如，手)。在一些具体实施中，通过在多个时间处跟踪实体的位置
来确定路径。在一些具体实施中，该多个时间中的每个时间处的实体包括事件块的与相应时间相关联的子集。在一些具体实施中，基于分组标准来识别块的子集。在一些具体实施中，当实体随时间移动时，跟踪实体在多个时间中的每个时间处的位置提供了路径，诸如当人的手随时间移动时该手的路径。在一些具体实施中，接收与从物理环境反射的光相对应的基于帧的相机数据，并且基于该基于帧的相机数据来识别事件相机数据。
[0006]在一些具体实施中，该电子设备是其中发生事件相机数据的处理的电子设备。在一些具体实施中，该电子设备是包括事件相机的相同电子设备(例如，膝上型计算机)。在一些具体实施中，该电子设备是从具有事件相机的电子设备接收事件数据的不同的电子设备(例如，接收来自膝上型计算机的事件数据的服务器)。在一些具体实施中，包括处理器的单个电子设备具有事件相机、IR光源和基于帧的相机(例如，膝上型计算机)。在一些具体实施中，事件相机、IR光源和基于帧的相机位于多于一个电子设备上。
[0007]根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
附图说明
[0008]因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
[0009]图1是根据一些具体实施的示例性系统的框图。
[0010]图2是根据一些具体实施的示例性控制器的框图。
[0011]图3是根据一些具体实施的示例性电子设备的框图。
[0012]图4至图6是根据一些具体实施的包括事件相机以跟踪实体(例如，手)的路径的电子设备的示例性配置的框图。
[0013]图7A至图7B是示出根据一些具体实施的在给定时间处由事件相机检测到的事件的示例和所检测到的事件的块的分组的图。
[0014]图8是根据一些具体实施的示出姿态识别的方法的示例的流程图。
[0015]图9是根据一些具体实施的用于示例性事件相机的像素传感器的框图和像素传感器的示例性电路图。
[0016]图10是根据一些具体实施的识别实体的路径的方法的示例的流程图。
[0017]根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
[0018]描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。尽管图1至图3描绘了涉及电子设备的示例性具体实施，该电子设备包括但不限于手表和其他可穿戴电子设备、移动设备、膝上型计算机、台式计算机、HMD、游戏设备、家庭自动化设备、附件设备以及包括或使用图像捕获设备的其他设备。
[0019]图1是根据一些具体实施的示例性操作环境100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100包括控制器110和电子设备(例如，膝上型计算机)120，该控制器和该电子设备中的一者或全部可处于物理环境105中。物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种姿态识别的方法，所述方法包括：在具有处理器的电子设备处；获得对应于从物理环境反射并在事件相机处接收的光的事件相机数据，所述事件相机数据基于在所述事件相机的像素传感器处检测到的光强度的变化而产生；获得对应于从所述物理环境反射并在基于帧的相机处接收的光的基于帧的相机数据；基于所述基于帧的相机数据识别所述事件相机数据的子集；以及基于所述事件相机数据的所述子集来识别姿态。2.根据权利要求1所述的方法，其中所述事件相机使用第一光波长波段，并且所述基于帧的相机使用不同的第二光波长范围。3.根据权利要求1至2中任一项所述的方法，还包括用IR光源照射所述物理环境，其中所述事件相机使用反射的IR光，并且所述基于帧的相机使用反射的可见光。4.根据权利要求3所述的方法，其中所述IR光源在大小、强度或可操纵方面是可变的。5.根据权利要求1至4中任一项所述的方法，其中所述事件相机使用在强度范围内的反射的IR光。6.根据权利要求1至5中任一项所述的方法，其中识别所述事件相机数据的所述子集包括排除对应于所述物理环境的背景部分的事件相机数据。7.根据权利要求1至6中任一项所述的方法，其中识别所述事件相机数据的所述子集包括仅选择性地包括对应于所述物理环境中的人的一部分的事件相机数据。8.根据权利要求1至7中任一项所述的方法，其中识别所述事件相机数据的所述子集包括所述基于帧的相机数据的颜色分析。9.根据权利要求1至8中任一项所述的方法，其中识别所述事件相机数据的所述子集包括在时间上和空间上使所述事件相机的视场与所述基于帧的相机的视场相关。10.根据权利要求1至9中任一项所述的方法，其中所述电子设备包括所述事件相机，或者其中第二电子设备包括所述事件相机，所述第二电子设备与所述电子设备分离。11.根据权利要求1至10中任一项所述的方法，其中所述事件相机数据对应于基于在像素传感器处的光强度的变化超过比较器阈值而触发的像素事件，或者其中所述事件相机数据排除对应于可见光(VL)强度变化的数据。12.根据权利要求1至11中任一项所述的方法，其中所述姿态包括手移动。13.根据权利要求1至12中任一项所述的方法，其中识别所述姿态包括使用机器学习算法评估所述事件相机数据。14.根据权利要求1至13中任一项所述的方法，其中识别所述姿态包括识别所述物理环境中的人的一个或多个手的路径。15.一种方法，包括：在具有处理器的电子设备处；获得对应于从物理环境反射并在事件相机处接收的光的事件相机数据，所述事件相机数据基于在所述事件相机的像素传感器处检测到的光强度的变化而产生；基于分组标准识别与多个时间相关联的事件块；识别在所述多个时间中的每个时间处的实体，所述多个时间中的每个时间处的所述实体包括与相应时间相关联的所述事件块的子集；以及
通过在所述多个时间处跟踪所述实体的位置来确定路径。16.根据权利要求15所述的方法，其中在所述多个时间中的所述每个时间处的包括所述事件块的所述子集的所述实体基于分组半径、多个所述事件块之间的距离因子、平滑因子或时间因子。17.根据权利要求15至16中任一项所述的方法，其中在所述多个时间处跟踪所述实体的位置包括启动所述实体、跟踪所述实体以及在不活动的间隔之后终止所述实体。18.根据权利要求15至17中任一项所述的方法，其中所述实体是所述物理环境中的人的一个或多个手，所述方法还包括：在所述实体的所述路径的起点处确定第一手姿势；在所述实体的所述路径的终点处确定第二手姿势，其中姿态包括所述第一手姿势、所述实体的所述路径和所述第二手姿势，其中所述第二手姿势不同于所述第一手姿势。19.根据权利要求15至18中任一项所述的方法，其中识别所述姿态包括使用机器学习算法评估所述事件相机数据。20.根据权利要求15至19中任一项所述的方法，还包括使用对应于从所述物理环境反射并在基于帧的相机处接收的光的基于帧的相机数据来识别所述物理环境的选择区域。21.根据权利要求20所述的方法，其中所述事件相机数据包括从所述物理环境的所述选择区域反射的光。22....

【专利技术属性】
技术研发人员：R，
申请(专利权)人：苹果公司，
类型：发明
国别省市：