基于空间中的位置的认知表示的对象跟踪技术。系统、装置和方法可以提供始发相机技术，所述始发相机技术生成与多播域中的始发相机相关联的本地空间的单元格表示，预测本地空间中的对象将离开本地空间并进入与多播域中的附加相机相关联的一个或多个相邻空间，以及在对象离开本地空间之前，将对象的单元格表示和轨迹发送到附加相机。此外，过渡相机技术可以基于对象的多播轨迹和对象的预测轨迹生成领导者选择消息，将领导者选择消息从过渡相机发送到多播域中的一个或多个附加相机，并且响应于领导者通知消息而跟踪本地空间中的对象。于领导者通知消息而跟踪本地空间中的对象。于领导者通知消息而跟踪本地空间中的对象。
【技术实现步骤摘要】
基于空间中的位置的认知表示的对象跟踪技术
[0001]实施例通常涉及对象跟踪。更特别地，实施例涉及基于空间中的位置的认知表示的对象跟踪技术。
技术介绍
[0002]在大的物理区域（例如，城市）中跟踪诸如车辆和个体的对象对于公共安全、执法和/或安全通常是有用的。常规的方法可能涉及固定相机的分布式阵列的部署，其可以手动操作或者配备有对象识别软件。手动操作的固定相机解决方案可能受到人为错误的影响，并且可能受限于可以同时跟踪的对象的数量。包含对象识别软件的固定相机解决方案可能涉及相对大量的计算开销和/或功耗，并且可能限于静止图像。在任一情况下，固定相机的大阵列通常增加成本（例如，装备、部署和/或维护）。虽然摇摄（pan）、倾斜、变焦（PTZ）相机可以解决固定相机阵列的成本问题，但仍有相当大的改进的空间。例如，手动操作的PTZ相机解决方案可能仍然遇到人为错误和同时跟踪忧虑（concerns）以及盲点挑战。
附图说明
[0003]通过阅读以下说明书和所附权利要求并且通过参考以下附图，实施例的各种优点对于本领域技术人员来说将变得显而易见，其中：图1是根据实施例的在交叉路口处的相机部署的示例的平面图；图2A是根据实施例的本地空间的单元格表示和本地空间中的对象的轨迹的示例的平面图；图2B是根据实施例的相邻空间的单元格表示和相邻空间中的对象的预测轨迹的示例的平面图；图3是根据实施例的多个多播域的示例的平面图；图4是根据实施例的来自始发相机（origination camera）的通信的示例的平面图；图5是根据实施例的领导者选择的示例的平面图；图6A是根据实施例的操作始发相机的方法的示例的流程图；图6B是根据实施例的操作过渡相机的方法的示例的流程图；图7是根据实施例的性能增强的计算系统的示例的框图；图8是根据实施例的半导体装置的示例的图示；图9是根据实施例的处理器的示例的框图；以及图10是根据实施例的基于多处理器的计算系统的示例的框图。
具体实施方式
[0004]现在转到图1，示出了对象跟踪解决方案，其中多个相机20（20a
‑
20j，例如边缘节点）被部署在物理区域（例如交叉路口）周围。相机20可以包括静止（例如，固定）相机和非静
止（例如，摇摄、倾斜、变焦/PTZ）相机的组合。例如，第一相机20a和第九相机20i可以是非静止相机，而第二相机20b、第三相机20c、第四相机20d、第五相机20e、第六相机20f、第七相机20g、第八相机20h和第十相机20j可以是静止相机。取决于环境，可以使用静止和非静止相机的其他布置、配置和/或组合。
[0005]如将更详细讨论的那样，每个相机20可以具有用于在相应数据集（例如，视频馈送）上执行基于机器学习（ML）的工作负载的计算能力，以及用于与参与对象跟踪的其他相机20传送执行的结果的联网能力。在实施例中，在大的物理空间上分布相机20最大化了可见空间的覆盖范围。此外，相机20可以被战略性地定位成具有重叠的视场（fields of view），使得可见空间中的奇点（singular point）被两个或更多个相机20观察到。例如，图示的第八、第九和第十相机20h
‑
20i的可见空间是冗余的。从网络的角度来看，每个健康（healthy）相机20可以在时间上的任何时刻与其他健康相机20直接通信，并且每个相机20都知道相邻的健康相机20及其相应的网络地址。
[0006]图2A示出了在空间表示级（例如，子系统）24期间的空间的单元格表示22。通常，每个边缘节点可以包括对象检测子系统（未示出），其可以是任何自动对象检测器。可以将用户输入添加到对象检测子系统，以将跟踪系统的注意力集中在特定对象（例如，车辆、个体）上。例如，一旦检测到对象26（例如，穿越代理（traversing agent）），就可以使用投影映射来确定对象26的质心，其中该质心被传递到空间表示级24。
[0007]在实施例中，空间表示级24产生单元格表示22以概括物理空间。在一个示例中，单元格表示22在高度踩踏的区域周围更详细，而在其他区域中更粗糙。空间表示级24可以用卷积神经网络（CNN）来建模。在所图示的示例中，单元格表示22采取物理空间的“软平铺（soft tiling）”的形式。在实施例中，软平铺包括单元（例如，单元格）的集合，所述单元平铺跟踪空间同时部分地和局部地彼此重叠。例如，表示22中的单元格的集合28可能对应于观察到的不活动（inactivity）（例如，未被占用的“沉默”图块），而单元格的另一集合30可以对应于观察到的活动。对应于观察到的活动的该组单元格30可以被用于自动确定对象26的观察到的（例如，部分）轨迹32。在一个示例中，表示22中的单元格的数量是跟踪系统的固定超参数。例如，可以自动推断单元格的大小以尽可能好地平铺空间，其中位置单元格的数量是针对所有相机全局选择的用户可调参数。
[0008]给定通过物理区域的观察轨迹32，轨迹预测级36可以使用递归神经网络来预测对应于预测活动的单元格的集合34。在一个示例中，基于对应于预测活动的单元格的集合34自动确定预测轨迹38。在实施例中，轨迹预测级36中的神经网络学习预测轨迹，使得可以成功地跟踪和/或标识对象26。例如，可以基于对象轨迹来训练神经网络，使得在给定对应于观察活动的单元格的集合30的情况下，神经网络学习预测轨迹38。如将更详细地讨论的那样，可以将预测轨迹38和单元格表示22多播到监视与本地空间相邻的空间的附加相机。
[0009]此外，分布式转移学习子系统（未示出）可以提供关于正被跟踪的对象26和任何适当的数据追踪的信息。例如，第一相机可能已经具有车辆牌照的直接视图，并将牌照变换为元数据。同时，第三相机可能已经检测到驾驶员的面部和潜在人口统计学特征（demographics）。在这样的情况下，牌照、面部数据和/或人口统计学特征可以是合并到多播单元格表示22中的特征。也可以包括其他特征，诸如速度、角度、加速度等。随着更多的相机加入预测对象26的方向和检测特征的任务，可以收集更多的信息并将其传递给其他相
机。
[0010]类似于动物大脑中的海马位置细胞，单元格表示22因此起认知表示的作用，其使得大量的设备能够被合并在一起，同时最大化效率、可靠性和性能。在实施例中，边缘节点形成跟踪特定（例如，异常（out of the norm））行为、具有特定特性的对象或特定手动选择的对象的社区（communities）。因此，相机的子集（例如，边缘节点）可以参与跟踪练习，这变得更加集中和高效。
[0011]图2B示出了与由单元格表示22（图2A）建模的空间相邻的空间的单元格表示40。因此，相邻空间可以由分布式的相机的阵列中的附加相机监视。在图示的示例中，附加相机的空间表示级42将对应于单元格的集合34（例如，由始发相机预测的活动）的多播轨迹映射到相邻空间的单元格表示40上。因此，单元格表示40可以包括对应于多播轨迹的单元格的集合44和对应于观察到的不活动的单元格的集合46。
...
【技术保护点】
【技术特征摘要】
1.一种始发相机装置，包括：用于生成与始发相机相关联的本地空间的单元格表示的装置，其中所述始发相机在多播域中；用于预测本地空间中的对象将离开本地空间并进入与多播域中的一个或多个附加相机相关联的一个或多个相邻空间的装置；以及用于在对象离开本地空间之前将对象的单元格表示和轨迹发送到一个或多个附加相机中的至少一个的装置。2.根据权利要求1所述的始发相机装置，其中单元格表示用于包括对应于预测活动的单元格的第一集合、对应于观察到的不活动的单元格的第二集合或对应于观察到的活动的单元格的第三集合中的一个或多个。3.根据权利要求1所述的始发相机装置，其中单元格表示用于包括对象的一个或多个特征。4.根据权利要求1所述的始发相机装置，其中单元格表示用于包括固定数量的单元格。5.根据权利要求1
‑
4中的任一项所述的始发相机装置，进一步包括用于在发送单元格表示和轨迹之后减少始发相机的计算活动或始发相机的功耗中的一个或多个的装置。6.一种半导体装置，包括：一个或多个衬底；以及耦合到一个或多个衬底的逻辑，其中所述逻辑至少部分地在可配置逻辑或固定功能硬件逻辑中的一个或多个中实现，耦合到一个或多个衬底的逻辑用于：生成与多播域中的始发相机相关联的本地空间的单元格表示；预测本地空间中的对象将离开本地空间并进入与多播域中的一个或多个附加相机相关联的一个或多个相邻空间；以及在对象离开本地空间之前，将对象的单元格表示和轨迹发送到一个或多个附加相机中的至少一个。7.根据权利要求6所述的半导体装置，其中单元格表示用于包括对应于预测活动的单元格的第一集合、对应于观察到的不活动的单元格的第二集合或对应于观察到的活动的单元格的第三集合中的一个或多个。8.根据权利要求6所述的半导体装置，其中单元格表示用于包括对象的一个或多个特征。9.根据权利要求6所述的半导体装置，其中单元格表示用于包括固定数量的单元格。10.根据权利要求6
‑
9中的任一项所述的半导体装置，其中耦合到一个或多个衬底的逻辑用于在发送单元格表示和轨迹之后减少始发相机的计算活动或始发相机的功耗中的一个或多个。11.根据权利要求6
‑
9中的任一项所述的半导体装置，其中耦合到一个或多个衬底的逻辑包括被定位在一个或多个衬底内的晶体管沟道区。12.一种过渡相机装置，包括：用于基于对象的多播轨迹和对象的预测轨迹生成领导者选择消息的装置，其中多播轨迹用于与相邻空间的第一单元格表示相关联，并且预测轨迹用于与本地空间的第二单元格表示相关联；
用于将领导者选择消息发送到多播域中的一个或多个附加相机的装置；以及用于响应于领导者通知消息而递归地跟踪本地空间中的对象的装置，其中领导者通知消息用于指示过渡相机已经被选择作为一个或多个附加相机之中的领导者。13.根据权利要求12所述的过渡相机装...
【专利技术属性】
技术研发人员：D，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。