使用结构化丢弃来管理孪生网络跟踪中的遮挡制造技术

一种用于对象跟踪的方法包括接收感兴趣对象的目标图像。目标图像的潜在空间特征在神经网络的前向传递处通过丢弃潜在空间特征中的至少一个通道、丢弃与潜在空间特征的片段相对应的通道、或丢弃潜在空间特征中的一个或多个特征来修改。在前向传递处，感兴趣对象在搜索图像中的位置基于经修改的潜在空间特征来预测。感兴趣对象的位置通过聚集来自前向传递的所预测位置来标识。的所预测位置来标识。的所预测位置来标识。

【技术实现步骤摘要】
【国外来华专利技术】使用结构化丢弃来管理孪生网络跟踪中的遮挡
[0001]相关申请的交叉引用
[0002]本申请要求于2020年3月18日提交的题为“MANAGING OCCLUSION IN SIAMESE TRACKING USING STRUCTURED DROPOUTS(使用结构化丢弃来管理孪生网络跟踪中的遮挡)”的希腊专利申请No.20200100142的优先权，其公开内容通过援引全部明确纳入于此。
[0003]公开领域
[0004]本公开的各方面一般涉及对象跟踪。
[0005]背景
[0006]可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。人工神经网络可被用于各种应用和/或设备，诸如网际协议(IP)相机、物联网(IoT)设备、机器视觉、对象跟踪、自主交通工具、和/或服务机器人。
[0007]可以训练人工神经网络(诸如，卷积神经网络(CNN))以标识图像或图像序列(例如，视频)中的对象。例如，可训练CNN以标识和跟踪由一个或多个传感器(诸如，光检测和测距(LIDAR)传感器、声纳传感器、红绿蓝(RGB)相机、RGB深度(RGB
‑
D)相机等)捕获的对象。传感器可耦合至设备(诸如，自动交通工具)或与该设备处于通信。
[0008]对象跟踪器在跟踪对象时面临各种挑战。这些挑战包括例如外观变化、遮挡、杂波和/或采样漂移。如此，鉴于前述挑战，改进对象跟踪器以使其更稳健是期望的。
[0009]概述
[0010]在本公开的一方面，提供了一种用于对象跟踪的方法。该方法包括接收感兴趣对象的目标图像。该方法还包括在神经网络的前向传递处修改目标图像的潜在空间特征。附加地，该方法包括在前向传递处基于经修改的潜在空间特征来预测感兴趣对象在搜索图像中的位置。进一步，该方法包括通过聚集来自前向传递的所预测位置来标识感兴趣对象的位置。
[0011]在本公开的一方面，提供了一种用于对象跟踪的装置。该装置包括存储器以及耦合至该存储器的一个或多个处理器。该处理器被配置成接收感兴趣对象的目标图像。该处理器还被配置成在神经网络的前向传递处修改目标图像的潜在空间特征。另外，该处理器被配置成在前向传递处基于经修改的潜在空间特征来预测感兴趣对象在搜索图像中的位置。进一步地，该处理器被配置成通过聚集来自前向传递的所预测位置来标识感兴趣对象的位置。
[0012]在本公开的一方面，提供了一种用于对象跟踪的装置。该装备包括用于接收感兴趣对象的目标图像的装置。该装备还包括用于在神经网络的前向传递处修改目标图像的潜在空间特征的装置。附加地，该装备包括用于在前向传递处基于经修改的潜在空间特征来预测感兴趣对象在搜索图像中的位置的装置。进一步地，该装备包括用于通过聚集来自前向传递的所预测位置来标识感兴趣对象的位置的装置。
[0013]根据本公开的一方面，提供了一种非瞬态计算机可读介质。该计算机可读介质上编码有用于对象跟踪的程序代码。该程序代码由处理器执行并且包括用于接收感兴趣对象
的目标图像的代码。该程序代码还包括用于在神经网络的前向传递处修改目标图像的潜在空间特征的代码。附加地，该程序代码包括用于在前向传递处基于经修改的潜在空间特征来预测感兴趣对象在搜索图像中的位置的代码。进一步地，该程序代码包括用于通过聚集来自前向传递的所预测位置来标识感兴趣对象的位置的代码。
[0014]本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
[0015]附图简述
[0016]在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
[0017]图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)来设计神经网络的示例实现。
[0018]图2A、2B和2C是解说根据本公开的各方面的神经网络的示图。
[0019]图2D是解说根据本公开的各方面的示例性深度卷积网络(DCN)的示图。
[0020]图3是解说根据本公开的各方面的示例性深度卷积网络(DCN)的框图。
[0021]图4是解说根据本公开的各个方面的用于对象跟踪的示例架构的框图。
[0022]图5是解说根据本公开的各方面的用于使用结构化丢弃来修改目标特征以对外观变化进行建模的示例办法的框图。
[0023]图6A
‑
B是解说根据本公开的各方面的结构化丢弃的示例架构的框图。
[0024]图7解说了根据本公开的各方面的方法的流程图。
[0025]详细描述
[0026]以下参照附图更全面地描述本公开的各个方面。然而，本公开可用许多不同形式来实施并且不应解释为被限于本公开通篇给出的任何具体结构或功能。相反，提供这些方面是为了使得本公开将是透彻和完整的，并且其将向本领域技术人员完全传达本公开的范围。基于本文中的教导，本领域技术人员应领会，本公开的范围旨在覆盖所披露的本公开的任何方面，不论其是与本公开的任何其他方面相独立地实现还是组合地实现的。例如，可使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者另外的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
[0027]基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
[0028]措辞“示例性”在本文中用于表示“用作示例、实例、或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
[0029]尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
[0030]对象跟踪指基于视频的第一帧中所本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收感兴趣对象的目标图像；在神经网络的前向传递处修改所述目标图像的潜在空间特征；在所述前向传递处基于经修改的潜在空间特征来预测所述感兴趣对象在搜索图像中的位置；以及通过聚集来自所述前向传递的所预测位置来标识所述感兴趣对象的所述位置。2.如权利要求1所述的方法，进一步包括通过丢弃所述潜在空间特征中的至少一个通道、丢弃与所述潜在空间特征的片段相对应的通道、或丢弃所述潜在空间特征中的至少一个特征来修改所述潜在空间特征。3.如权利要求2所述的方法，其中丢弃所述潜在空间特征中的所述至少一个通道以及丢弃所述潜在空间特征中的所述至少一个特征包括随机丢弃。4.如权利要求2所述的方法，其中丢弃与所述潜在空间特征的所述片段相对应的通道包括非随机丢弃。5.如权利要求1所述的方法，其中所述神经网络包括孪生神经网络。6.如权利要求1所述的方法，进一步包括对所述经修改的潜在空间特征和所述搜索图像的特征进行卷积。7.如权利要求6所述的方法，进一步包括基于所述经修改的潜在空间特征和所述搜索图像的特征的卷积来预测所述感兴趣对象在所述搜索图像中的位置。8.一种装置，包括：存储器，以及操作地耦合到所述存储器的至少一个处理器，所述存储器和所述至少一个处理器被配置成：接收感兴趣对象的目标图像；在神经网络的前向传递处修改所述目标图像的潜在空间特征；在所述前向传递处基于经修改的潜在空间特征来预测所述感兴趣对象在搜索图像中的位置；以及通过聚集来自所述前向传递的所预测位置来标识所述感兴趣对象的所述位置。9.如权利要求8所述的装置，其中所述至少一个处理器被进一步配置成通过丢弃所述潜在空间特征中的至少一个通道、丢弃与所述潜在空间特征的片段相对应的通道、或丢弃所述潜在空间特征中的至少一个特征来修改所述潜在空间特征。10.如权利要求9所述的装置，其中所述至少一个处理器被进一步配置成通过随机丢弃来丢弃所述潜在空间特征中的所述至少一个通道以及丢弃所述潜在空间特征中的所述至少一个特征。11.如权利要求9所述的装置，其中所述至少一个处理器被进一步配置成通过包括非随机丢弃来丢弃与所述潜在空间特征的所述片段相对应的通道。12.如权利要求8所述的装置，其中所述神经网络包括孪生神经网络。13.如权利要求8所述的装置，其中所述至少一个处理器被进一步配置成对所述经修改的潜在空间特征和所述搜索图像的特征进行卷积。14.如权利要求13所述的装置，其中所述至少一个处理器被进一步配置成基于所述经
修改的潜在空间特征和所述搜索图像的特征的卷积来预测所述感兴趣对象在所述搜索图像中的位置。15.一种装备，包括：用于接收感兴趣对象的目标图像的装置；用于在神经网络的前向传递处修改所述目标图像的潜在空间特征的装置；用于在所述前向传递处基于经修改的潜...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：美国高通技术公司，
类型：发明
国别省市：