分布式姿势估计制造技术

提供了用于针对扩展现实体验的分布式跟踪和建图的系统、方法和计算机可读介质。一种示例方法可以包括：在设备处计算设备在未来时间处的姿势，未来时间是基于在设备与建图后端系统之间的通信时延来确定的；向建图后端系统发送设备的姿势；从建图后端系统接收地图切片，地图切片包括对应于与设备相关联的场景的地图点，地图切片是基于设备的姿势来生成的，其中，地图点对应于预测姿势；以及基于地图切片来计算设备的经更新姿势。片来计算设备的经更新姿势。片来计算设备的经更新姿势。

【技术实现步骤摘要】
【国外来华专利技术】分布式姿势估计
[0001]依据35 U.S.C.
§
119要求优先权
[0002]本专利申请要求享受于2019年5月16日提交的名称为“DISTRIBUTED POSE ESTIMATION”的非临时申请No.16/414,664的优先权，上述申请被转让给本申请的受让人并且据此通过引用的方式明确地并入本文中。


[0003]概括地说，本公开内容涉及姿势估计技术。

技术介绍

[0004]可以在各种应用(诸如计算机视觉和机器人学)中使用姿势估计来确定人或对象相对于场景或环境的位置和朝向。该姿势信息可以用于管理人或对象与特定场景或环境之间的交互。例如，机器人的姿势(例如，位置和朝向)可以用于允许机器人在场景周围移动时操纵对象或避免与对象碰撞。作为另一示例，用户或用户所佩戴的设备的姿势可以用于利用虚拟内容来增强或扩充用户的真实或物理环境。然而，姿势估计系统的计算复杂性可能施加显著的功率和资源需求，并且在各种应用中可能是限制因素。姿势估计的计算复杂性也可能限制依赖姿势信息的跟踪和定位应用的性能和可扩展性。

技术实现思路

[0005]在一些示例中，描述了用于提供拆分跟踪、建图(mapping)和姿势预测的系统、方法和计算机可读介质。如上所述，姿势估计系统的计算复杂性可能施加显著的功率和资源需求，在各种应用中可能是限制因素，并且也可能限制依赖姿势信息的跟踪和定位应用的性能和可扩展性。例如，姿势估计、视觉和惯性跟踪以及建图算法的计算复杂性可能对跟踪和定位应用中的设备施加显著的功率和资源需求，特别是在大规模环境中。在移动和可穿戴设备中实现此类技术并且使此类设备更小、更轻且更舒适(例如，通过减少设备发出的热量)以供用户佩戴更长时间段的最新趋势加剧了此类功率和资源需求。
[0006]本文中的方法可以大大地降低姿势估计、跟踪和定位应用的热、资源和功率要求，从而允许在更小、更轻且更舒适的设备(诸如移动和可穿戴设备)中实现此类能力。因此，尽管跟踪和建图技术的计算复杂性增加，但是本文中的方法可以使得较小的设备能够实现此类跟踪和建图技术，同时大大地降低热和功率要求。此外，本文中的方法可以提高姿势估计、跟踪和建图应用的可扩展性和性能。
[0007]在一些示例实现中，姿势估计、跟踪和建图功能可以跨越不同的设备分布，以减少在此类设备上施加的计算、功率和热要求，并且可以考虑此类分布式实现中的通信延迟，以防止漂移和跟踪或建图错误。举例说明，在一些情况下，示例视觉和惯性跟踪和建图系统可以包括：跟踪前端，其可以执行姿势估计和跟踪功能；以及建图后端，其可以远程地执行建图功能。跟踪前端可以是轻型的，并且实时或接近实时地执行跟踪和其它定位功能，并且建图后端可以执行计算密集型功能，诸如建图功能。
[0008]在一些示例中，建图后端可以在服务器或网络环境(诸如云、雾、移动边缘等)上实现。此外，跟踪前端可以在任何计算设备处实现，诸如但不限于智能电话、游戏控制台、膝上型计算机、平板计算机、智能家庭助理、智能穿戴设备(例如，智能手表、HMD等)、机器人或机器人设备、控制器设备(例如，游戏控制器)、自主车辆、服务器系统等。例如，跟踪前端可以在机器人、用户的设备或任何其它计算设备处实现。可以修改跟踪前端实现，以提高效率、准确度和稳健性，并且防止或减少由于与建图后端的往返通信延迟而导致的错误或不准确。可以实现各种策略来进一步减少往返通信延迟以及在跟踪前端与建图后端之间传送的数据的大小或量，从而减少跟踪和定位实现的错误，提高跟踪和定位实现的准确度，并且提高跟踪和定位实现的效率。
[0009]根据至少一个示例，提供了一种用于拆分跟踪、建图和姿势预测的方法。所述方法可以包括：在设备处计算所述设备在未来时间处的预测姿势，所述未来时间是基于在所述设备与建图后端系统之间的通信时延来确定的；向所述建图后端系统发送所述设备的所述预测姿势；从所述建图后端系统接收地图切片，所述地图切片包括对应于与所述设备相关联的场景的地图点子集，所述地图切片是基于所述设备的所述预测姿势来生成的，其中，所述地图点子集对应于所述预测姿势；以及至少部分地基于所述地图切片来计算所述设备的经更新姿势。
[0010]在另一示例中，提供了一种用于拆分跟踪、建图和姿势预测的装置。所述装置可以包括存储器和耦合到所述存储器的处理器，所述处理器被配置为：计算所述装置在未来时间处的预测姿势，所述未来时间是基于在所述装置与建图后端系统之间的通信时延来确定的；向所述建图后端系统发送所述装置的所述预测姿势；从所述建图后端系统接收地图切片，所述地图切片包括对应于与所述装置相关联的场景的地图点子集，所述地图切片是基于所述装置的所述预测姿势来生成的，其中，所述地图点子集对应于所述预测姿势；以及至少部分地基于所述地图切片来计算所述装置的经更新姿势。
[0011]在另一示例中，提供了一种用于拆分跟踪、建图和姿势预测的非暂时性计算机可读介质。所述非暂时性计算机可读介质可以包括指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作：计算设备在未来时间处的预测姿势，所述未来时间是基于在所述设备与建图后端系统之间的通信时延来确定的；向所述建图后端系统发送所述设备的所述预测姿势；从所述建图后端系统接收地图切片，所述地图切片包括对应于与所述设备相关联的场景的地图点子集，所述地图切片是基于所述设备的所述预测姿势来生成的，其中，所述地图点子集对应于所述预测姿势；以及至少部分地基于所述地图切片来计算所述设备的经更新姿势。
[0012]在另一示例中，提供了一种包括用于拆分跟踪、建图和姿势预测的单元的装置。所述装置可以包括用于进行以下操作的单元：计算所述装置在未来时间处的预测姿势，所述未来时间是基于在所述装置与建图后端系统之间的通信时延来确定的；向所述建图后端系统发送所述装置的所述预测姿势；从所述建图后端系统接收地图切片，所述地图切片包括对应于与所述装置相关联的场景的地图点子集，所述地图切片是基于所述装置的所述预测姿势来生成的，其中，所述地图点子集对应于所述预测姿势；以及至少部分地基于所述地图切片来计算所述装置的经更新姿势。
[0013]在一些方面中，上述方法、非暂时性计算机可读介质和装置可以包括：从一个或多
个传感器获得一个或多个传感器测量，所述一个或多个传感器测量包括与所述设备/装置相关联的运动参数；以及基于所述一个或多个传感器测量以及与在所述设备/装置与所述建图后端系统之间的所述通信时延相对应的时间量来计算所述预测姿势。
[0014]在一些方面中，上述方法、非暂时性计算机可读介质和装置可以包括：计算所述设备/装置的运动，其中，计算所述预测姿势是进一步基于所述设备/装置的所述运动的。此外，在一些情况下，上述方法、非暂时性计算机可读介质和装置可以包括：基于所述一个或多个传感器测量来跟踪来自多个帧的特征集合，其中，计算所述设备/装置的所述经更新姿势是进一步基于来自所述多个帧的所述特征集合的。
[0015]在一些方面中，上述方法和非暂时性计算机可读介质中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在客户端设备处计算所述客户端设备在未来时间处的预测姿势，所述未来时间是基于在所述客户端设备与建图后端系统之间的通信时延来确定的；向所述建图后端系统发送所述客户端设备的所述预测姿势；从所述建图后端系统接收地图切片，所述地图切片包括对应于与所述客户端设备相关联的场景的地图点子集，所述地图切片是基于所述客户端设备的所述预测姿势来生成的，其中，所述地图点子集对应于所述预测姿势；以及至少部分地基于所述地图切片来计算所述客户端设备的经更新姿势。2.根据权利要求1所述的方法，其中，所述地图切片包括与所述客户端设备相关联的所述场景的地图的一部分，其中，所述地图点子集包括与所述客户端设备相关联的所述场景的所述地图中的多个地图点的子集。3.根据权利要求1所述的方法，其中，所述地图点子集中的每个地图点表示在所述场景内的三维位置处的特征，并且其中，所述预测姿势是由所述客户端设备使用神经网络来计算的。4.根据权利要求1所述的方法，还包括：由所述客户端设备从一个或多个传感器获得一个或多个传感器测量，所述一个或多个传感器测量包括与所述客户端设备相关联的运动参数；以及基于所述一个或多个传感器测量以及与在所述客户端设备与所述建图后端系统之间的所述通信时延相对应的时间量，来计算所述客户端设备在所述未来时间处的所述预测姿势。5.根据权利要求4所述的方法，还包括：计算所述客户端设备的运动，其中，计算所述客户端设备在所述未来时间处的所述预测姿势是进一步基于所述客户端设备的所述运动的。6.根据权利要求4所述的方法，还包括：基于所述一个或多个传感器测量来跟踪来自多个帧的特征集合，其中，计算所述客户端设备的所述经更新姿势是进一步基于来自所述多个帧的所述特征集合的。7.根据权利要求4所述的方法，其中，所述客户端设备包括头戴式显示器，所述头戴式显示器包括所述一个或多个传感器，所述一个或多个传感器包括图像传感器和惯性测量单元中的至少一者。8.根据权利要求1所述的方法，还包括：由所述客户端设备在由所述客户端设备获得的每一数量的帧之后向所述建图后端系统发送帧集合和地图点；由所述客户端设备向所述建图后端系统发送被跟踪的地图点集合以及与所述客户端设备相关联的姿势信息，所述被跟踪的地图点集合和所述姿势信息是在来自由所述客户端设备获得的多个帧中的每个帧之后发送的；以及由所述客户端设备从所述建图后端系统接收基于以下各项中的至少一项而生成的新地图切片：由所述建图后端系统维护的地图、所述帧集合、所述地图点、所述被跟踪的地图点集合、以及与所述客户端设备相关联的所述姿势信息。9.根据权利要求1所述的方法，其中，所述地图切片包括从捕获所述场景的至少一部分的一组帧中选择的非重叠帧。
10.根据权利要求1所述的方法，还包括：由所述客户端设备至少部分地基于局部地图来计算所述客户端设备的所述经更新姿势，所述局部地图包括以下各项中的至少一项：由所述客户端设备存储的第一特征、以及来自由所述建图后端系统生成的一个或多个地图切片的第二特征。11.根据权利要求10所述的方法，还包括：利用来自所述局部地图的一个或多个特征来补充所述地图切片。12.根据权利要求1所述的方法，还包括：确定与所述客户端设备相关联的姿势的可变长度滑动窗口的长度，其中，所述姿势的可变长度滑动窗口的所述长度是基于在所述客户端设备与所述建图后端系统之间的地图切片传送的往返延迟的。13.根据权利要求12所述的方法，还包括：由所述客户端设备至少部分地基于所述姿势的可变长度滑动窗口来计算所述客户端设备的所述经更新姿势。14.根据权利要求13所述的方法，其中，在以下情况中的至少一种情况时，所述客户端设备的所述经更新姿势是至少部分地基于所述姿势的可变长度滑动窗口来计算的：所述往返延迟超过第一门限、所述客户端设备的移动超过第二门限、以及地图切片特征数量低于第三门限。15.一种装置，包括：存储器；以及耦合到所述存储器的处理器，所述处理器被配置为：计算所述装置在未来时间处的预测姿势，所述未来时间是基于在所述装置与建图后端系统之间的通信时延来确定的；向所述建图后端系统发送所述装置的所述预测姿势；从所述建图后端系统接收地图切片，所述地图切...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：