【技术实现步骤摘要】
【国外来华专利技术】
本公开整体涉及图像处理。例如，本公开的各方面涉及用于组合来自多个设备的数据以在环境内执行对象跟踪并基于该跟踪来提供输出的系统和技术。
技术介绍
1、扩展现实(xr)设备是例如通过头戴式显示器(hmd)、眼镜、移动手持机或另一设备向用户显示环境的设备。该环境至少部分地不同于用户和设备所处的真实世界环境，并且可例如包括虚拟内容。用户通常能够例如通过倾斜或移动xr设备来交互地改变他们的环境视图。虚拟现实(vr)、增强现实(ar)和混合现实(mr)是xr的示例。
2、xr设备能够包括例如位于一个或多个相机内的一个或多个图像传感器。例如，xr设备中的相机能够用于在用户正观看的方向上并从用户位置的视角捕获真实世界环境的图像数据。xr设备中的图像传感器还能够用于捕获图像数据以用于跟踪目的(例如，手部跟踪、头部跟踪、身体跟踪等)。
3、xr设备能够在xr设备向用户显示的环境中显示用户的手部的表示，使得用户感觉好像他们在该环境中一样。手部跟踪能够允许xr设备在环境中准确地表示用户的手部，并且能够允许用户与环境内的真实或虚拟对象交互。然而，手部跟踪通常需要用户将他们的手部保持在xr设备的图像传感器的视场(fov)内。如果用户的手部离开fov或被遮挡，则xr设备能够遇到错误。手部跟踪通常是能够快速消耗电池电力的计算量很大的过程。
技术实现思路
1、在一些示例中，描述了用于基于来自多个设备的数据来进行特征跟踪的系统和技术。诸如xr设备之类的成像设备能够利用来自一个或多个外部设备的一
2、在一些情况下，成像设备能够将来自数据流的数据与由图像传感器捕获的图像合并，从而产生合并数据集。基于检测到该条件，成像设备可以基于数据流、图像和/或合并数据集来确定对象的至少一部分在环境中的位置。该成像设备可以生成输出(例如，内容、控制成像设备的命令、控制外部设备的命令等)。该成像设备可以输出基于对象的至少该部分在环境中的位置的内容。在一个示例中，如果对象是用户的手部，则由成像设备生成和/或输出的内容可以基于用户的手部的(基于数据流、图像和/或合并数据集来确定的)位置来准确地定位由用户的手部握持的虚拟对象，即使没有在图像中描绘用户的手部也是如此。如果对象是显示屏和/或在显示屏上显示的视觉内容，则由成像设备生成和/或输出的内容可以将虚拟内容定位成与显示屏的位置相邻。
3、在一个示例中，提供了一种用于图像处理的装置。该装置包括存储器和耦合到存储器的(例如，在电路中实现的)一个或多个处理器。该一个或多个处理器被配置为并且能够：接收由图像传感器捕获的环境的一部分的图像，其中该环境包括对象；标识来自外部设备的数据流；基于该图像、该数据流和该装置的操作状态中的至少一者来检测条件；响应于检测到该条件，基于该图像和该数据流中的至少一者来确定该对象在该环境中的位置；以及基于该对象在该环境中的该位置来生成输出。
4、在另一个示例中，提供了一种图像处理方法。该方法包括：由设备接收由图像传感器捕获的环境的一部分的图像，其中该环境包括对象；标识来自外部设备的数据流；基于该图像、该数据流和该设备的操作状态中的至少一者来检测条件；响应于检测到该条件，基于该图像和该数据流中的至少一者来确定该对象在该环境中的位置；以及基于该对象在该环境中的该位置来生成输出。
5、在另一个示例中，提供了一种设备的上面存储有指令的非暂时性计算机可读介质，该指令在由一个或多个处理器执行时使得该一个或多个处理器：接收由图像传感器捕获的环境的一部分的图像，其中该环境包括对象；标识来自外部设备的数据流；基于该图像、该数据流和该设备的操作状态中的至少一者来检测条件；响应于检测到该条件，基于该图像和该数据流中的至少一者来确定该对象在该环境中的位置；以及基于该对象在该环境中的该位置来生成输出。
6、在另一个示例中，提供了一种用于图像处理的装置。该装置包括：用于接收由图像传感器捕获的环境的一部分的图像的部件，其中该环境包括对象；标识来自外部设备的数据流的部件；基于该图像、该数据流和该装置的操作状态中的至少一者来检测条件的部件；用于响应于检测到该条件而基于该图像和该数据流中的至少一者来确定该对象在该环境中的位置的部件；以及用于基于该对象在该环境中的该位置来生成输出的部件。
7、在一些方面，为了基于该图像来检测该条件，上文所描述的方法、装置和计算机可读介质还包括确定该对象从该图像中的该环境的一部分中缺失。
8、在一些方面，为了确定该对象从该图像中的该环境的该部分中缺失，上文所描述的方法、装置和计算机可读介质包括确定该对象的至少一部分在该图像中被遮挡。
9、在一些方面，该外部设备包括第二图像传感器。在一些情况下，该数据流包括该环境的第二部分的第二图像。在这种情况下，确定该对象在该环境中的该位置可以至少部分地基于该对象在该第二图像中的描绘。在一些方面，该环境的该部分与该环境的该第二部分重叠。
10、在一些方面，为了基于该设备的该操作状态来检测该条件，上文所描述的方法、装置和计算机可读介质包括确定资源的可用性低于阈值。在一些方面，为了确定该资源的该可用性低于该阈值，上文所描述的方法、装置和计算机可读介质包括确定电池的电池电量低于电池电量阈值。
11、在一些方面，为了确定该资源的该可用性低于该阈值，上文所描述的方法、装置和计算机可读介本文档来自技高网...
【技术保护点】
1.一种用于处理图像数据的装置，所述装置包括：
2.根据权利要求1所述的装置，其中为了基于所述图像来检测所述条件，所述一个或多个处理器被配置为确定所述对象从所述图像中的所述环境的一部分中缺失。
3.根据权利要求2所述的装置，其中为了确定所述对象从所述图像中的所述环境的所述部分中缺失，所述一个或多个处理器被配置为确定所述对象的至少一部分在所述图像中被遮挡。
4.根据权利要求2所述的装置，其中所述外部设备包括第二图像传感器，其中所述数据流包括所述环境的第二部分的第二图像，并且其中确定所述对象在所述环境中的所述位置至少部分地基于所述对象在所述第二图像中的描绘。
5.根据权利要求4所述的装置，其中所述环境的所述部分与所述环境的所述第二部分重叠。
6.根据权利要求1所述的装置，其中为了基于所述装置的所述操作状态来检测所述条件，所述一个或多个处理器被配置为确定资源的可用性低于阈值。
7.根据权利要求6所述的装置，其中为了确定所述资源的所述可用性低于所述阈值，所述一个或多个处理器被配置为确定电池的电池电量低于电池电量阈值。
8.根据权利要求6所述的装置，其中为了确定所述资源的所述可用性低于所述阈值，所述一个或多个处理器被配置为确定可用带宽低于带宽阈值。
9.根据权利要求1所述的装置，其中为了基于所述装置的所述操作状态来检测所述条件，所述一个或多个处理器被配置为接收对应于将处理卸载到所述外部设备的用户输入。
10.根据权利要求1所述的装置，其中为了生成所述输出，所述一个或多个处理器被配置为生成内容。
11.根据权利要求10所述的装置，其中所述一个或多个处理器被配置为：
12.根据权利要求11所述的装置，还包括：
13.根据权利要求1所述的装置，其中所述一个或多个处理器被配置为：
14.根据权利要求1所述的装置，其中为了生成所述输出，所述一个或多个处理器被配置为：
15.根据权利要求1所述的装置，其中为了基于所述图像来检测所述条件，所述一个或多个处理器被配置为确定所述图像中的一个或多个照明条件。
16.根据权利要求15所述的装置，其中为了确定所述图像中的所述一个或多个照明条件，所述一个或多个处理器被配置为确定所述图像的一个或多个光值低于照明阈值。
17.根据权利要求1所述的装置，其中为了确定所述对象在所述环境中的所述位置，所述一个或多个处理器被配置为：
18.根据权利要求1所述的装置，其中所述对象是外部显示设备的显示器。
19.根据权利要求18所述的装置，其中为了基于所述图像来检测所述条件，所述一个或多个处理器被配置为在所述图像中标识在所述外部显示设备的所述显示器上显示的视觉媒体内容。
20.根据权利要求18所述的装置，其中为了生成所述输出，所述一个或多个处理器被配置为生成内容，并且其中所述内容虚拟地扩展所述外部显示设备的所述显示器。
21.根据权利要求1所述的装置，其中为了生成所述输出，所述一个或多个处理器被配置为：
22.根据权利要求21所述的装置，其中所述对象是外部显示设备的显示器，并且其中所述图像的所述区域与所述外部显示设备的所述显示器在所述图像中的描绘相邻。
23.根据权利要求21所述的装置，其中所述对象是所述装置的用户的手部，并且其中所述手部至少部分地与所述图像的所述区域相邻。
24.根据权利要求1所述的装置，其中所述一个或多个处理器被进一步配置为：
25.根据权利要求1所述的装置，其中所述装置是头戴式显示器(HMD)。
26.根据权利要求1所述的装置，还包括：
27.一种用于处理图像数据的方法，包括：
28.根据权利要求27所述的方法，其中基于所述图像来检测所述条件包括确定所述对象从所述图像中的所述环境的一部分中缺失。
29.根据权利要求28所述的方法，其中确定所述对象从所述图像中的所述环境的所述部分中缺失包括确定所述对象的至少一部分在所述图像中被遮挡。
30.根据权利要求28所述的方法，其中所述外部设备包括第二图像传感器，其中所述数据流包括所述环境的第二部分的第二图像，并且其中确定所述对象在所述环境中的所述位置至少部分地基于所述对象在所述第二图像中的描绘。
31.根据权利要求30所述的方法，其中所述环境的所述部分与所述环境的所述第二部分重叠。
32.根据权利要求27所述的方法，其中基于所述设备的所述操作状态来检测所述条件包括确定资源的可用性低于阈值。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于处理图像数据的装置，所述装置包括：
2.根据权利要求1所述的装置，其中为了基于所述图像来检测所述条件，所述一个或多个处理器被配置为确定所述对象从所述图像中的所述环境的一部分中缺失。
3.根据权利要求2所述的装置，其中为了确定所述对象从所述图像中的所述环境的所述部分中缺失，所述一个或多个处理器被配置为确定所述对象的至少一部分在所述图像中被遮挡。
4.根据权利要求2所述的装置，其中所述外部设备包括第二图像传感器，其中所述数据流包括所述环境的第二部分的第二图像，并且其中确定所述对象在所述环境中的所述位置至少部分地基于所述对象在所述第二图像中的描绘。
5.根据权利要求4所述的装置，其中所述环境的所述部分与所述环境的所述第二部分重叠。
6.根据权利要求1所述的装置，其中为了基于所述装置的所述操作状态来检测所述条件，所述一个或多个处理器被配置为确定资源的可用性低于阈值。
7.根据权利要求6所述的装置，其中为了确定所述资源的所述可用性低于所述阈值，所述一个或多个处理器被配置为确定电池的电池电量低于电池电量阈值。
8.根据权利要求6所述的装置，其中为了确定所述资源的所述可用性低于所述阈值，所述一个或多个处理器被配置为确定可用带宽低于带宽阈值。
9.根据权利要求1所述的装置，其中为了基于所述装置的所述操作状态来检测所述条件，所述一个或多个处理器被配置为接收对应于将处理卸载到所述外部设备的用户输入。
10.根据权利要求1所述的装置，其中为了生成所述输出，所述一个或多个处理器被配置为生成内容。
11.根据权利要求10所述的装置，其中所述一个或多个处理器被配置为：
12.根据权利要求11所述的装置，还包括：
13.根据权利要求1所述的装置，其中所述一个或多个处理器被配置为：
14.根据权利要求1所述的装置，其中为了生成所述输出，所述一个或多个处理器被配置为：
15.根据权利要求1所述的装置，其中为了基于所述图像来检测所述条件，所述一个或多个处理器被配置为确定所述图像中的一个或多个照明条件。
16.根据权利要求15所述的装置，其中为了确定所述图像中的所述一个或多个照明条件，所述一个或多个处理器被配置为确定所述图像的一个或多个光值低于照明阈值。
17.根据权利要求1所述的装置，其中为了确定所述对象在所述环境中的所述位置，所述一个或多个处理器被配置为：
18.根据权利要求1所述的装置，其中所述对象是外部显示设备的显示器。
19.根据权利要求18所述的装置，其中为了基于所述图像来检测所述条件，所述一个或多个处理器被配置为在所述图像中标识在所述外部显示设备的所述显示器上显示的视觉媒体内容。
20.根据权利要求18所述的装置，其中为了生成所述输出，所述一个或多个处理器被配置为生成内容，并且其中所述内容虚拟地扩展所述外部显示设备的所述显示器。
21.根据权利要求1所述的装置，其中为了生成所述输出，所述一个或多个处理器被配置为：
22.根据权利要求21所述的装置，其中所述对象是外部显示设备的显示器，并且其中所述图像的所述区域与所述外部显示设备的所述显示器在所述图像中的描绘相邻。
23.根据权利要求21所述的装置，其中所述对象是所述装置的用户的手部，并且其中所述手部至少部分地与所述图像的所述区域相邻。
24.根据权利要求1所述的装置，其中所述一个...
【专利技术属性】
技术研发人员：B·福尔坦普尔，S·穆尼尔，J·基斯，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。