指示遮挡物理对象的位置制造技术

本发明专利技术题为“指示遮挡物理对象的位置。”在具有一个或多个处理器、非暂态存储器、一个或多个环境传感器和显示器的电子设备处执行一种方法。该方法包括在该显示器上显示计算机生成的内容。该方法包括基于来自该一个或多个环境传感器的环境数据确定与物理对象相关联的第一位置值。该方法包括基于该第一位置值识别满足相对于该物理对象的对应部分的遮挡准则的该计算机生成的内容的一部分。该方法包括响应于识别出该遮挡准则被满足，基于该第一位置值生成与该物理对象相关联的网格，以及在该显示器上显示该网格。该网格与该计算机生成的内容的一部分重叠。容的一部分重叠。容的一部分重叠。

【技术实现步骤摘要】
指示遮挡物理对象的位置


[0001]本公开涉及显示内容，尤其涉及显示与物理对象相关联的指示符。

技术介绍

[0002]在一些情况下，设备在显示器上显示遮挡物理对象的至少第一部分的计算机生成的内容。物理对象可能是设备的用户感兴趣的。在计算机生成的内容不遮挡物理对象的第二部分的情况下，用户可以在显示器上查看第二部分并且因此注意到遮挡。基于用户查看第二部分，用户可以重新定位计算机生成的内容或重新定位设备，以便使物理对象的更多可查看。然而，设备利用计算资源来重新定位计算机生成的内容或重新定位设备。此外，当计算机生成的内容遮挡整个物理对象时，用户体验退化，因为用户完全不知道物理对象的存在。

技术实现思路

[0003]根据一些具体实施，在具有一个或多个处理器、非暂态存储器、一个或多个环境传感器和显示器的电子设备处执行一种方法。该方法包括在该显示器上显示计算机生成的内容。该方法包括基于来自该一个或多个环境传感器的环境数据确定与物理对象相关联的第一位置值。该方法包括基于该第一位置值识别满足相对于该物理对象的对应部分的遮挡准则的该计算机生成的内容的一部分。该方法包括响应于识别出该遮挡准则被满足，基于该第一位置值生成与该物理对象相关联的网格，以及在该显示器上显示该网格。该网格与该计算机生成的内容的一部分重叠。
[0004]根据一些具体实施，一种电子设备包括一个或多个处理器、非暂态存储器、一个或多个环境传感器和显示器。一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行本文所述的方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由电子设备的一个或多个处理器执行时，这些指令使该设备执行或导致执行本文所述方法中的任一种方法的操作。根据一些具体实施，一种电子设备包括用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些具体实施，一种用于在电子设备中使用的信息处理装置包括用于执行或导致执行本文所述方法中的任一种方法的操作的装置。
附图说明
[0005]为了更好地理解各种所述具体实施，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
[0006]图1是根据一些具体实施的便携式多功能设备的示例的框图。
[0007]图2A至图2M是根据一些具体实施的显示指示物理对象的遮挡部分的对象指示符的电子设备的示例。
[0008]图3是根据一些具体实施的生成和显示对应于物理对象的遮挡部分的网格的系统的框图的示例。
[0009]图4是根据一些具体实施的显示指示物理对象的遮挡部分的对象指示符的方法的流程图的示例。
具体实施方式
[0010]在一些情况下，设备在显示器上显示遮挡(例如，挡住不让查看)物理(例如，真实世界)对象的至少第一部分的计算机生成的内容。物理对象可能是设备的用户感兴趣的。例如，物理对象是物理代理，例如行走通过用户的物理环境的个体。在计算机生成的内容不遮挡物理对象的第二部分的情况下，用户可以在显示器上查看第二部分并且因此注意到遮挡。因此，用户可以重新定位计算机生成的内容以便使物理对象的更多可查看。例如，用户可以消除(例如，关闭)菜单界面或将虚拟显示画面移动到操作环境内的不同位置。设备利用计算资源来重新定位计算机生成的内容。附加地或另选地，用户可以重新定位设备(例如，相对于物理环境重新定位或重新定向设备)，因此设备具有包括物理对象的更多部分的更新的查看区域。设备利用与基于设备的重新定位获得和处理位置传感器数据相关联的附加计算资源。此外，在用户的情况下，计算机生成的内容遮挡整个物理对象，用户体验退化，因为用户完全不知道物理对象的存在。
[0011]相比之下，各种具体实施包括用于显示指示由计算机生成的内容遮挡的物理代理的一部分的对象指示符的方法、系统和电子设备。为此，电子设备基于环境数据(例如图像数据、深度数据和环境光数据的组合)的函数确定与物理对象相关联的多个位置值。在显示计算机生成的内容时，电子设备基于多个位置值识别满足相对于物理对象的对应部分的遮挡准则的计算机生成的内容的一部分。例如，计算机生成的内容至少部分地与显示器上的物理对象重叠。作为另一示例，物理对象与大于与计算机生成的内容相关联的第一深度值的一个或多个深度值相关联。电子设备显示指示物理对象的对应部分的对象指示符。对象指示符与计算机生成的内容的部分重叠。在一些具体实施中，电子设备基于与物理对象相关联的语义值显示对象指示符，例如当语义值指示物理代理(例如，人、动物或机器人)或预定义(例如，用户定义)对象时。例如，电子设备包括图像传感器，该图像传感器捕获表示物理对象的图像数据，并且电子设备相对于图像数据执行语义分割以便语义地识别“人”。
[0012]在一些具体实施中，电子设备基于多个位置值生成与物理对象相关联的网格，并且电子设备将网格显示为对象指示符。例如，网格是基于与物理对象相关联的深度值的体积(例如，三维(3D))网格，其中深度值在来自深度传感器的深度数据内指示。在一些具体实施中，电子设备将网格存储在电子设备的非暂态存储器(例如，缓冲器)中。电子设备可以从非暂态存储器检索网格，以便将网格与环境数据的对应部分合成。换句话说，电子设备利用公共存储器在网格生成期间存储网格并用于在合成期间检索网格。因此，与在网格生成期间将网格存储在第一存储器中相比，电子设备以较少的延迟合成网格，并且同时使用较少的计算资源，将网格从第一存储器复制到第二存储器，并在合成期间从第二存储器检索网格。
[0013]具体实施方式
[0014]现在将详细地参考具体实施，这些具体实施的实施例在附图中示出。下面的详细
描述中示出许多具体细节，以便提供对各种所描述的具体实施的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的具体实施可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使具体实施的各个方面晦涩难懂。
[0015]还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的具体实施的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。
[0016]在本文中对各种所述具体实施的描述中所使用的术语只是为了描述特定具体实施的目的，而并非旨在进行限制。如在对各种所述具体实施的描述中和所附权利要求书中所使用的那样，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在包括一个或多个处理器、非暂态存储器、一个或多个环境传感器和显示器的电子设备处：在所述显示器上显示计算机生成的内容；基于来自所述一个或多个环境传感器的环境数据，确定与物理对象相关联的第一位置值；基于所述第一位置值，识别所述计算机生成的内容中的相对于所述物理对象的对应部分满足遮挡准则的一部分；以及响应于识别出所述遮挡准则被满足：基于所述第一位置值，生成与所述物理对象相关联的网格；以及在所述显示器上显示所述网格，其中所述网格与所述计算机生成的内容的所述一部分重叠。2.根据权利要求1所述的方法，其中，显示所述网格对应于增加与所述计算机生成的内容的所述一部分相关联的透明度特性。3.根据权利要求1所述的方法，其中，所述网格指示与所述物理对象相关联的阴影。4.根据权利要求1所述的方法，所述方法还包括将所述网格存储在所述非暂态存储器中，其中显示所述网格包括使所述网格与所述环境数据中的与所述物理对象相关联的一部分合成，并且其中所述合成包括从所述非暂态存储器检索所述网格。5.根据权利要求1所述的方法，还包括基于所述环境数据确定与所述物理对象相关联的多个位置值，其中，所述多个位置值包括所述第一位置值，并且其中生成所述网格是基于所述多个位置值的。6.根据权利要求5所述的方法，其中，识别出所述遮挡准则被满足包括：基于所述多个位置值的至少一部分，确定所述计算机生成的内容的所述一部分至少部分地与所述物理对象的所述对应部分在所述显示器上重叠；以及基于所述多个位置值的至少一部分，确定所述计算机生成的内容的所述一部分与相应深度值相关联，所述相应深度值小于与所述物理对象相关联的相应深度值。7.根据权利要求5所述的方法，其中，所述一个或多个环境传感器包括输出深度数据的深度传感器，其中所述多个位置值包括多个基于所述深度数据的深度值，所述深度值表征物理代理，并且其中所述网格对应于基于所述多个深度值的体积网格。8.根据权利要求1所述的方法，其中，识别出所述遮挡准则被满足包括确定所述计算机生成的内容的所述一部分与超过阈值的不透明度特性相关联。9.根据权利要求1所述的方法，还包括：基于所述环境数据，获得与所述物理对象相关联的语义值；以及确定所述语义值满足对象准则；其中生成所述网格进一步响应于确定所述语义值满足所述对象准则。10.根据权利要求9所述的方法，其中，当所述语义值指示物理代理时，所述语义值满足所述对象准则。11.根据权利要求9所述的方法，其中，当所述语义值指示预定义对象类型时，所述语义值满足所述对象准则。
12.根据权利要求1所述的方法，其中，所述物理对象对应于物理代理，所述方法还包括基于所述环境数据，确定与所述物理代理相关联的位姿特...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：苹果公司，
类型：发明
国别省市：