用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统技术方案

本公开涉及“用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统”。在一个具体实施中，在包括一个或多个处理器、非暂态存储器和一个或多个显示器的设备中执行生成链接到物品的SR表示的示能表示的方法。该方法包括识别物品；生成对应于物品的示能表示‑物品对；检测选择示能表示‑物品对的输入；以及响应于检测到选择示能表示‑物品对的用户输入，在一个或多个显示器上显示包括物品的SR表示的模拟现实(SR)环境。在一些具体实施中，该方法包括获取包括物品的图像数据帧。

The method, equipment and system for generating the indicator representation linked to the object simulation reality representation

【技术实现步骤摘要】
用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统
本公开整体涉及模拟现实(SR)，并且具体地涉及用于生成链接到SR环境中的物品的SR表示的示能表示的系统、方法和设备。
技术介绍
当用户观看包括物品的视频流时，用户不能在不使用辅助设备的情况下收集这些物品的更多信息或透视图。例如，当用户正在电视上观看篮球比赛时，用户可能会看到篮球运动员穿着用户感兴趣的特定球鞋。在该示例中，用户会使用单独的设备来访问关于用户在电视上看到的特定球鞋的更多信息。另外，当用户观看教程(例如，实时视频馈送或预先录制的视频馈送)时，由于教程中的障碍或教程中呈现的角度，用户可能无法看到如何对教程中的物品执行技术。相反，用户会从教程中推断如何在用户的现实世界物品上执行教程中的技术。附图说明因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。图1示出了根据一些具体实施，用于生成示能表示-物品对的示例性操作环境。图2A至图2F示出了根据一些具体实施，用于生成示能表示-物品对的示例性模拟现实(SR)呈现环境。图3示出了根据一些具体实施，生成示能表示-物品对的方法的流程图。图4是根据一些具体实施，用于将与第二物品的现实世界交互的指示显示为第一物品上的叠图的示例性操作环境的框图。图5示出了根据一些具体实施的一种方法的流程图，该方法获取并显示与物品的现实世界交互的指示的SR表示。图6A和图6B示出了根据一些具体实施，用于将与第二物品的现实世界交互的指示显示为第一物品上的叠图的过程。图7A至图7D示出了根据一些具体实施，用于将与第二物品的现实世界交互的指示显示为第一物品上的叠图的另一过程。图8是根据一些具体实施的示例性控制器的框图。图9是根据一些具体实施的示例性设备的框图。图10是根据一些具体实施的示例性显示设备的框图。根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
技术实现思路
本文所公开的各种具体实施包括用于生成链接到模拟现实(SR)物品的示能表示的设备、系统和方法。根据一些具体实施，在具有一个或多个处理器、非暂态存储器以及一个或多个显示器的设备处执行该方法。该方法包括识别物品。该方法还包括生成对应于物品的示能表示-物品对。该方法还包括检测选择示能表示-物品对的用户输入。该方法还包括，响应于检测到选择示能表示-物品对的用户输入，在一个或多个显示器上显示包括物品的SR表示的SR环境。在一些具体实施中，该方法包括获取包括物品的图像数据帧。本文所公开的各种具体实施包括用于将与第二物品的现实世界交互的指示显示为第一物品上的模拟现实(SR)叠图的设备、系统和方法。根据一些具体实施，在具有一个或多个处理器、非暂态存储器以及一个或多个显示器的设备处执行一种方法。该方法包括使用一个或多个显示器向第一物品的第一用户显示SR环境。该方法还包括由第二用户获取与第二物品的现实世界交互的指示。该方法还包括在一个或多个显示器上将与第二物品的现实世界交互的指示的SR表示显示为SR环境之内可见的第一物品上的叠图。根据一些具体实施，设备包括一个或多个处理器、非暂态存储器、一个或多个显示器以及一个或多个程序；一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行本文所述的方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由具有一个或多个显示器的设备的一个或多个处理器执行时，使得设备执行或导致执行本文所述的方法中的任一种方法的操作。根据一些具体实施，一种设备包括：一个或多个显示器；非暂态存储器，以及用于执行或导致执行本文所述的方法中的任一种方法的装置。具体实施方式描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。如本文所述，物理环境是指无需电子系统帮助个体就能够感觉和/或个体能够交互的世界。物理环境(例如，物理森林)包括物理元素(例如，物理树、物理结构和物理动物)。个体可直接与物理环境相互作用和/或感觉物理环境，诸如通过触摸、视觉、嗅觉、听觉和味觉。相比之下，模拟现实(SR)环境是指经由电子系统个体能够感觉和/或个体能够交互的完全或部分由计算机创建的环境。在SR中，监测个体移动的子集，并且响应于该子集，以符合一个或多个物理定律的方式更改SR环境中的一个或多个虚拟对象的一个或多个属性。例如，SR系统可检测到个体向前走几步，并且响应于此，以类似于此类情景和声音在物理环境中会如何改变的方式来调节呈现给个体的图形和音频。也可响应于移动的表示(例如，音频指令)而进行对SR环境中一个或多个虚拟对象的一个或多个属性的修改。个体可使用他的任何感觉(包括触觉、嗅觉、视觉、味觉和声音)与SR对象进行交互和/或感觉SR对象。例如，个体可与创建多维(例如，三维)或空间听觉环境和/或实现听觉透明性的听觉对象进行交互和/或感知。多维或空间的听觉环境为个体提供了在多维空间中对离散听觉源的感知。在具有或不具有计算机创建的音频的情况下，听觉透明选择性地结合来自物理环境的声音。在一些SR环境中，个体可仅与听觉对象进行交互和/或仅感知听觉对象。SR的一个示例是虚拟现实(VR)。VR环境是指被设计为仅包括针对至少一种感觉的计算机创建的感官输入的模拟环境。VR环境包括个体可与之交互和/或对其进行感知的多个虚拟对象。个体可通过在计算机创建的环境内模拟个体动作的子集和/或通过对个体或其在计算机创建的环境内的存在的模拟，来与VR环境中的虚拟对象进行交互和/或感知VR环境中的虚拟对象。SR的另一个示例是混合现实(MR)。MR环境是指被设计为将计算机创建的感官输入(例如，虚拟对象)与来自物理环境的感觉输入或其表示集成的模拟环境。在现实谱系上，混合现实环境介于一端的VR环境和另一端的完全物理环境之间并且不包括这些环境。在一些MR环境中，计算机创建的感官输入可以适应于来自物理环境的感官输入的变化。另外，用于呈现MR环境的一些电子系统可以监测相对于物理环境的取向和/或位置，以使虚拟对象能够与真实对象(即来自物理环境的物理元素或其表示)交互。例如，系统可监测运动，使得虚拟植物相对于物理建筑物看起来是静止的。混合现实的一个示例是增强现实(AR)。AR环境是指至少一个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，电子系统可具有不本文档来自技高网...

【技术保护点】
1.一种方法，所述方法包括：/n在包括一个或多个处理器、非暂态存储器以及一个或多个显示器的设备处：/n识别物品；/n生成对应于所述物品的示能表示-物品对；/n检测选择所述示能表示-物品对的输入；以及/n响应于检测到选择所述示能表示-物品对的所述输入，在所述一个或多个显示器上显示包括所述物品的SR表示的模拟现实(SR)环境。/n

【技术特征摘要】
20181204 US 62/775,0171.一种方法，所述方法包括：
在包括一个或多个处理器、非暂态存储器以及一个或多个显示器的设备处：
识别物品；
生成对应于所述物品的示能表示-物品对；
检测选择所述示能表示-物品对的输入；以及
响应于检测到选择所述示能表示-物品对的所述输入，在所述一个或多个显示器上显示包括所述物品的SR表示的模拟现实(SR)环境。


2.根据权利要求1所述的方法，还包括：
获取包括所述物品的图像数据帧。


3.根据权利要求2所述的方法，其中获取所述图像数据帧包括使用所述设备的前向图像传感器来捕获所述图像数据帧。


4.根据权利要求2所述的方法，还包括：
获取对应于所述图像数据帧中的所述物品的物品清单，其中所述物品清单包括与所述物品相关联的多个物品。


5.根据权利要求2所述的方法，还包括：
通过将所述示能表示与所述图像数据帧中的所述物品的至少一部分组合，在所述一个或多个显示器上显示与所述示能表示-物品对相关联的示能表示。


6.根据权利要求2所述的方法，其中识别所述图像数据帧中的所述物品包括对所述图像数据帧执行实例分割或语义分割中的至少一者，以便识别所述图像数据帧中的所述物品。


7.根据权利要求2所述的方法，其中所述SR环境叠加在所述图像数据帧上。


8.根据权利要求2所述的方法，其中所述SR环境替换所述图像数据帧在所述一个或多个显示器上的显示。


9.根据权利要求2所述的方法，还包括：
确定所述输入对应于第一选择输入类型还是第二选择输入类型，其中所述第一选择输入类型使得从在所述设备上显示所述图像数据帧转换为在所述一个或多个显示器上显示所述SR环境，并且其中所述第二选择输入类型使得下载所述物品的所述SR表示。


10.根据权利要求1所...

【专利技术属性】
技术研发人员：A·奥泽，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US