用于与所识别的对象相关联地呈现合成现实内容的方法和设备技术

本发明专利技术涉及一种方法，在一个具体实施中，所述方法包括：从图像传感器获取图像数据；识别所述图像数据内的对象的一部分；获取与所述对象的所述部分相关联的合成现实(SR)内容，诸如混合现实、增强现实、增强虚拟或虚拟现实内容；以及与所述对象的所述部分相关联地显示所述SR内容。在一些具体实施中，所述SR内容取决于电子设备或用户相对于所述对象的取向。在一些具体实施中，基于与所述对象相关联的传感器数据来生成所述SR内容。

【技术实现步骤摘要】
【国外来华专利技术】用于与所识别的对象相关联地呈现合成现实内容的方法和设备
本公开整体涉及合成现实(SR)内容消费，并且具体地涉及用于与所识别的对象相关联地呈现SR内容的系统、方法和设备。
技术介绍
虚拟现实(VR)和增强现实(AR)由于其改变用户对世界的感知的非凡能力而变得越来越流行。例如，VR和AR用于学习目的、游戏目的、内容创建目的、社交媒体和交互目的等。这些技术在用户对他/她的存在的感知上有所不同。VR将用户转置到虚拟空间中，使得他/她的VR感知不同于他/她的真实世界感知。相比之下，AR呈现用户的真实世界感知并向其添加一些东西。由于例如硬件部件的小型化、硬件性能的提升以及软件效率的提高，这些技术变得越来越普遍。作为一个示例，用户可在手持式显示器(例如，具有视频透传的支持AR的移动电话或平板电脑)上体验叠加在用户环境的实时视频馈送上的AR内容。又如，用户可通过佩戴头戴式设备(HMD)或头戴式壳体(例如，具有光学透视的眼镜)来体验AR内容，该头戴式设备或头戴式壳体仍然允许用户看到他/她的周围环境。再如，用户可通过使用包围用户的视场并连接到计算机的HMD来体验VR内容。附图说明因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。图1A是根据一些具体实施的示例性操作架构的框图。图1B是根据一些具体实施的另一个示例性操作架构的框图。图2是根据一些具体实施的示例性控制器的框图。图3是根据一些具体实施的示例性头戴式设备(HMD)的框图。图4是根据一些具体实施的示例性任选显示设备的框图。图5A至图5B示出了根据一些具体实施的示例性合成现实(SR)呈现情境。图6A至图6B示出了根据一些具体实施的示例性SR呈现情境。图7示出了根据一些具体实施的示例性SR呈现情境。图8是根据一些具体实施的与所识别的对象相关联地呈现SR内容的方法的流程图表示。根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
技术实现思路
本文所公开的各种具体实施包括用于与所识别的对象相关联地呈现合成现实(SR)内容的设备、系统和方法。根据一些具体实施，所述方法在包括非暂态存储器和与所述非暂态存储器耦接的一个或多个处理器的设备处执行。所述方法包括：从图像传感器获取图像数据；识别所述图像数据内的对象的一部分；获取与所述对象的所述部分相关联的SR内容；以及与所述对象的所述部分相关联地显示所述SR内容。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。具体实施方式描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。物理环境是指无需电子系统帮助个体就能够感知和/或个体能够交互的世界。物理环境(例如，物理森林)包括物理元素(例如，物理树、物理结构和物理动物)。个体可直接与物理环境相互作用和/或感知物理环境，诸如通过触摸、视觉、嗅觉、听觉和味觉。相比之下，合成现实(SR)环境是指经由电子系统个体能够感知和/或个体能够与之交互的完全或部分由计算机创建的环境。在SR中，监测个体移动的子集，并且响应于此，以符合一个或多个物理定律的方式使SR环境中的一个或多个虚拟对象的一个或多个属性变化。例如，SR系统可检测到个体向前走几步，并且响应于此，以类似于此类情景和声音在物理环境中会如何变化的方式来调节呈现给个体的图形和音频。也可响应于移动的表示(例如，音频指令)而进行对SR环境中一个或多个虚拟对象的一个或多个属性的修改。个体可使用他的任何感觉(包括触觉、嗅觉、视觉、味觉和声音)与SR对象进行交互和/或感知SR对象。例如，个体可与创建多维(例如，三维)或空间听觉环境和/或实现听觉透明性的听觉对象进行交互和/或感知听觉对象。多维或空间听觉环境为个体提供了在多维空间中对离散听觉源的感知。在具有或不具有计算机创建的音频的情况下，听觉透明性选择性地结合来自物理环境的声音。在一些SR环境中，个体可仅与听觉对象进行交互和/或仅感知听觉对象。SR的一个示例是虚拟现实(VR)。VR环境是指被设计为仅包括针对至少一种感觉的计算机创建的感官输入的模拟环境。VR环境包括个体可与之交互和/或对其进行感知的多个虚拟对象。个体可通过在计算机创建的环境内模拟个体动作的子集和/或通过对个体或其在计算机创建的环境内的存在的模拟，来与VR环境中的虚拟对象进行交互和/或感知VR环境中的虚拟对象。SR的另一个示例是混合现实(MR)。MR环境是指被设计为将计算机创建的感官输入(例如，虚拟对象)与来自物理环境的感官输入或其表示集成的模拟环境。在现实谱系上，混合现实环境介于一端的VR环境和另一端的完全物理环境之间并且不包括这些环境。在一些MR环境中，计算机创建的感官输入可以适应于来自物理环境的感官输入的变化。另外，用于呈现MR环境的一些电子系统可以监测相对于物理环境的取向和/或位置，以使虚拟对象能够与真实对象(即来自物理环境的物理元素或其表示)交互。例如，系统可监测运动，使得虚拟植物相对于物理建筑物看起来是静止的。混合现实的一个示例是增强现实(AR)。AR环境是指至少一个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，电子系统可具有不透明显示器和至少一个成像传感器，成像传感器用于捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上显示该组合。个体使用系统经由物理环境的图像或视频间接地查看物理环境，并且观察叠加在物理环境之上的虚拟对象。当系统使用一个或多个图像传感器捕获物理环境的图像，并且使用那些图像在不透明显示器上呈现AR环境时，所显示的图像被称为视频透传。另选地，用于显示AR环境的电子系统可具有透明或半透明显示器，个体可通过该显示器直接查看物理环境。该系统可在透明或半透明显示器上显示虚拟对象，使得个体使用该系统观察叠加在物理环境之上的虚拟对象。又如，系统可包括将虚拟对象投影到物理环本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在包括非暂态存储器以及与所述非暂态存储器耦接的一个或多个处理器的设备处：/n从图像传感器获取图像数据；/n识别所述图像数据内的对象的一部分；/n获取与所述对象的所述部分相关联的合成现实(SR)内容；以及/n与所述对象的所述部分相关联地显示所述SR内容。/n

【技术特征摘要】
【国外来华专利技术】20180122 US 62/620,339;20180920 US 62/734,0651.一种方法，包括：
在包括非暂态存储器以及与所述非暂态存储器耦接的一个或多个处理器的设备处：
从图像传感器获取图像数据；
识别所述图像数据内的对象的一部分；
获取与所述对象的所述部分相关联的合成现实(SR)内容；以及
与所述对象的所述部分相关联地显示所述SR内容。


2.根据权利要求1所述的方法，其中所述SR内容覆盖或叠加在所述对象的所述部分上。


3.根据权利要求1至2中任一项所述的方法，其中所述SR内容显示在所述对象的所述部分周围或附近。


4.根据权利要求1至3中任一项所述的方法，其中所述对象对应于现实生活中的对象的成比例模型或表示。


5.根据权利要求1至4中任一项所述的方法，其中从与所述对象相关联的现有SR内容的库获取所述SR内容。


6.根据权利要求5所述的方法，其中基于所述设备相对于所述对象的取向来从与所述对象相关联的现有SR内容的所述库中选择所述SR内容。


7.根据权利要求5所述的方法，其中基于所述图像数据内的所述对象的所述部分来从...

【专利技术属性】
技术研发人员：I·M·里克特，M·S·本·希玛尼，P·迈耶，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US