实体对象与虚拟对象的增强现实绑定制造技术

公开了实体对象与虚拟对象的增强现实绑定。提供了用于生成虚拟绑定的系统、装置和用于管理数据存储的计算机可读介质。在实施例中，用户可执行一个或多个姿势和/或话音命令，以创建与实体对象的虚拟绑定，其中，所创建的虚拟绑定可基于实体对象的属性来呈现属性并创建/执行动作。投影设备可识别实体对象并且响应于不同的用户姿势和/或话音命令而使得绑定和/或所投射的虚拟对象执行各种动作。另外，系统可响应于用户姿势/话音命令而指示一些实体对象(例如，机器人、机电设备等)，以使得这些实体设备执行各种动作。描述和/或要求保护其他实施例。

Augmented Reality Binding of Entity Objects and Virtual Objects

【技术实现步骤摘要】
实体对象与虚拟对象的增强现实绑定
本公开涉及增强现实系统和设备领域，并且具体而言，涉及用于创建和管理增强现实对象与实体对象之间的虚拟绑定的装置、方法和存储介质。
技术介绍
本文中所提供的背景描述是出于总体上呈现本公开的上下文的目的。除非在本文中另有指示，否则本部分中描述的材料不是本申请中的权利要求的现有技术，并且不因为包含在本部分中而被承认为现有技术。增强现实(AR)系统包括利用计算机生成的感官输入(诸如声音、视频、图形、触觉反馈等)来增强用户对物理(即“现实世界”)环境的观看的设备。现有AR系统不提供将实体对象与计算机生成的感官输入附连或关联的机制。附图说明所包括的附图是为了说明的目的并且用于提供针对所公开的实施例的可能的结构和操作的示例。在不背离所公开的概念的精神和范围的情况下，附图决不限制可由本领域技术人员作出的形式上和细节上的任何改变。图1图示出可在其中实施各实施例的环境。图2图示出根据各实施例所述的计算机设备的示例实现方式。图3图示出非瞬态计算机可读存储介质的示例，该非瞬态计算机可读存储介质可适合用于存储指令，这些指令响应于由装置对这些指令的执行而使得该装置实施本公开的所选择的方面。图4图示出根据各实施例所述的示例过程。图5图示出根据各实施例所述的另一示例过程。图6-图7图示出根据各实施例所述的与实体对象的用户交互的示例。图8图示出根据各实施例所述的与仪器对象的用户交互的示例。具体实施方式所公开的实施例涉及用于与增强现实进行交互的用户交互设备，并且更具体地，涉及允许用户与用户域(即，“现实世界”)中的虚拟对象进行交互的技术。当前可用的增强现实系统可允许用户与显示在显示设备(例如，电视、平板计算机等)上的虚拟对象进行交互，在这些系统中，用户可通过执行由运动捕捉设备捕捉的各种姿势来与虚拟对象进行交互。在实施例中，用户可执行一个或多个姿势以创建与现实(实体)对象的虚拟绑定，其中，所创建的虚拟绑定可基于现实对象呈现属性并创建/执行动作。投影设备可识别现实(实体)对象并且响应于不同的用户姿势和/或话音命令而使得绑定和/或所投射的虚拟对象执行各种动作。另外，系统可响应于用户姿势/话音命令而向仪器实体对象(例如，机器人、机电设备等)发送指令以使得那些实体设备执行各种动作。下列具体实施方式参考了所附的附图。可在不同附图中使用相同的附图标记来标识相同的或类似的元素。在下列描述中，出于解释而非限制的目的，阐述了诸如特定结构、架构、接口、技术等之类具体细节，以便提供对所要求保护的专利技术的各方面的透彻理解。然而，对受益于本公开的本领域技术人员将显而易见的是，可在脱离这些具体细节的其他示例中实施的所要求保护的专利技术的各方面。在某些实例中，省略了对公知的设备、电路和方法的描述，以免因不必要的细节而使本专利技术的描述模糊。将使用本领域技术人员所通常采用的术语来描述说明性实施例的各方面，以将他们工作的实质内容传达给本领域的其他技术人员。然而，对本领域技术人员将显而易见的是，可仅利用所描述方面中的一些来实施替代实施例。出于解释的目的，阐述了具体的数量、材料以及配置，以便提供对说明性实施例的透彻理解。然而，对本领域技术人员将显而易见的是，可在没有这些具体细节的情况下实施替代实施例。在其他实例中，省略或简化了公知的特征以免使说明性实施例模糊。进一步地，各操作将被描述为多个分立的操作，进而将以最有助于理解说明性实施例的方式描述这些操作；然而，描述的次序不应当被解释为暗示这些操作必然依赖于次序。具体而言，这些操作不必以展示的次序执行。短语“在各实施例中”、“在一些实施例中”以及类似的短语被反复使用。该短语一般不指代相同的实施例；然而，它可以指代相同实施例。术语“包括”、“具有”以及“包含”是同义的，除非上下文另作规定。短语“A和/或B”意指(A)、(B)或(A和B)。短语“A/B”和“A或B”意指(A)、(B)或(A和B)，类似于短语“A和/或B”。为了本公开的目的，短语“A和B中的至少一者”意指(A)、(B)或(A和B)。说明书可使用短语“在实施例中”或“在多个实施例中”、“在一些实施例中”和/或“在各实施例中”，这些短语可各自指代相同或不同实施例中的一个或多个。此外，如关于本公开的实施例所使用，术语包含“包括”、“包含”、“具有”以及类似的术语是同义的。示例实施例可被描述为被描绘为流程表、流程图、数据流程图、结构图或框图的过程。虽然流程表可将操作描述为顺序过程，但可并行、并发或同时执行这些操作中的许多操作。另外，可重新布置操作的次序。过程可能会在其操作被完成时被终止，但也可能具有未包含在(多个)示图中的附加步骤。过程可对应于方法、函数、程序、子例程、子程序等等。当过程对应于函数时，该过程的终止可能对应于该函数返回到调用函数和/或主函数。示例实施例可在计算机可执行指令的一般上下文中被描述，该计算机可执行指令诸如，由前述电路中的一个或多个电路执行的程序代码、软件模块和/或功能过程。这些程序代码、软件模块和/或功能过程可包括执行特定任务或实现特定数据类型的例程、程序、对象、组件、数据结构等。本文中所描述的程序代码、软件模块和/或功能过程可使用现有硬件在现有通信网络中实现。例如，本文中所讨论的程序代码、软件模块和/或功能过程可使用现有硬件在现有网络元件或控制节点处实现。如本文中所使用，术语“电路”是指被配置成用于提供所描述的功能的硬件组件、是这些硬件组件的部分或者包括这些硬件组件，这些硬件组件诸如，电子电路、逻辑电路、处理器(共享的、专用的或组)和/或存储器(共享的、专用的或组)、专用集成电路(ASIC)、现场可编程器件(FPD)(例如，现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、复杂PLD(CPLD)、高容量PLD(HCPLD)、结构化ASIC、或可编程芯片上系统(SoC)、数字信号处理器(DSP)等。在一些实施例中，电路可执行一个或多个软件或固件，以提供所描述的功能中的至少一些。如本文中所使用，术语“处理器电路”可指能够顺序地且自动地执行算术或逻辑操作序列，记录、存储和/或传输数字数据的电路，“处理器电路”是此类电路的部分，或者“处理器电路”包括此类电路。术语“处理器电路”可指一个或多个应用处理器、一个或多个基带处理器、物理中央处理单元(CPU)、单核处理器、双核处理器、三核处理器、四核处理器、和/或能够执行或以其他方式操作计算机可执行指令的任何其他设备，该计算机可执行指令诸如程序代码、软件模块和/或功能过程。如本文中所使用，术语“接口电路”可指提供两个或更多个组件或设备之间的信息交换的电路、是此类电路的部分、或者包括此类电路。术语“接口电路”可指一个或多个硬件接口(例如，总线、输入/输出(I/O)接口、外围组件接口、网络接口卡和/或类似的接口)。如本文中所使用，术语“进行实例化(instantiate)”、“实例化(instantiation)”或类似术语可指对实例的创建，并且“实例(instance)”可指对象的具体发生，例如，对象可在程序代码的执行期间发生。如本文中所使用，术语“计算机设备”可描述能够顺序地且自动地执行算术或逻辑操作序列、被装备成用于将数据记录/存储在机器可读介质上并且传送和接收来自通信网本文档来自技高网...

【技术保护点】
1.一种在增强现实AR平台中采用的计算机设备，所述计算机设备包括：建模电路，用于获取来自传感器阵列的第一传感器数据，其中，所述第一传感器数据表示物理环境和所述物理环境中的实体对象，并且所述建模电路用于基于所述第一传感器数据跟踪所述物理环境中的所述实体对象；用户输入分析电路，用于从所述传感器阵列获取表示由用户执行的姿势的第二传感器数据；对象识别电路，用于标识所跟踪的实体对象；AR电路，用于基于所标识的实体对象和所述姿势来生成虚拟绑定的实例，其中，所述虚拟绑定的所述实例具有一个或多个虚拟绑定属性，所述一个或多个虚拟绑定属性影响所述虚拟绑定基于所标识的实体对象而要执行的一个或多个动作；以及接口电路，用于提供要显示的所述虚拟绑定的所述实例，以使得一旦显示所述实例则所述虚拟绑定将看起来被附连至所述实体对象或者看起来与所述实体对象进行交互。

【技术特征摘要】
2018.01.04 US 15/862,2801.一种在增强现实AR平台中采用的计算机设备，所述计算机设备包括：建模电路，用于获取来自传感器阵列的第一传感器数据，其中，所述第一传感器数据表示物理环境和所述物理环境中的实体对象，并且所述建模电路用于基于所述第一传感器数据跟踪所述物理环境中的所述实体对象；用户输入分析电路，用于从所述传感器阵列获取表示由用户执行的姿势的第二传感器数据；对象识别电路，用于标识所跟踪的实体对象；AR电路，用于基于所标识的实体对象和所述姿势来生成虚拟绑定的实例，其中，所述虚拟绑定的所述实例具有一个或多个虚拟绑定属性，所述一个或多个虚拟绑定属性影响所述虚拟绑定基于所标识的实体对象而要执行的一个或多个动作；以及接口电路，用于提供要显示的所述虚拟绑定的所述实例，以使得一旦显示所述实例则所述虚拟绑定将看起来被附连至所述实体对象或者看起来与所述实体对象进行交互。2.如权利要求1所述的计算机设备，其中，所述AR电路用于在所述姿势是用于指示对特定虚拟绑定的选择的姿势时生成所述虚拟绑定的所述实例。3.如权利要求1所述的计算机设备，其中，所述AR电路用于获取所述实体对象的一个或多个对象属性并且基于所述一个或多个对象属性来生成所述虚拟绑定的所述实例。4.如权利要求1所述的计算机设备，其中，所述实例是选择实例，并且其中：所述AR电路用于：当所述姿势是用于指示将所述虚拟绑定与所述实体对象相关联的姿势时，生成所述虚拟绑定的关联实例，以及标识所述虚拟绑定与所述实体对象的所述关联的一个或多个虚拟绑定到实体对象VB-PO属性；并且所述接口电路用于提供要显示的所述虚拟绑定的所述关联实例，其中，所述一个或多个VB-PO属性用于指示一旦显示所述关联实例、则所述虚拟绑定是将看起来被附连至所述实体对象还是看起来与所述实体对象进行交互。5.如权利要求4所述的计算机设备，其中：所述AR电路用于在所述姿势是用于操纵所述虚拟绑定的姿势时生成所述虚拟绑定的PO操纵实例；并且所述接口电路用于提供要显示的所述虚拟绑定的所述PO操纵实例，以使得所述虚拟绑定将看起来响应于所述姿势的执行而被操纵。6.如权利要求5所述的计算机设备，进一步包括：上下文电路，用于确定一个或多个上下文属性，其中，所述一个或多个上下文属性包括用户活动、语义位置、社交情况、环境状况、一个或多个电子设备的存在、日程表、以及用户通信，其中，所述AR电路用于基于所述一个或多个上下文属性来生成所述PO操纵实例。7.如权利要求1所述的计算机设备，其中，所述实例是选择实例，并且其中：所述AR电路用于：当所述姿势是用于指示选择虚拟对象VO的姿势时，生成所述VO，当所述姿势是用于指示将所述虚拟绑定与所述VO相关联的姿势时，生成所述虚拟绑定的VO实例，标识所述虚拟绑定与所述VO的所述关联的一个或多个虚拟绑定到VOVB-VO属性，以及当所述姿势是用于操纵所述虚拟绑定的姿势时，生成所述虚拟绑定的VO操纵实例；并且所述接口电路用于：提供要显示的所述VO和所述虚拟绑定的所述VO实例，其中，所述一个或多个VB-VO属性用于指示一旦显示所述VO实例和所述VO、则所述虚拟绑定是将看起来被附连至所述VO还是看起来与所述VO进行交互，以及提供要显示的所述虚拟绑定的所述VO操纵实例，以使得所述虚拟绑定将看起来响应于用于操纵所述虚拟绑定的所述姿势的执行而被操纵。8.如权利要求1-7和9中任一项所述的计算机设备，其中，所述建模电路用于生成所述物理环境的三维3D模型，并且其中，所述对象识别电路用于标识所述3D模型内的所述实体对象。9.如权利要求1所述的计算机设备，其中，所述实例是选择实例，并且其中：所述AR电路用于：当所述姿势是用于指示将所述虚拟绑定与仪器对象相关联的姿势时，生成所述虚拟绑定的仪器对象IO实例，以及标识所述虚拟绑定与所述IO的所述关联的一个或多个虚拟绑定到IOVB-IO属性；并且所述接口电路用于：使得将建立与所述仪器对象的网络连接，以及提供要显示的所述虚拟绑定的所述IO实例，其中，所述一个或多个VB-IO属性用于指示一旦显示所述IO实例、则所述虚拟绑定是将看起来被附连至所述仪器对象还是看起来与所述仪器对象进行交互。10.如权利要求9所述的计算机设备，其中：所述AR电路用于在所述姿势是用于操纵所述虚拟绑定以作用于所述仪器对象的姿势时生成所述虚拟绑定的IO操纵实例；并且所述接口电路用于：提供要显示的所述虚拟绑定的所述IO操纵实例，以使得所述虚拟绑定将看起来响应于所述姿势的执行而被操纵，以及使得消息将通过所述网络连接被传送至所述仪器对象，其中，所述指令用于指示所述仪器对象响应于对所述虚拟绑定的操纵而执行一个或多个动作。11.一种包括一个或多个处理器以及一个或多个计算机可读介质CRM的装置，所述一个或多个计算机可读介质CRM包括指令，所述指令在由计算机设备的所述一个或多个处理器执行时将使得所述计算机设备：获取来自传感器阵列的第一传感器数据，其中，所述第一传感器数据表示物理环境；基于所述第一传感器数据来检测所述物理环境中的对象；标识所述对象以及与所标识的对象相关联的对象属性；从所述传感器阵列获取表示由用户执行的姿势的第二传感器数据；基于所述第二传感器数据来标识所述姿势；响应于所述姿势的标识，基于所述对象属性来生成虚拟绑定的实例，其中，所述虚拟绑定的所述实例具有一个或多个虚拟绑定属性，所述一个或多个虚拟绑定属性影响将要由所述虚拟绑定执行的一个或多个动作；以及提供要显示的所述虚拟绑定的所述实例，以使得一旦显示所述实例则所述虚拟绑定将看起来被附连至所述对象或者看起来与所述对象进行交互。12.如权利要求11所述的装置，其中，当所述姿势是用于指示对特定虚拟绑定的选择的姿势时，所述虚拟绑定的所述实例是选择实例。13.如权利要求11所述的装置，其中，所述指令的执行将使得所述计算机设备获取与所标识的对象相关联的对象简档，从所述对象简档标识所述对象属性，并且基于所述对象属性来确定所述虚拟绑定属性。14.如权利要求11或13所述的装置，其中，所述对象是实体对象，并且所述指令的执行将使得所述计算机设备：当所述姿势是用于指示将所述虚拟绑定与所述实体对象相关联的姿势时，生成所述虚拟绑定的关联实例；标识所述虚拟绑定与所述实体对象的所述关联的一个或多个虚拟绑定到实体对象VB-PO属性；以及提供要显示的所述虚拟绑定的所述关联实例，其中，所述一个或多个VB-PO属性用于指示一旦显示所述关联实例、则所述虚拟绑定是将看起来被附连至所述实体对象还是看起来与所述实体对象进行交互。15.如权利要求14所述的装置，其中，所述指令的执行将使得所述计算机设备：当所述姿势是用于操纵所述虚拟绑定的姿势时，生成所述虚拟绑定的PO操纵实例；以及提供要显示的所述虚拟绑定的所述PO操纵实例，以使得所述虚拟绑定将看起来响应于所述姿势...

【专利技术属性】
技术研发人员：G·J·安德森，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US