基于用户的眼睛行为来引导虚拟代理制造技术

本公开涉及基于用户的眼睛行为来引导虚拟代理。根据各种具体实施，在包括一个或多个处理器、非暂态存储器和显示器的电子设备处执行一种方法。该方法包括在该显示器上显示与第一视见平截头体相关联的虚拟代理。该第一视见平截头体包括与用户相关联的用户化身，并且该用户化身包括一只或多只眼睛的视觉表示。该方法包括，在显示与该第一视见平截头体相关联的该虚拟代理时，获得指示与该用户的眼睛相关联的眼睛行为的眼睛跟踪数据，基于该眼睛行为来更新一只或多只眼睛的该视觉表示，以及基于该更新和与该电子设备相关联的场景信息来引导该虚拟代理执行动作。该虚拟代理执行动作。该虚拟代理执行动作。

【技术实现步骤摘要】
基于用户的眼睛行为来引导虚拟代理


[0001]本公开涉及虚拟代理的显示，具体地涉及基于用户的眼睛行为来控制虚拟代理。

技术介绍

[0002]在各种情况下，设备显示虚拟代理，并且设备的用户通过向设备提供用户输入来与虚拟代理进行交互。然而，用户交互通常是麻烦的，诸如当用户的手部跨环境朝向虚拟代理移动以便选择或操纵虚拟代理时。因此，用户交互可导致用户不适，从而导致设备接收不准确的用户输入并且整体上降低用户体验。此外，设备缺少用于使用户能够直观地与虚拟代理进行交互的机构。

技术实现思路

[0003]根据一些具体实施，在具有一个或多个处理器、非暂态存储器和显示器的电子设备处执行一种方法。该方法包括在显示器上显示与第一视见平截头体相关联的虚拟代理。第一视见平截头体包括与用户相关联的用户化身，并且用户化身包括一只或多只眼睛的视觉表示。该方法包括，在显示与第一视见平截头体相关联的虚拟代理时，获得指示与用户的眼睛相关联的眼睛行为的眼睛跟踪数据，基于眼睛行为来更新一只或多只眼睛的视觉表示，以及基于更新和与电子设备相关联的场景信息来引导虚拟代理执行动作。
[0004]根据一些具体实施，一种电子设备包括一个或多个处理器、非暂态存储器和显示器。一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行本文所述的方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由电子设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种方法的操作。根据一些具体实施，一种电子设备包括用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些具体实施，一种用于在电子设备中使用的信息处理装置包括用于执行或导致执行本文所述方法中的任一种方法的操作的装置。
附图说明
[0005]为了更好地理解各种所述具体实施，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
[0006]图1是根据一些具体实施的便携式多功能设备的示例的框图。
[0007]图2A至图2U是根据一些具体实施引导虚拟代理基于用户的相应的眼睛行为来执行各种动作的示例。
[0008]图3是根据一些具体实施的引导虚拟代理基于用户的眼睛行为来执行各种动作的方法的流程图的示例。
具体实施方式
[0009]在各种情况下，设备显示虚拟代理，并且设备的用户通过向设备提供用户输入来与虚拟代理进行交互。例如，设备包括跟踪用户的手部的移动的肢体跟踪器，并且设备基于该跟踪来操纵虚拟代理的显示。然而，用户交互通常是麻烦的，例如当用户的手部经过环境朝向虚拟代理移动时。因此，用户交互可导致用户身体上或其他方面的不适，例如用户的手部疲劳。用户不适通常导致用户向设备提供不准确的(例如，非预期的)输入，从而导致不反映用户意图的对虚拟代理的操纵(或缺乏操纵)。
[0010]相比之下，本文所公开的各种具体实施包括用于基于用户的眼睛行为(例如，眼睛移动)和场景信息来引导虚拟代理执行动作的方法、系统和电子设备。为此，电子设备可包括眼睛跟踪器，该眼睛跟踪器获得指示用户的眼睛行为的眼睛跟踪数据。例如，眼睛行为指示焦点位置或眼睛图案，诸如飞快扫视或微扫视移动。作为一个示例，电子设备确定用户的焦点位置(例如，注视)被引导到特定对象，并且作为响应，电子设备引导虚拟代理朝向该特定对象移动或者引导虚拟代理将其自身的注视移动到该特定对象。该动作可包括改变虚拟代理的一只或多只虚拟眼睛的外观，移动虚拟代理的身体或头部，从虚拟代理发出声音，等等。例如，眼睛行为包括从第一焦点位置到第二焦点位置的改变。因此，电子设备引导虚拟代理的虚拟眼睛改变到距第二焦点位置的距离短于阈值距离的焦点位置。场景信息的示例包括环境类型(例如，虚拟现实(VR)环境、增强现实(AR)环境、混合现实(MR)环境)、场景氛围(例如，黑暗且安静的房间)、关于场景内的对象的信息、场景位置(例如，室外与室内)，等等。
[0011]具体实施方式
[0012]现在将详细地参考具体实施，这些具体实施的实施例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的具体实施的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的具体实施可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使具体实施的各个方面晦涩难懂。
[0013]还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的具体实施的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。
[0014]在本文中对各种所述具体实施的描述中所使用的术语只是为了描述特定具体实施的目的，而并非旨在进行限制。如在对各种所述具体实施的描述中和所附权利要求书中所使用的那样，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
[0015]如本文中所使用，根据上下文，术语“如果”任选地被解释为意指“当
……
时”或
“
在
……
时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定
……”
或“如果检测到[所陈述的条件或事件]”任选地被解释为意指“在确定
……
时”或“响应于确定
……”
或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
[0016]物理环境是指人们在没有电子设备帮助的情况下能够对其感测和/或与其交互的物理世界。物理环境可包括物理特征，诸如物理表面或物理对象。例如，物理环境对应于包括物理树木、物理建筑物和物理人的物理公园。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。相反，扩展现实(XR)环境是指人们经由电子设备感测和/或交互的完全或部分模拟的环境。例如，XR环境可包括增强现实(AR)内容、混合现实(MR)内容、虚拟现实(VR)内容等。在XR系统的情况下，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR系统中模拟的一个或多个虚拟对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在包括一个或多个处理器、非暂态存储器和显示器的电子设备处：当在所述显示器上显示与第一视见平截头体相关联的虚拟代理时，所述第一视见平截头体包括与用户相关联的用户化身，并且所述用户化身包括一只或多只眼睛的视觉表示：获得指示与所述用户的眼睛相关联的眼睛行为的眼睛跟踪数据；基于所述眼睛行为来更新一只或多只眼睛的所述视觉表示；以及引导所述虚拟代理基于所述更新和与所述电子设备相关联的场景信息来执行第一动作。2.根据权利要求1所述的方法，其中所述眼睛行为包括所述用户的所述眼睛从第一焦点位置到第二焦点位置的移动。3.根据权利要求2所述的方法，其中所述移动包括飞快扫视。4.根据权利要求3所述的方法，其中所述飞快扫视被引导到感兴趣的对象。5.根据权利要求2所述的方法，其中引导所述虚拟代理执行所述第一动作是响应于检测到所述眼睛的所述移动，所述方法还包括：检测所述用户的所述眼睛将焦点保持在所述第二焦点位置至少阈值持续时间；以及响应于检测到所述用户的所述眼睛将所述焦点保持至少所述阈值持续时间，引导所述虚拟代理执行不同于所述第一动作的第二动作。6.根据权利要求1所述的方法，其中所述虚拟代理包括一只或多只虚拟眼睛，并且其中所述第一动作包括基于所述眼睛行为来改变所述一只或多只虚拟眼睛的外观。7.根据权利要求6所述的方法，其中改变所述一只或多只虚拟眼睛的所述外观包括基于所述用户的所述眼睛的移动来改变所述一只或多只虚拟眼睛的移动，其中，在所述一只或多只虚拟眼睛的所述移动之后，所述虚拟代理与不同于所述第一视见平截头体的第二视见平截头体相关联。8.根据权利要求6所述的方法，其中所述眼睛行为包括从第一焦点位置到第二焦点位置的改变，其中所述第一动作包括将所述一只或多只虚拟眼睛从第三焦点位置改变到第四焦点位置，并且其中所述第四焦点位置满足相对于所述第二焦点位置的接近度阈值。9.根据权利要求1所述的方法，其中所述第一动作包括所述虚拟代理从操作环境内的第一位置到所述操作环境内的第二位置的移动。10.根据权利要求1所述的方法，其中所述第一动作包括所述虚拟代理的头部姿态改变。11.根据权利要求1所述的方法，其中所述第一动作包括所述虚拟代理发出可听见的声音。12.根据权利要求1所述的方法，其中：当所述场景信息指示第一环境类型时，所述第一动作对应于第一动作类型；并且当所述场景信息指示不同于所述第一环境类型的第二环境类型时，所述第一动作对应于第二动作类型，其中所述第二动作类型不同于所述第...

【专利技术属性】
技术研发人员：乔木，M，
申请(专利权)人：苹果公司，
类型：发明
国别省市：