【技术实现步骤摘要】
本公开总体上涉及网络环境内的数据库和文件管理，并且尤其涉及用于智能助理系统的硬件和软件。
技术介绍
1、助理系统可以基于以下项的组合来代表用户提供信息或服务：用户输入、位置感知和从各种在线源访问信息(例如，天气状况、交通堵塞、新闻、股票价格、用户日程、零售价格等)的能力。用户输入可以包括(尤其是在即时消息收发应用或其他应用中的)文本(例如，在线聊天)、语音、图像、动作或它们的组合。助理系统可以基于用户输入来执行礼宾型(concierge-type)服务(例如，预订晚餐、购买活动门票、做出旅行安排)或提供信息。助理系统还可以基于在线信息和活动执行管理或数据处理任务，而无需用户发起或交互。可由助理系统执行的那些任务的示例可以包括日程管理(例如，发送对用户由于交通状况而推迟晚餐日期的提示、更新双方的日程、以及改变餐厅预订时间)。该助理系统可以通过以下的组合来实现：计算设备、应用编程接口(application programming interface，api)和用户设备上的大量应用。
2、可包括社交网络网站的社交网络系统可以使其用户(例如，个人或组织)能够与该社交网络系统交互、并通过该社交网络系统彼此交互。社交网络系统可以使用来自用户的输入，在社交网络系统中创建和存储与用户相关联的用户资料。用户资料可以包括个人背景信息、通信信道信息和关于用户个人兴趣的信息。社交网络系统还可以利用来自用户的输入，来创建和存储该用户与社交网络系统中的其他用户的关系的记录，并提供促进用户之间或之中的社交互动的服务(例如，资料/新闻推送帖子、照
3、社交网络系统可以通过一个或多个网络将与其服务相关的内容或消息发送到用户的移动设备或其他计算设备。用户还可以在该用户的移动设备或其他计算设备上安装软件应用，以用于访问用户的用户资料和社交网络系统内的其他数据。社交网络系统可以生成一组个性化的内容对象(例如，与该用户有联系的其他用户的综合报道的新闻推送)以显示给用户。
技术实现思路
1、在特定实施例中，助理系统可以帮助用户获得信息或服务。助理系统可以使用户能够在有状态和多轮对话中通过各种模态(例如，音频、语音、文本、图像、视频、手势、运动、位置、朝向)的用户输入与该助理系统交互，以得到来自该助理系统的帮助。作为示例而非限制，助理系统可以支持单模态输入(例如，仅语音输入)、多模态输入(例如，语音输入和文本输入)、混合/多模态输入、或它们的任何组合。由用户提供的用户输入可以与特定的助理相关任务相关联，并且可以包括例如用户请求(例如，对信息或动作的执行的口头请求)、和与助理系统相关联的助理应用的用户交互(例如，通过触摸或手势来选择用户界面(userinterface，ui)元素)、或者可以由助理系统检测和理解的任何其他类型的合适的用户输入(例如，由用户的客户端设备检测到的用户移动)。助理系统可以创建并存储这样的用户资料：该用户资料包括与用户相关联的个人信息和上下文信息。在特定实施例中，助理系统可以使用自然语言理解(natural-language understanding，nlu)来分析用户输入。对于更个性化的和上下文感知的理解，该分析可以基于用户的用户资料。助理系统可以基于该分析来解析与用户输入相关联的实体。在特定实施例中，助理系统可以与不同的代理交互以获得与所解析的实体相关联的信息或服务。助理系统可以通过使用自然语言生成(natural-language generation，nlg)，为用户生成关于这些信息或服务的响应。通过与用户的交互，助理系统可以使用对话管理技术来管理和推进与用户的对话流。在特定实施例中，助理系统还可以通过概括信息来帮助用户有效和高效地理解所获得的信息。助理系统还可以通过提供帮助用户与在线社交网络交互(例如，创建帖子、评论、消息)的工具，来帮助用户更多地参与在线社交网络。助理系统还可以帮助用户管理不同的任务，例如保持对事件的追踪。在特定实施例中，助理系统可以在没有用户输入的情况下，在与用户相关的时间基于用户资料主动执行与用户兴趣和偏好相关的任务。在特定实施例中，助理系统可以检查隐私设置，以确保根据用户的隐私设置而允许访问用户的资料或其他用户信息、并执行不同任务。
2、在特定实施例中，助理系统可以通过被构建在客户端侧过程和服务器侧过程两者上的混合架构来帮助用户。客户端侧过程和服务器侧过程可以是用于处理用户输入和向用户提供帮助的两个并行工作流。在特定实施例中，客户端侧过程可以在与用户相关联的客户端系统上本地执行。相比之下，服务器侧过程可以在一个或多个计算系统上远程执行。在特定实施例中，客户端系统上的仲裁器可以协调接收用户输入(例如，音频信号)，确定是使用客户端侧过程、服务器侧过程还是这两者来响应该用户输入，并分析来自每个过程的处理结果。仲裁器可以基于前述分析指示客户端侧或服务器侧的代理执行与该用户输入相关联的任务。执行结果可以进一步被渲染以作为客户端系统的输出。通过利用客户端侧过程和服务器侧过程，助理系统可以有效地帮助用户优化使用计算资源，同时保护用户隐私并增强安全性。
3、在特定实施例中，助理系统可以仅通过与所渲染的扩展现实(extended-reality，xr)助理化身或其他xr对象有关的语音命令，在xr上下文(例如，ar/vr上下文)中向用户呈现不同的注意状态或注意子状态。助理系统可以使用用于xr助理化身的注意系统来传达注意状态，使得以不同的方式渲染xr助理化身以指示不同的注意状态(例如，收听、处理等)。对于多个注意状态中的每个注意状态，该注意状态可以进一步具有各种子状态，注意系统可以帮助以特定方式渲染这些子状态来区分xr助理化身正在做什么。与传达系统级注意状态(例如，指示麦克风是开启还是关闭)的传统注意系统不同，本文所公开的实施例中的注意系统可以传达指示xr助理化身或特定xr对象的注意状态/子状态的对象级注意状态/子状态。尽管本公开描述了通过特定的系统以特定的方式渲染特定的状态，但是本公开考虑了由任何合适的系统以任何合适的方式渲染任何合适的状态。
4、在特定实施例中，客户端系统可以为扩展现实(xr)显示设备的一个或多个显示器，在第一用户的视场角(field of view，fov)中的环境内渲染xr助理化身的第一输出图像。xr助理化身可以由第一用户交互以访问助理系统。xr助理化身可以具有指示第一注意状态的第一形式。在特定实施例中，第一注意状态可以指示xr助理化身是否通过一个或多个第一语音命令来交互，该一个或多个第一语音命令用于由助理系统启用的一个或多个第一功能。然后，客户端系统可以通过客户端系统检测来自第一用户的一个或多个语音输入。在特定实施例中，客户端系统可以基于一个或多个语音输入来确定与xr助理化身相关联的第二注意状态。客户端系统还可以为xr显示设备的一个或多个显示器渲染xr助理化身的第二输出图像。在特定实施例中，xr助理化身可以被变形为具有指示第二注意状态的第二形式。第二注意状态可以指示xr助理化身是否可以通过一本文档来自技高网...
【技术保护点】
1.一种方法，包括：由客户端系统：
2.根据权利要求1所述的方法，其中，所述环境是真实世界环境，并且其中，所述XR助理化身是增强现实AR渲染。
3.根据权利要求1所述的方法，其中，所述环境是虚拟现实VR环境，并且其中，所述XR助理化身是VR渲染。
4.根据权利要求1所述的方法，其中，所述XR助理化身的第一形式或第二形式基于以下中的一者或多者：所述XR助理化身的语音、声音、情绪、语气、音调、外观、大小、形状、服饰、朝向、位置、深度、运动、手势、面部表情、颜色、阴影、轮廓、亮度、发光、透明度或与所述XR助理化身相关联的图标。
5.根据权利要求1所述的方法，其中，所述XR助理化身还具有对应于所述第一注意状态的第一姿态，并且其中，所述XR助理化身还具有对应于所述第二注意状态的第二姿态。
6.根据权利要求1所述的方法，其中，渲染所述XR助理化身的所述第一输出图像或所述第二输出图像包括：将所述XR助理化身渲染为类似人类的化身。
7.根据权利要求1所述的方法，其中，渲染所述XR助理化身的所述第一输出图像或所述第二输出图像包
8.根据权利要求1所述的方法，其中，所述一个或多个第一语音命令与所述一个或多个第二语音命令相同。
9.根据权利要求1所述的方法，其中，所述一个或多个第一语音命令不同于所述一个或多个第二语音命令。
10.根据权利要求1所述的方法，其中，所述一个或多个第一语音命令和所述一个或多个第二语音命令包括一个或多个重叠的语音命令。
11.根据权利要求1所述的方法，其中，渲染具有指示所述第一注意状态的所述第一形式或指示所述第二注意状态的所述第二形式的所述XR助理化身是基于与所述助理系统相关联的软件开发工具包中指定的指令的。
12.根据权利要求1所述的方法，还包括：
13.根据权利要求1所述的方法，所述方法还包括：
14.根据权利要求1所述的方法，其中，所述一个或多个第一语音命令和所述一个或多个第二语音命令是在与所述助理系统相关联的软件开发工具包中指定的。
15.根据权利要求1所述的方法，
16.根据权利要求1所述的方法，其中，所述第一注意状态具有一个或多个第一注意子状态，并且其中，所述第二注意状态具有一个或多个第二注意子状态。
17.根据权利要求1所述的方法，其中，渲染具有指示所述第一注意状态的所述第一形式的所述XR助理化身的所述第一输出图像响应于来自所述第一用户的第一用户动作，并且其中，渲染具有指示所述第二注意状态的所述第二形式的所述XR助理化身的所述第二输出图像响应于来自所述第一用户的第二用户动作。
18.根据权利要求1所述的方法，其中，所述第一注意状态或所述第二注意状态指示以下中的一者或多者：
19.一种或多种计算机可读非暂态存储介质，包含软件，所述软件在被执行时能够操作以：
20.一种系统，包括：一个或多个处理器；以及非暂态存储器，所述非暂态存储器耦接到所述一个或多个处理器，所述非暂态存储器包括能够由所述一个或多个处理器执行的指令，所述一个或多个处理器在执行所述指令时能够操作以：
...【技术特征摘要】
1.一种方法，包括：由客户端系统：
2.根据权利要求1所述的方法，其中，所述环境是真实世界环境，并且其中，所述xr助理化身是增强现实ar渲染。
3.根据权利要求1所述的方法，其中，所述环境是虚拟现实vr环境，并且其中，所述xr助理化身是vr渲染。
4.根据权利要求1所述的方法，其中，所述xr助理化身的第一形式或第二形式基于以下中的一者或多者：所述xr助理化身的语音、声音、情绪、语气、音调、外观、大小、形状、服饰、朝向、位置、深度、运动、手势、面部表情、颜色、阴影、轮廓、亮度、发光、透明度或与所述xr助理化身相关联的图标。
5.根据权利要求1所述的方法，其中，所述xr助理化身还具有对应于所述第一注意状态的第一姿态，并且其中，所述xr助理化身还具有对应于所述第二注意状态的第二姿态。
6.根据权利要求1所述的方法，其中，渲染所述xr助理化身的所述第一输出图像或所述第二输出图像包括：将所述xr助理化身渲染为类似人类的化身。
7.根据权利要求1所述的方法，其中，渲染所述xr助理化身的所述第一输出图像或所述第二输出图像包括：将所述xr助理化身渲染为动画对象或图标。
8.根据权利要求1所述的方法，其中，所述一个或多个第一语音命令与所述一个或多个第二语音命令相同。
9.根据权利要求1所述的方法，其中，所述一个或多个第一语音命令不同于所述一个或多个第二语音命令。
10.根据权利要求1所述的方法，其中，所述一个或多个第一语音命令和所述一个或多个第二语音命令包括一个或多个重叠的语音命令。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。