用于虚拟和增强现实的系统和方法技术方案

本公开的示例描述了用于生成和显示虚拟同伴的系统和方法。在示例方法中，在第一时间经由头戴式设备上的第一传感器来接收来自用户的环境的第一输入。基于第一输入来确定环境中事件的发生。经由头戴式设备上的第二传感器接收来自用户的第二输入，并且基于第二输入来识别用户的情绪反应。确定情绪反应与事件之间的关联。在第一时间之后的第二时间，经由头戴式设备的透视显示器呈现环境的视图。通过经由透视显示器所显示的虚拟同伴在第二时间呈现刺激，其中，基于所确定的情绪反应与事件之间的关联来确定该刺激。

【技术实现步骤摘要】
【国外来华专利技术】用于虚拟和增强现实的系统和方法相关申请的交叉引用本申请要求于2018年10月9日提交的美国临时申请62/743,492的优先权，其全部内容通过引用合并于此。
本专利技术涉及移动计算系统、方法和配置，并且更具体地涉及以至少一个可用于虚拟和/或增强现实操作的可穿戴部件为特征的移动计算系统、方法和配置。
技术介绍
人工智能或“AI”的一个目标是执行人类定义的任务，但以达到或超过人类执行任务的能力的方式进行。无人驾驶汽车、音乐推荐系统、和其他复杂的计算系统可以成为AI在许多人类喜爱和享受的成功中做出巨大贡献的示例。这样的人工智能系统可被配置为模仿人脑的功能，并且经常在某些任务(例如面部识别或信息检索的某些方面，仅举一些示例)上超越人脑的性能。人工智能可以是一种计算模型，旨在实现人类可以定义为奖励的结果(其他示例包括在Jeopardy游戏或AlphaGo游戏中获胜)。这样的系统可以不是“有意识的(conscious)”或“有觉察的(aware)”；它们可以称为模式匹配机(patternmatchingmachine)。以人为中心的人工智能系统或配置可以包括大脑(brain)和头脑(mind)二者，并且可以包括捕获两者的计算模型。头脑可以是大脑和负责任的自我意识(self-awareness)的双重。头脑可以是人类的思想、感觉、记忆和/或体验的同义词，并且是人类行为的来源。通过捕获这种双重性(duality)，本文描述的实施例可以利用主题系统及其配置来使AI人性化。用著名厨师安东尼·布尔登(AnthonyBourdain)的话来形容，完美的一餐在环境中出现并留下了记忆；它通常与食物本身几乎没有关系。大脑处理食物，其余部分则由头脑负责。对于用户而言，用心的体验(mindfulexperience)可以更令人向往和难忘。
技术实现思路
本公开的示例描述了用于生成和显示虚拟同伴(virtualcompanion)的系统和方法。在示例方法中，在第一时间经由头戴式设备上的第一传感器来接收来自用户的环境的第一输入。基于第一输入来确定该环境中事件的发生。来自该用户的第二输入经由该头戴式设备上的第二传感器被接收，并且基于该第二输入来识别该用户的情绪反应。确定该情绪反应与该事件之间的关联。经由该头戴式设备的透视(see-through)显示器在该第一时间之后的第二时间呈现该环境的视图。在第二时间，通过经由该透视显示器显示的虚拟同伴来呈现刺激(stimulus)，其中，基于所确定的该情绪反应与该事件之间的关联来确定该刺激。附图说明图1示出了根据本公开的一个或多个实施例的示例计算平台。图2A-2C示出了根据本公开的一个或多个实施例的示例混合现实环境。图3A-3D示出了根据本公开的一个或多个实施例可用于生成混合现实环境并与之交互的示例混合现实系统的部件。图4A示出了根据本公开的一个或多个实施例可用于向混合现实环境提供输入的示例混合现实手持式控制器。图4B示出了根据本公开的一个或多个实施例的可以与示例混合现实系统一起使用的示例辅助单元。图5示出了根据本公开的一个或多个实施例的示例混合现实系统的示例功能框图。图6示出了根据本公开的一个或多个实施例的用于可穿戴计算的示例的以人为中心的AI配置。图7示出了根据本公开的一个或多个实施例的用于生成记忆(memory)图的示例系统。图8示出了根据本公开的一个或多个实施例的用于在混合现实环境中呈现虚拟同伴的示例系统。图9A至9J示出了根据本公开的一个或多个实施例的在混合现实环境中呈现虚拟同伴的示例。图10A至10B示出了根据本公开的一个或多个实施例的虚拟同伴的示例特征。具体实施方式在解决该以人为中心的AI挑战时，可能有许多问题和变化需要解决。例如，对于特定的人或群体，最佳体验是什么？基于通常可用的系统(例如上述包含的应用中描述的那些，或被配置用于人机交互的其他可用计算系统)和此类系统的人为使用，对此有一些现成的答案：与屏幕有关的用途，例如在二维监控器上看电视或传统计算、参与游戏、网络浏览等。这些体验在任何现代计算平台上都是预期的，包括诸如图1中所示的那些的系统。利用诸如图1所示的系统，一个人具有收集有关其周围世界的许多信息的系统，但是，而且可以更重要的是，这种系统可被配置为收集许多有关用户的信息。用户可以处于许多混合现实体验的中心，并且世界可以成为这些体验的画布(canvas)。一些最有吸引力的混合现实体验可以是其中为用户显示的内容是“智能的(intelligent)”并且基于上下文的体验。换句话说，利用这种配置，可以存在因果关系，其中，用户做某事并且该体验响应该输入。该体验中的“智能(intelligence)”不仅来自该体验本身，还可以来自平台。例如，在系统级别上具有有关该人在环境中的位置、他们被什么包围或被谁包围的某些信息/知识可以非常有用。该系统还可被配置为推断或回想有关用户的情绪和相关关联(association)的信息。该系统可被配置为收集有关谁在说话和在说什么的信息。这些可以是以人为中心的AI挑战的基本问题。在发展体验时要回答的一个重要问题可以是“我们正在努力满足什么需求？”各种答案可以包括娱乐、交流、对信息或知识的理解。这些需求中的每一个都可以受感知、感觉和思想的驱动。有很多AI表现得非常“像机器”的示例。许多人能够获取大量数据并基于该数据创建结果模型。通常人们不充分理解这是如何工作的。相反，计算机通常不“理解”人类是如何工作的。通常，AI系统可被配置为基于训练它们的数据有效地得出准确的答案。一个挑战可以是采用机器学习，再加上计算系统的丰富输出，并使用它们来满足人类在混合现实体验中的需求。可以期望这样做，使AI消失或集成到计算活动中。因此，目的是设计如下的系统：易于被人们理解，或者更好地，变得对人们透明(例如，完全集成到用户的体验中，从而使用户不会明显注意到系统的存在)，以及着重于提供总体上更好的体验。期望混合现实或增强现实的近眼显示器轻巧，成本低，具有小的外形尺寸，具有宽的虚拟图像视场并且尽可能透明。另外，在某些实施例中，期望具有在多个焦平面(例如，两个或多个)中呈现虚拟图像信息以便在不超出聚散-调节不匹配(vergence-accommodationmismatch)的可接受容差(allowance)的情况下适用于多种用例的配置。参考图1，示出了增强现实系统，其特征在于头戴式观看部件(2)、手持式控制器部件(4)、以及互连的辅助计算或控制器部件(6)，它们可被配置为作为腰包或类似物穿戴在用户上。这些部件中的每一个可以经由有线或无线通信配置(诸如由IEEE802.11、蓝牙(RTM)、和其他连接标准和配置指定的那些)可操作地耦接(10、12、14、16、17、18)到彼此以及到其他连接资源(8)(诸如云计算或云存储资源之类)。如例如在其每一个通过引用整体结合到本文中的美国专利申请序列号14/555,585、14/690,401、14/331,218、15/48本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在第一时间，经由头戴式设备上的第一传感器接收来自用户的环境的第一输入；/n基于所述第一输入，确定所述环境中事件的发生；/n经由所述头戴式设备上的第二传感器，接收来自所述用户的第二输入；/n基于所述第二输入，识别所述用户的情绪反应；/n确定所述情绪反应与所述事件之间的关联；/n在比所述第一时间晚的第二时间，通过所述头戴式设备的透视显示器呈现所述环境的视图；以及/n在所述第二时间，经由通过所述透视显示器所显示的虚拟同伴来呈现刺激，其中，基于所确定的所述情绪反应与所述事件之间的关联来确定所述刺激。/n

【技术特征摘要】
【国外来华专利技术】20181009 US 62/743,4921.一种方法，包括：
在第一时间，经由头戴式设备上的第一传感器接收来自用户的环境的第一输入；
基于所述第一输入，确定所述环境中事件的发生；
经由所述头戴式设备上的第二传感器，接收来自所述用户的第二输入；
基于所述第二输入，识别所述用户的情绪反应；
确定所述情绪反应与所述事件之间的关联；
在比所述第一时间晚的第二时间，通过所述头戴式设备的透视显示器呈现所述环境的视图；以及
在所述第二时间，经由通过所述透视显示器所显示的虚拟同伴来呈现刺激，其中，基于所确定的所述情绪反应与所述事件之间的关联来确定所述刺激。


2.根据权利要求1所述的方法，其中，所述第一输入包括物理对象的图像。


3.根据权利要求1所述的方法，其中，所述第一输入包括音频信号。


4.根据权利要求1所述的方法，其中，所述第二输入包括来自所述用户的语音，以及其中，识别所述情绪反应包括：确定所述语音的至少一部分的内容。


5.根据权利要求1所述的方法，其中，所述第二输入包括所述用户的眼睛运动，以及其中，识别所述情绪反应包括：确定所述用户的注视方向。


6.根据权利要求1所述的方法，其中，所述第二输入包括所述用户的视场，以及其中，识别所述情绪反应包括：识别所述视场内的至少一个对象。


7.根据权利要求1所述的方法，所述方法还包括确定所述情绪反应的强度，其中，所述刺激还基于所述强度来确定。


8.根据权利要求1所述的方法，其中，所述情绪反应与所述事件之间的所述关联是时间关联。


9.根据权利要求1所述的方法，其中，所述情绪反应与所述事件之间的所述关联是空间关联。


10.根据权利要求1所述的方法，其中，所述事件是第一事件，所述方法还包括将所述情绪反应与所述第一事件之间的所述关联存储在记忆图中，其中，所述记忆图包括所述第一事件与第二事件之间的关联。


11.一种系统，包括：
头戴式设备上的第一传感器；
所述头戴式设备上的第二传感器；
所述头戴式设备的透视显示器；
一个或多个处理器，其被配置为执行一种方法，所述方法包括：
在第一时间，经由所述头戴式设备上的所述第一传感器接收来自用户的环境的第一输入；
基于所述第一输入，确定所述环境中事件的发生；
经由所述头戴式设备上的所述第二传感器，接收来自所述用户的第二输入；
基于所述第二输入，识别所述用户的情绪反应；
确定所述情绪反应与所述事件之间的关联；
在比所述第一时间晚的第二时间，通过所述头戴式设备的所述透视显示器呈现所述环境的视图；以及
在所述第二时间，经由通过所述透视显示器所显示的虚拟同伴来呈现刺激，其中，基于所确定的所述情绪反应与所述事件之间的关联来确定所述刺激。


12.根据权利要求11所述的系统，其中，所述第一输入包括物理对象的图像。


13.根据权利要求11所述的系统，其中，所述第一输入包括音频信号。


14.根据权利要求11所述的系统，其中，所述第二输入包括来自所述用户的语音，以及其中，识别所述情绪反应包括：确定所述语音的至少一部分的内容。

【专利技术属性】
技术研发人员：A·拉比诺维奇，J·蒙诺什，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国;US