环境增强语言辅导制造技术

本公开涉及环境增强语言辅导。促进在扩展现实(XR)环境中学习语言的设备、系统和方法。这能够涉及识别环境中的对象或活动、识别与用户或环境相关联的上下文，以及基于对象、活动或上下文来提供语言教学内容。在一个示例中，语言教学内容提供对应于对象、活动或上下文的单独的词、短语或句子。在另一示例中，语言教学内容请求对应于对象、活动或上下文的用户交互(例如，经由测验问题或教育游戏)。上下文能够用于确定是否或如何提供语言教学内容。例如，基于用户的当前语言学习课程(例如，本周的词汇表)，能够在环境中识别对应的对象或活动以用于提供语言教学内容。用于提供语言教学内容。用于提供语言教学内容。

【技术实现步骤摘要】
环境增强语言辅导


[0001]本公开整体涉及在诸如增强现实(AR)和其他扩展现实(XR)体验的三维(3D)内容的视图中提供语言辅导的电子设备。

技术介绍

[0002]学生和所有年龄的其他人寻求学习说出、理解、书写或阅读一种或多种语言。电子设备可能不足以支持这种学习。

技术实现思路

[0003]本文所公开的各种具体实施包括促进使用可至少部分地基于周围物理环境的扩展现实(XR)环境来学习语言的设备、系统和方法。具体实施可涉及识别环境中的对象或活动、识别与用户或环境相关联的上下文，以及基于对象、活动或上下文来提供语言教学内容。在一个示例中，语言教学内容提供包括对应于对象、活动或上下文的单独的词、短语或句子的视觉或可听内容。在另一示例中，语言教学内容请求对应于对象、活动或上下文的用户交互(例如，经由测验问题或教育游戏)。上下文可用于确定是否或如何提供语言教学内容。例如，基于用户的当前语言学习课程(例如，本周的词汇表)，可以在环境中识别对应的对象或活动以用于提供语言教学内容。语言教学内容和相关联的用户输入可以是视觉的或可听的。
[0004]在一些具体实施中，处理器通过执行存储在计算机可读介质上的指令来执行方法。该方法可以涉及在用户在包括对象或活动的物理环境中使用设备期间获取传感器数据。传感器数据可以包括经由设备上的相机(例如，经由RGB相机、LIDAR传感器、麦克风、环境光传感器等)捕获的物理环境的图像。该方法可例如使用基于计算机视觉的场景理解技术基于传感器数据来识别对象或活动。
[0005]该方法可基于物理环境或用户来识别上下文。在一个示例中，识别上下文包括基于凝视、握持、触摸等来识别用户(或其他人)对对象/活动的兴趣的指示。在另一示例中，识别上下文包括确定对象、活动或环境类型与用户的当前主题或课程(诸如本周的20个西班牙语词汇)的相关性。在另一示例中，识别上下文包括确定用户的语言水平、当前词汇量或历史，该语言水平、当前词汇量或历史例如可基于观察用户对语言的使用来确定。
[0006]该方法可以基于对象或活动以及上下文来确定在XR环境中提供语言教学内容，并且向用户提供包括语言教学内容的XR环境。可以使用其他用户活动或计划(例如，用户是正在工作还是社交)来确定当前时间和位置(例如，在当前XR环境中)是否是语言指令所期望的。可确定语言教学内容的位置(例如，该语言教学内容的相对于XR环境中的其他内容的3D位置)以促进语言学习。例如，这种语言学习内容可以在空间上定位在与该语言学习内容相关的对象或活动附近。
[0007]根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器
执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
附图说明
[0008]因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
[0009]图1示出了根据一些具体实施的在物理环境中操作的示例性电子设备的示例性上下文。
[0010]图2A至图2C示出了根据一些具体实施的由图1的电子设备提供的语言学习内容的描绘。
[0011]图3示出了根据一些具体实施的在物理环境中操作的电子设备的另一示例性上下文。
[0012]图4A至图4C示出了根据一些具体实施的由图3的电子设备提供的语言学习内容的描绘。
[0013]图5是示出根据一些具体实施的用于提供促进语言学习的内容的方法的流程图。
[0014]图6是根据一些具体实施的电子设备的框图。
[0015]根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
[0016]描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
[0017]图1示出了在物理环境100中操作的示例性电子设备110。在图1的此示例中，物理环境100是包括地板、电视120、沙发130、另一个人115和球140等的房间。电子设备110包括一个或多个相机、麦克风、深度传感器、运动传感器，或可用于捕获关于和评估物理环境100和该物理环境内的对象的信息以及关于电子设备110的用户105的信息的其他传感器。关于物理环境100或用户105的信息可用于提供促进学习一种或多种语言的视觉或音频内容。电子设备110可以(但不一定)涉及提供扩展现实(XR)环境。
[0018]图2A至图2C示出了由图1的电子设备提供的语言学习内容的描绘。
[0019]图2A示出了XR环境的视图，该XR环境包括图1的物理环境100的描绘以及旨在促进学习西班牙语的各方面的虚拟内容。在此示例中，XR环境包括图1的物理环境100的各方面的描绘，例如包括另一个人115的描绘215、沙发130的描绘230，以及球140的描绘240。在此
示例中，XR环境还包括旨在促进学习西班牙语的视觉和可听虚拟内容。具体地，XR环境包括文本气泡250，该文本气泡具有西班牙语短语“est
á
haciendo rebotar la pelota”(他正在拍球)和可听地呈现同一短语(“est
á
haciendo rebotar la pelota”)的音频(由音频图形260表示)。用户105因此在基于该环境的XR体验的上下文中体验与用户的真实世界环境相关的语言指令。
[0020]为了提供图2A中示出的语言指令，设备110可以经由一个或多个传感器获得关于物理环境100的信息。作为示例，由图像传感器捕获的图像、由深度传感器捕获的深度传感器数据、由环境光传感器捕获的环境光、由运动传感器捕获的运动数据以及由麦克风捕获的声音可用于辨识物理环境或活动(例如，球弹跳、人接触弹跳的球等)中的一或多个对象(例如，人115、球140等)。设备110可以生成物理环境的3D表示或者确定对象在物理环境内相对于3D坐标系的位置，以促进提供其中虚拟内容相对于同一3D坐标系定位在3D位置处的XR环境。
[0021]设备110可使用关于物理环境和该物理环境内的对象的信息或关于用户105的信息(例如，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，所述方法包括：在具有处理器和一个或多个传感器的设备处：经由所述一个或多个传感器获得物理环境中的传感器数据；基于所述传感器数据来识别所述物理环境中的对象或活动；识别所述设备的用户的当前上下文；并且根据确定所述对象或活动满足相对于所述用户的学习目标的相关性准则并且所述当前上下文满足可用性准则：提供用于所述对象或活动的语言教学内容。2.根据权利要求1所述的方法，其中所述传感器数据包括所述物理环境的图像或所述物理环境的音频。3.根据权利要求1所述的方法，其中提供用于所述对象或活动的语言教学内容包括基于所述对象或活动的位置在扩展现实(XR)环境内定位所述语言教学内容。4.根据权利要求1所述的方法，所述方法还包括：根据所述确定所述对象或活动满足相对于所述用户的所述学习目标的所述相关性准则并且所述当前上下文满足所述可用性准则，基于用户水平或用户历史来获得用于所述对象或活动的所述语言教学内容，所述用户水平或用户历史是基于观察所述用户对语言的使用来确定的。5.根据权利要求1所述的方法，所述方法还包括：根据确定所述对象或活动不满足相对于所述用户的所述学习目标的所述相关性准则或者所述当前上下文不满足所述可用性准则，放弃提供所述语言教学内容。6.根据权利要求1所述的方法，其中所述教学内容包括提示所述用户通过说出词或短语来提供响应，其中所述方法还包括：基于对所述提示的响应来确定用户水平；在所述提供所述语言教学内容之后检测所述对象或活动的重新出现；以及基于检测到所述对象或活动的所述重新出现以及所确定的用户水平，提供与所述语言教学内容不同的第二语言教学内容。7.根据权利要求1所述的方法，其中所述对象或活动满足所述相关性准则基于确定存在对所述对象或所述活动感兴趣的指示，其中确定存在对所述对象或所述活动感兴趣的所述指示基于确定：所述用户的凝视对应于所述对象或活动，或者所述用户已经接触所述对象。8.根据权利要求1所述的方法，其中所述对象或活动满足所述相关性准则基于确定所述对象、所述活动或所述物理环境的类型与课程主题相关。9.一种系统，所述系统包括：非暂态计算机可读存储介质；以及一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行包括以下操作的操作：经由所述一个或多个传感器获得物理环境中的传感器数据；基于所述传感器数据来识别所述物理环境中的对象或活动；
识别所述设备的用户的当前上下文；以及根据确定所述对象或活动满足相对于所述用户的学习目标的相关性准则并且所述当前上下文满足可用性准则：提供用于所述对象或活动的语言教学内容。10.根据权利要求9所述的系统，其中所述传感器数据包括所述物理环境的图像或所述物理环境的音频。11.根据权利要求9所述的系统，其中提供用于所述对象或活动的语言教学内容包括基于所述对象或活动的位置在扩展现实(XR)环境内定位所述语言教学内容。12.根据权利要求9所述的系统，其中所述操作还包括：根据所述确定所述对象或活动满足相对于所述用户的所述学习目标的所述相关性准则并且所述当前上下文满足所述可用性准则，基于用户水平或用户历史来获得用于所述对象或活动的所述语言教学内容，所述用户水平或用户历史是基于观察所述用户对语言的使用来确定的。13.根据权利要求9所述...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：苹果公司，
类型：发明
国别省市：