基于手部姿势来转录增强现实键盘输入制造技术

本公开涉及基于手部姿势来转录增强现实键盘输入。转录引擎基于使用者在打字时执行的手部姿势序列来转录从增强现实键盘接收到的输入。手部姿势发生器分析使用者打字的视频以生成手部姿势序列。转录引擎实现一组转录模型，以基于手部姿势序列生成一系列键击。该系列中的每个键击可对应于手部姿势序列中的一个或多个手部姿势。转录引擎监测使用者的行为并根据使用者的关注水平在转录模型之间进行选择。当使用者以专注的方式打字时，转录引擎可选择第一转录模型，当使用者以较不专注的会话方式打字时，则选择第二转录模型。

Transcription of augmented reality keyboard input based on hand posture

【技术实现步骤摘要】
基于手部姿势来转录增强现实键盘输入
各种实施方式大体上涉及虚拟现实和增强现实，并且更具体地，涉及基于手部姿势来转录增强现实键盘输入以提高打字准确度。
技术介绍
物理键盘包括使用者在打字时按下的许多键。当物理键盘的使用者按下特定键时，该键可以直接转录为对应的文本字符。物理键盘的键提供动觉反馈，根据该动态反馈，使用者在打字时可以变得关注。基于该动觉反馈，使用者可以高精度地键入字符串。触摸屏上显示的图形键盘包括使用者在打字时敲击的图形键。当图形键盘的使用者敲击特定图形键时，触摸屏产生的触摸事件可以直接转录为对应的文本字符。图形键盘的键不单独提供动觉反馈。因此，使用者不能基于各个键的物理感觉而变得关注键盘，并且必须仅依赖于触摸触摸屏的感觉。因此，使用者可能无法以高精度打字。为了解决这个问题，一些触摸屏装置实现了校正算法，以改善触摸事件至文本字符的转录。投射到模拟环境中的虚拟键盘和增强现实键盘不包括任何类型的物理键或物理表面。因此，这些类型的键盘不能提供动觉反馈，根据该动觉反馈，使用者可以在打字时变得关注。因此，在虚拟键盘或增强现实键盘上打字可能是非常不准确的。此外，上面结合图形键盘提到的校正算法不适用于虚拟键盘和增强现实键盘，因为这样的键盘不产生触摸事件。如前所述，本领域需要一种更有效的解决方案来转录从虚拟键盘和/或增强现实键盘接收到的输入。
技术实现思路
各种实施方式包括计算机实现的方法，包括：识别相对于增强现实键盘执行的一组手势，分析该组手势以生成手部姿势序列，选择在手部姿势序列上训练的第一转录模型，每个手部姿势序列对应于不同的文本序列，并且基于第一转录模型将手部姿势的序列转录成第一文本序列。所公开的技术的至少一个优点在于增强现实键盘的使用者可以在不依赖于动觉反馈的情况下准确地打字以在打字期间保持关注。因此，与不便于有效通信的传统的不太精确的解决方案相比，增强现实键盘的使用者可以更有效地进行通信。由于这些原因，与以低精度转录输入的现有解决方案相比，所公开的技术代表了技术进步。附图说明因此，可以详细地理解各种实施方式的上述特征的方式、可以通过参考各种实施方式来获得上面简要概述的本专利技术构思的更具体的描述，其中一些实施方式在附图中示出。然而，需指出，附图仅示出了本专利技术构思的典型实施方式，并因此不应被视为以任何方式限制范围，并且存在其他同等有效的实施方式。图1示出了被配置为实现各种实施方式的一个或多个方面的系统；图2为根据各种实施方式的用于转录增强现实键盘输入的方法步骤的流程图；图3示出了根据各种实施方式如何训练图1的第一转录模型；图4为根据各种实施方式的用于基于键击事件训练转录模型的方法步骤的流程图；图5示出了根据各种实施方式如何训练图1的第二转录模型；图6为根据各种实施方式的用于基于触摸事件训练转录模型的方法步骤的流程图；以及图7示出了根据各种实施方式的包括在图1的系统中的计算装置。具体实施方式在以下描述中，阐述了许多具体细节以提供对各种实施方式的更透彻的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一者或多者的情况下实施本专利技术构思。如上所述，虚拟键盘不提供任何动觉反馈。缺乏这种反馈阻止了虚拟键盘的使用者变得关注键盘，因此限制了使用者可以打字的准确度。因此，虚拟键盘输入通常不能以高精度转录成文本。为了解决这些问题，各种实施方式包括转录引擎，该转录引擎被配置为基于使用者在打字时执行的手部姿势序列来转录增强现实键盘输入。手部姿势发生器分析使用者打字的视频以生成手部姿势的序列。转录引擎实现一组转录模型，以基于手部姿势的序列生成一系列键击。该系列中的每个键击可以对应于手部姿势序列中的一个或多个手部姿势。转录引擎还被配置为监测使用者的行为并例如基于使用者的关注水平根据所述行为在转录模型之间进行选择。当使用者以专注的方式打字时，转录引擎可以选择第一转录模型，然后当使用者以较不专注的会话方式打字时，选择第二转录模型。本文描述的技术的至少一个优点在于增强现实键盘的使用者可以准确地打字而不依赖于动觉反馈以在打字期间保持关注。因此，与以低精度转录输入的现有解决方案相比，所公开的技术代表了技术进步。系统总览图1示出了被配置为实现各种实施方式的一个或多个方面的系统。如图所示，系统100包括联接在一起的头戴式装置110、控制台120和成像装置130。头戴式装置110为被配置为由使用者140佩戴的可穿戴装置。在一个实施方式中，头戴式装置110佩戴在使用者140的头部上。头戴式装置110包括显示器112、光学组件114、眼睛跟踪系统116和头部跟踪系统118。在一些实施方式中，头戴式装置110还可包括成像装置130。头戴式装置110被配置为将使用者140沉浸在包括虚拟场景150的虚拟现实(VR)和/或增强现实(AR)环境中。在这样做时，头戴式装置110使显示器112向使用者140发出表示虚拟场景150的光。光学组件114可以对发射的光执行各种光学调整。包括在虚拟场景中并以这种方式显示给使用者140的元素可以在本公开中被描述为“虚拟”。虚拟场景150包括增强现实键盘152和其他虚拟元素，诸如虚拟元素154和156。增强现实键盘152可以为任何虚拟装置，包括虚拟键盘、虚拟平板计算机或物理输入装置的另一虚拟化表示，例如但不限于此。使用者140通过使用手142执行打字动作来与增强现实键盘152交互。这些打字动作通常对应于使用者140执行以表达文本序列的键击。成像装置130捕获描绘这些打字动作的视频数据，并将视频数据发送到控制台120。控制台120为配置成管理头戴式装置110的操作的计算装置。控制台120可以代表头戴式装置110生成虚拟场景150并呈现该虚拟场景。控制台120包括手部姿势分类器122和转录引擎124。手部姿势分类器122包括被训练成处理人手图像并将这些图像分类为对应于特定手部姿势的神经网络。手部姿势分类器122分析由成像装置130捕获的视频数据，并且然后生成表示在打字期间使用者140的手142的配置的手部姿势序列。转录引擎124实现一组转录模型126以将手部姿势序列转录成键击事件序列。那些键击事件可以对应于使用者140打算通过打字动作或使用者140可以执行的其他手势来表达的文本序列。每个转录模型126包括神经网络，该神经网络被配置为将手部姿势的不同子序列分类为对应于特定键击事件。给定转录模型126可以包括递归神经网络、序列神经网络或被配置为处理在滑动时间窗口内发生的输入的任何其他形式的神经网络。转录引擎124被配置为根据使用者140的行为在转录模型126之间进行选择。特别地，当使用者140高度专注于在增强现实键盘152上打字时，转录引擎124可以实施转录模型126(0)以将手部姿势转录成键击，并且最终转录成文本。另选地，当使用者140不太专注于在增强现实键盘152上打字时，转录引擎124可以实施转录模型126(1)以将手部姿势转录成键击，并且转录成对应的文本。在一个实施方式中，转录引擎124可以基于所确定的与使用者140相关联的关注度来组合转录模型126(0)和126(1)，以便执行转录。使用不同的训练过程来训练转录模型126(0)和126(1)，该训练过程分别在下面结合图3至图4和图5至图6更详细本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：识别对增强现实键盘执行的一组手势；分析所述一组手势以生成手部姿势序列；选择在分别对应于不同的文本序列的手部姿势序列上训练的第一转录模型；以及基于所述第一转录模型将手部姿势序列转录成第一文本序列。

【技术特征摘要】
2018.04.04 US 15/945,7191.一种计算机实现的方法，包括：识别对增强现实键盘执行的一组手势；分析所述一组手势以生成手部姿势序列；选择在分别对应于不同的文本序列的手部姿势序列上训练的第一转录模型；以及基于所述第一转录模型将手部姿势序列转录成第一文本序列。2.根据权利要求1所述的计算机实现的方法，还包括：生成包括描绘所述一组手势的视频的第一数据。3.根据权利要求1所述的计算机实现的方法，其中，所述增强现实键盘包括在虚拟环境中。4.根据权利要求1所述的计算机实现的方法，还包括：基于第一训练数据训练所述第一转录模型，所述第一训练数据基于当使用者在显示图形键盘的表面上打字时执行的第一组手势而生成。5.根据权利要求4所述的计算机实现的方法，还包括：通过捕获对应于与所述图形键盘相关联的按键事件序列的触摸事件序列来生成所述第一训练数据。6.根据权利要求1所述的计算机实现的方法，还包括：基于第一训练数据训练所述第一转录模型，所述第一训练数据基于当使用者在不显示图形键盘的表面上打字时执行的第一组手势而生成。7.根据权利要求6所述的计算机实现的方法，还包括：通过捕获当使用者在所述表面上打字时的触摸事件序列、并且基于所述触摸事件序列和测试序列生成按键事件序列，来生成所述第一训练数据。8.根据权利要求7所述的计算机实现的方法，还包括：生成包括在所述按键事件序列中的第一按键事件，所述第一按键事件对应于包括在所述触摸事件序列中的第一触摸事件和包括在所述测试序列中的第一字符。9.根据权利要求1所述的计算机实现的方法，还包括：确定执行所述一组手势时的关注程度；以及基于所述关注程度从多个转录模型中选择所述第一转录模型。10.根据权利要求9所述的计算机实现的方法，还包括：生成指示使用者在执行所述一组手势时面向的方向的第一数据，其中，确定所述关注程度包括将所述使用者面向的方向与所述增强现实键盘所在的方向进行比较。11.根据权利要求9所述的计算机实现的方法，还包括：生成指示使用者在执行所述一组手势时注视的方向的第一数据，其中，确定所述关注程度包括将所述使用者的注视方向与所述增强现实键盘所在的方向进行比较。12.根据权利要求9所述的计算机实现的方法...

【专利技术属性】
技术研发人员：马克·A·理查森，罗伯特·Y·王，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国,US