用于虚拟环境中文本输入的电子系统和方法技术方案

本公开包括用于虚拟环境中文本输入的电子系统。电子系统包括至少一个手持式控制器、检测系统和文本输入处理器。所述至少一个手持式控制器包括用于检测一个或多个手势的触摸板以及用于生成对应于所述手势的电子指令的电子电路。所述检测系统用于确定所述至少一个手持式控制器的空间位置，所述检测系统包括至少一个图像传感器和计算装置，所述图像传感器用于获取所述至少一个手持式控制器的一个或多个图像，所述计算装置用于基于所获取的图像确定空间位置。文本输入处理器执行包括从至少一个手持式控制器接收电子指令并基于接收的电子指令执行文本输入操作。

【技术实现步骤摘要】
【国外来华专利技术】用于虚拟环境中文本输入的电子系统和方法
本专利技术总体上涉及虚拟现实领域。更具体而言，且非限制性地，所公开的实施例涉及用于虚拟环境中文本输入的电子系统和方法。
技术介绍
虚拟现实(VR)系统或VR应用程序创建虚拟环境，并将用户沉浸于虚拟环境，或模拟用户存在于虚拟环境中。通常，虚拟环境通过适当的虚拟现实或增强现实技术的电子设备向用户展示。例如，该电子设备可以是头戴式显示器、可穿戴耳机或透视式头盔显示器。或者，电子设备还可以是投影仪，能够将虚拟环境投射到房间的墙壁上或在一个或多个屏幕上以创建沉浸式体验。电子设备还可以是个人计算机。VR应用程序变得越来越具有交互性。在许多情况下，在虚拟环境中的某些位置输入文本数据是有效且可行的。然而，将文本数据输入到操作系统(如物理键盘或鼠标)的传统方法不适用于在虚拟环境中输入文本数据。这是因为沉浸在虚拟现实环境中的用户通常看不到自己的双手，而此时，用户的双手可能同时持有控制器，以便与虚拟环境中的对象进行交互。使用键盘或鼠标输入文本数据的方式，可能需要用户离开虚拟环境或释放控制器。因此，需要一种方法和系统，其允许在虚拟环境中进行简单且直观的文本输入，而不损害用户的并行沉浸式体验。
技术实现思路
本申请公开的实施例包括用于虚拟环境中文本输入的电子系统和方法。本示例性实施例使用手持式控制器和文本输入处理器并基于由触摸板检测到的一个或多个手势和/或手持式控制器的运动，在虚拟环境中的合适位置处输入文本。本示例性实施例的文本输入处理器能够生成虚拟文本输入界面，从而允许用户通过虚拟文本输入界面进行交互从而输入文本，进而提供简单而直观的虚拟环境中的文本输入方法，并能够改善用户体验。根据本公开的示例性实施例，提供了一种用于虚拟环境中文本输入的电子系统。电子系统包括至少一个手持式控制器、用于确定至少一个手持式控制器的空间位置和/或运动的检测系统以及用于执行操作的文本输入处理器。所述至少一个手持式控制器包括光源、用于检测一个或多个手势的触摸板以及用于生成与所述手势对应的电子指令的电子电路。检测系统包括至少一个图像传感器及计算装置，该图像传感器用于获取至少一个手持式控制器的一个或多个图像，计算装置能够基于获取的图像确定该手持式控制器的空间位置。则前述操作包括：从检测系统接收至少一个手持式控制器的空间位置和/或运动，例如旋转；基于至少一个手持式控制器的空间位置和/或运动，在虚拟环境中的坐标处生成指示符；当所述指示符与所述虚拟环境中的文本字段重叠并且在接收到来自所述至少一个手持式控制器的触发指令时，进入文本输入模式；接收来自至少一个手持式控制器的电子指令；以及在文本输入模式中基于所接收的电子指令执行文本输入操作。根据本公开的另一示例性实施例，提供了一种用于虚拟环境中文本输入的方法。该方法包括使用至少一个处理器接收至少一个手持式控制器的空间位置和/或运动。至少一个所述手持式控制器包括光源、用于检测一个或多个手势的触摸板以及用于生成对应于所述手势的一个或多个电子指令的电子电路。该方法还包括由至少一个处理器基于所接收的至少一个手持式控制器的空间位置和/或移动来在虚拟环境中的坐标处生成指示符；当所述指示符与所述虚拟环境中的文本字段或虚拟按钮(未示出)重叠，并且接收到来自所述至少一个手持式控制器的触发指令时，由所述至少一个处理器输入文本输入模式；由所述至少一个处理器从所述至少一个手持式控制器接收所述电子指令；以及，由至少一个处理器基于在文本输入模式中接收到的电子指令来执行文本输入操作。根据本公开的又一个示例性实施例，提供了一种用于虚拟环境中文本输入的方法。该方法包括：确定至少一个手持式控制器的空间位置和/或运动。所述至少一个手持式控制器包括光源，用于检测一个或多个手势的触摸板以及用于基于手势生成一个或多个电子指令的电子电路。该方法还包括基于至少一个手持式控制器的空间位置和/或运动，在虚拟环境中的坐标处生成指示符；进入准备执行文本输入操作的待机模式；在接收到来自所述至少一个手持式控制器的触发指令时，从待机模式进入文本输入模式；接收来自至少一个手持式控制器的电子指令；在文本输入模式下，基于所接收的电子指令执行文本输入操作。在此公开的主题的一个或多个变型的细节在下面和附图中阐述。从下面的详细描述，附图和权利要求中，本文公开的主题的其它特征和优点将显而易见。鉴于本文的公开，进一步的修改和替代实施例对于本领域的普通技术人员来说将是显而易见的。例如，为了操作的清楚起见，系统和方法可以包括从图和描述中省略的附加组件或步骤。因此，下面的详细描述仅被解释为说明性的，并且用于教导本领域技术人员实施本公开的一般方式。应该理解的是，这里公开的各种实施例将被视为是示例性的。一些元件和结构，以及这些元件和结构的排列，可以代替这里所示以及所公开的元件和结构，对象和步骤可以颠倒，并且本教导的某些特征可以独立使用，所有这些对于本领域技术人员而言在得益于本文公开内容后将是显而易见的。附图说明附图结合在本说明书中并构成其一部分，其示出了本公开的示例性实施例，并且与说明书一起用于解释本公开的原理。图1示出了本公开实施例提供的用于虚拟环境中文本输入的电子系统的示意图；图2A示出了本公开实施例提供的图1所示的电子系统中手持式控制器的侧视图；图2B示出了图2A所示的手持式控制器的俯视图；图3示出了图1所示的电子系统中检测系统的示意图；图4示出了图1所示的电子系统在虚拟环境中生成的文本输入界面的示意图；图5示出了由图1所示的电子系统执行的文本输入操作的一实施例的状态图；图6示出了由图1所示的电子系统执行的文本输入操作的另一实施例的状态图；图7A示出了图1所示的电子系统的文本输入界面的另一实施例的示意图；图7B示出了图1所示的电子系统的文本输入界面的又一实施例的示意图；图8示出了由图1所示的电子系统执行的文本输入操作的又一实施例的状态图；图9示出了本公开实施例提供的用于虚拟环境中文本输入的方法实施例的流程图；图10示出了图9所示的方法在字符选择模式中文本输入操作的流程图；图11示出了图9所示的方法在字符串选择模式中文本输入操作的流程图。具体实施方式本示例性实施例所示出的说明书和附图不应该被限制。在不脱离本说明书和权利要求书的范围的情况下可以做出各种机械、结构、电气和操作变化，包括等同物。两个或更多图中的类似参考数字表示相同或相似的元件。此外，参考一个实施例详细公开的元件及其相关特征，可以在任何实际情况下被包括在未具体示出或描述的其他实施例中。例如，如果参照一个实施例详细描述了元件，并且没有参照第二实施例来描述该元件，则该元件仍然可以被要求包括在第二实施例中。所公开的实施例涉及用于在由虚拟现实或增强现实技术创建的虚拟环境中进行文本输入的电子系统和方法。该虚拟环境可以通过诸如头戴式显示器(例如，可佩戴式耳机或透视头戴式显示器等)，投影仪或个人计算机之类的合适的电子装置向用户显示。本公开的实施例可以在VR系统中实现，该系统允许用户使用手持式控制器与虚拟环境交互。根据本公开的一方面，用于虚拟环境中文本输入的电子系统包括手持式控制器。该手持式控制器包括发出可见光和/或红外光的光源。例如，光源可以发射一种或多种颜色的可见光，例如红色、绿色和/或蓝色，以及红外光，例本文档来自技高网...

【技术保护点】
1.一种用于虚拟环境中文本输入的电子系统，其特征在于，包括：至少一个手持式控制器，包括光源、用于检测一个或多个手势的触摸板、以及用于生成对应于所述手势的电子指令的电子电路；检测系统，用于确定所述至少一个手持式控制器的空间位置和/或运动，所述检测系统包括至少一个用于获取所述至少一个手持式控制器的一个或多个图像的图像传感器和用于基于所获取的图像确定空间位置和/或运动的计算装置；以及文本输入处理器，用于执行以下操作：从所述检测系统接收所述至少一个手持式控制器的空间位置和/或运动，基于接收的所述至少一个手持式控制器的空间位置和/或运动，在虚拟环境中的坐标处生成指示符，当所述指示符与所述虚拟环境中的文本字段重叠并且在接收到来自所述至少一个手持式控制器的触发指令时，进入文本输入模式，接收来自所述至少一个手持式控制器的电子指令，以及在所述文本输入模式中基于所接收的电子指令执行文本输入操作。

【技术特征摘要】
【国外来华专利技术】1.一种用于虚拟环境中文本输入的电子系统，其特征在于，包括：至少一个手持式控制器，包括光源、用于检测一个或多个手势的触摸板、以及用于生成对应于所述手势的电子指令的电子电路；检测系统，用于确定所述至少一个手持式控制器的空间位置和/或运动，所述检测系统包括至少一个用于获取所述至少一个手持式控制器的一个或多个图像的图像传感器和用于基于所获取的图像确定空间位置和/或运动的计算装置；以及文本输入处理器，用于执行以下操作：从所述检测系统接收所述至少一个手持式控制器的空间位置和/或运动，基于接收的所述至少一个手持式控制器的空间位置和/或运动，在虚拟环境中的坐标处生成指示符，当所述指示符与所述虚拟环境中的文本字段重叠并且在接收到来自所述至少一个手持式控制器的触发指令时，进入文本输入模式，接收来自所述至少一个手持式控制器的电子指令，以及在所述文本输入模式中基于所接收的电子指令执行文本输入操作。2.根据权利要求1所述的电子系统，其特征在于：所述至少一个手持式控制器还包括惯性测量单元，所述惯性测量单元用于获取所述至少一个手持式控制器的运动数据；以及所述计算装置还用于基于所获取的图像和从所述至少一个手持式控制器接收的运动数据来确定所述至少一个手持式控制器的空间位置。3.根据权利要求1所述的电子系统，其特征在于，所述文本输入处理器还用于：在进入所述文本输入模式之前，进入待机模式，以准备执行文本输入操作；以及在接收到触发指令后，从所述待机模式进入所述文本输入模式，在所述文本字段中生成光标，并在所述虚拟环境中生成文本输入界面。4.根据权利要求3所述的电子系统，其特征在于，所述文本输入界面包括：包括多个虚拟键的第一虚拟界面，每个虚拟键表示一个或多个字符；显示一个或多个候选文本字符串的第二虚拟界面；以及显示一个或多个功能键的第三个虚拟界面。5.根据权利要求4所述的电子系统，其特征在于：所述至少一个手持式控制器的触摸板包括3×3的感测区域网格；所述第一虚拟界面为虚拟键盘，具有一个或多个3×3网格布局的虚拟键，当前布局的每个虚拟键与所述触摸板的感测区域对应；所述文本输入模式包括至少两种操作模式，包括字符选择模式和字符串选择模式，其中，在所述字符选择模式下，在所述触摸板的感应区域中检测到的点击或敲击手势用于在所述第一虚拟界面的当前布局对应的虚拟键中选择一个字符。6.根据权利要求5所述的电子系统，其特征在于，在所述字符选择模式下，所述文本输入操作还包括：选择一个或多个字符，所述一个或多个字符对应于所述触摸板的一个或多个感应区域检测到的一个或多个点击手势、滑动手势、轻击手势和/或模拟射线，或者对应于所述至少一个手持式控制器的一个或多个运动；以及基于所选择的一个或多个字符在所述第二虚拟界面中显示一个或多个候选文本字符串。7.根据权利要求6所述的电子系统，其特征在于，在所述字符选择模式下，所述文本输入操作还包括：当接收到所述至少一个手持式控制器发送的与退格操作相对应的电子指令时，在所述第二虚拟界面显示的所述候选文本字符串中删除字符。8.根据权利要求6所述的电子系统，其特征在于，在所述字符选择模式下，所述文本输入操作还包括：当接收到与由所述触摸屏检测到的第一滑动手势对应的电子指令时，将所述第一虚拟界面的当前布局切换为先前的布局；或者，当接收到与由所述触摸屏检测到的第二滑动手势相对应的电子指令时，将所述第一虚拟界面的当前布局切换为随后的布局；其中，所述第一滑动手势的方向与所述第二滑动手势的方向相反。9.根据权利要求8所述的电子系统，其特征在于，所述文本输入操作还包括：当接收到与所述触摸屏检测到的第三滑动手势相对应的电子指令时，从所述字符选择模式切换至所述字符串选择模式，其中，所述第三滑动手势的方向与所述第一滑动手势或所述第二滑动手势的方向相垂直。10.根据权利要求5所述的电子系统，其特征在于，在字符串选择模式下，所述文本输入操作还包括：选择一个或多个文本字符串，所述一个或多个文本字符串对应于所述触摸板的一个或多个感应区域检测到的一个或多个点击手势、滑动手势、轻击手势和/或射线模拟，或者对应于所述至少一个手持式控制器的一个或多个运动；在所述文本字段中的所述光标之前显示选择的所述一个或多个文本字符串；从所述第二虚拟界面的所述候选文本字符串中删除选择的所述一个或多个文本字符串；更新所述第二虚拟界面中的候选文本字符串；以及当没有候选文本字符串在所述第二虚拟界面中时，将所述第二虚拟界面关闭。11.根据权利要求4所述的电子系统，其特征在于，所述至少一个手持式控制器的触摸板用于检测至少部分圆形的手势；所述第一虚拟界面为具有指针的圆形键盘，围绕所述圆形键盘圆周分布有多个虚拟键，其中，所述圆形键盘至少部分可见；以及所述文本输入模式包括至少两种操作模式，包括字符选择模式和字符串选择模式，其中，在所述字符选择模式下，由所述触摸板检测到的至少部分圆形的手势用于所述圆形键盘的旋转以及通过所述指针选择虚拟键。12.根据权利要求11所述的电子系统，其特征在于，所述至少一个手持式控制器的电子电路根据所检测到的至少部分圆形的手势的方向和距离确定所述圆形键盘旋转的方向和距离。13.根据权利要求11所述的电子系统，其特征在于，在所述字符选择模式下，所述文本输入操作还包括：选择与所述触摸板检测到的一个或多个至少部分圆形的手势相对应的一个或多个字符；以及基于所选择的一个或多个字符，显示或更新所述第二虚拟界面中的一个或多个候选文本字符串。14.根据权利要求11所述的电子系统，其特征在于，所述文本输入操作还包括：在接收到与所述触摸板检测到的第一滑动手势相对应的电子指令时，从所述字符选择模式切换到所述字符串选择模式。15.根据权利要求11所述的电子系统，其特征在于，在所述字符串选择模式下，所述文本输入操作还包括：基于所述触摸板检测到的一个或多个点击、敲击或至少部分圆形的手势来选择一个或多个文本字符串；将选择的所述一个或多个文本字符串在所述文本字段中显示；将选择的所述一个或多个文本字符串从所述第二虚拟界面中的候选文本字符串中删除；更新所述第二虚拟界面中的候选文本串；以及当没有候选文本串在所述第二虚拟界面中时，将所述第二虚拟界面关闭。16.根据权利要求11所述的电子系统，其特征在于，所述圆形键盘以二维视图或三维透视图的方式显示。17.根据权利要求1所述的电子系统，其特征在于，所述文本输入处理器，还用于当所述指示符与所述虚拟环境的文本字段不重叠时，退出所述文本输入模式。18.根据权利要求1所述的电子系统，其特征在于，所述虚拟环境中的指示符为箭头。19.根据权利要求1所述的电子系统，其特征在于，所述至少一个手持式控制器还包括一个或多个用于生成电子指令的控制按钮。20.根据权利要求1所述的电子系统，其特征在于，所述虚拟环境由虚拟现实系统生成，所述文本输入处理器为所述虚拟现实系统的一部分。21.根据权利要求1所述的电子系统，其特征在于，所述光源包括至少一个用于发射可见光和/或不可见光的LED。22.一种用于虚拟环境中文本输入的方法，...

【专利技术属性】
技术研发人员：卢智雄，戴景文，贺杰，
申请(专利权)人：广东虚拟现实科技有限公司，
类型：发明
国别省市：广东,44