虚拟键盘交互方法及系统技术方案

本发明专利技术提供一种虚拟键盘交互方法及系统，包括预训练手指尖检测模型；通过手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；基于三维空间位置坐标，确定与手指尖对应的触控区域；当触控区域与预设的虚拟键盘的感知区域存在重叠时，获取触控区域落入感知区域的体积信息；基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发。利用上述发明专利技术能够提高字符输入效率及准确度，提高用户体验。

【技术实现步骤摘要】
虚拟键盘交互方法及系统
本专利技术涉及虚拟键盘
，更为具体地，涉及一种虚拟键盘交互方法及系统。
技术介绍
随着计算机游戏、健康与安全、工业和教育等领域的发展，人工现实系统在这些领域中的应用变得越来越普遍。例如，人工现实系统正被整合到移动设备、游戏机、个人电脑、电影院和主题公园等，人工现实是在呈现给用户之前以某种方式调整现实的一种形式，其可包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)或其某些组合和/或衍生物。随着人工现实在各行各业的普及和发展，键盘作为一种用户和人工现实系统交互最为普遍的输入设备之一被继承下来。通常，虚拟键盘主要通过虚拟现实头戴式显示器设备(HMD)被渲染投影在用户视角的正前方，但是现有的虚拟键盘缺乏促成物理键盘成功的特性。例如，用户不能将他们的手放在虚拟键盘上，没有地标来确定用户的手的方向，和/或没有触觉反馈来指示键已被激活，影响用户的输入体验。另外，现有的依靠外部设备实现用户参与方式，例如用户通过一种手柄控制器调用各个键上的字符作为选择这些键的方法，存在输入缓慢且困难，输入字符效率不够高、智能化程度低等问题。
技术实现思路
鉴于上述问题，本专利技术的目的是提供一种虚拟键盘交互方法及系统，以解决目前人工现实系统存在的输入缓慢、效率低、影响用户体验等问题。本专利技术提供的虚拟键盘交互方法，包括预训练手指尖检测模型；通过手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；基于三维空间位置坐标，确定与手指尖对应的触控区域；当触控区域与预设的虚拟键盘的感知区域存在重叠时，获取触控区域落入感知区域的体积信息；基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发。此外，可选的技术方案为，预训练手指尖检测模型的过程包括：采集样本手指运动的图像数据；在图像数据上标注手指尖信息，以获取标注图像数据；基于标注图像数据训练神经网络模型，直至神经网络模型收敛在预设范围内，形成手指尖检测模型。此外，可选的技术方案为，在获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标的过程中，当待检测图像数据通过深度相机获取时，通过手指尖检测模型直接获取手指尖相对深度相机的三维空间位置坐标；当待检测图像数据通过可见光相机获取时，通过手指尖检测模型分别获取两个待检测图像数据上的手指尖的图像位置信息，并通过三角立体成像原理，获取手指尖相对可见光相机的三维空间位置坐标。此外，可选的技术方案为，确定与手指尖对应的触控区域的过程包括：基于以手指尖的三维空间位置坐标为圆心，以预设距离为半径的球形区域，作为与手指尖对应的触控区域。此外，可选的技术方案为，预设距离为2mm-7mm。此外，可选的技术方案为，预设基准位置为采集待检测图像数据的相机的坐标原点位置。此外，可选的技术方案为，基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发的过程包括：获取体积信息与感知区域的体积值之比，以获取触控区域与感知区域的重叠区域的概率分布；判断概率分布是否大于预设阈值，当概率分布大于预设阈值时，表示感知区域所在的虚拟键盘的按键被选择。此外，可选的技术方案为，在按键被选择一次后，还包括：判断按键在待检测图像数据中连续预设个数帧的概率分布是否均大于预设阈值；当按键在连续预设个数帧的概率分布均大于预设阈值时，触发按键对应的字符；否则，不触发按键对应的字符。此外，可选的技术方案为，预设阈值为0.75。根据本专利技术的另一方面，提供一种虚拟键盘交互系统，包括：手指尖检测模型训练单元，用于预训练手指尖检测模型；三维空间位置坐标获取单元，用于通过手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；触控区域确定单元，用于基于三维空间位置坐标，确定与手指尖对应的触控区域；体积信息获取单元，当触控区域与预设的虚拟键盘的感知区域存在重叠时，获取触控区域落入感知区域的体积信息；虚拟键盘触发判断单元，用于基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发。利用上述虚拟键盘交互方法及系统，通过预训练的手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；基于三维空间位置坐标，确定与手指尖对应的触控区域；当触控区域与预设的虚拟键盘的感知区域存在重叠时，获取触控区域落入感知区域的体积信息；基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发，能够使得用户便捷、快速地与虚拟键盘交互，并提高字符输入的准确度，实现更令人满意的用户体验。为了实现上述以及相关目的，本专利技术的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本专利技术的某些示例性方面。然而，这些方面指示的仅仅是可使用本专利技术的原理的各种方式中的一些方式。此外，本专利技术旨在包括所有这些方面以及它们的等同物。附图说明通过参考以下结合附图的说明，并且随着对本专利技术的更全面理解，本专利技术的其它目的及结果将更加明白及易于理解。在附图中：图1为根据本专利技术实施例的虚拟键盘交互方法的流程图；图2为根据本专利技术实施例的虚拟键盘交互系统的方框示意图。在所有附图中相同的标号指示相似或相应的特征或功能。具体实施方式在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。为详细描述本专利技术的虚拟键盘交互方法及系统，以下将结合附图对本专利技术的具体实施例进行详细描述。图1示出了根据本专利技术实施例的虚拟键盘交互方法的流程。如图1所示，本专利技术实施例的虚拟键盘交互方法，包括：S110：预训练手指尖检测模型；S120：通过手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；S130：基于三维空间位置坐标，确定与手指尖对应的触控区域；S140：当触控区域与预设的虚拟键盘的感知区域存在重叠时，获取触控区域落入感知区域的体积信息；S150：基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发。具体地，步骤S110中预训练手指尖检测模型的过程包括：S111：采集样本手指运动的图像数据；S11本文档来自技高网...

【技术保护点】
1.一种虚拟键盘交互方法，其特征在于，包括：/n预训练手指尖检测模型；/n通过所述手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；/n基于所述三维空间位置坐标，确定与所述手指尖对应的触控区域；/n当所述触控区域与预设的虚拟键盘的感知区域存在重叠时，获取所述触控区域落入所述感知区域的体积信息；/n基于所述体积信息及预设规则，判断与所述触控区域对应的感知区域所在的虚拟键盘是否触发。/n

【技术特征摘要】
1.一种虚拟键盘交互方法，其特征在于，包括：
预训练手指尖检测模型；
通过所述手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；
基于所述三维空间位置坐标，确定与所述手指尖对应的触控区域；
当所述触控区域与预设的虚拟键盘的感知区域存在重叠时，获取所述触控区域落入所述感知区域的体积信息；
基于所述体积信息及预设规则，判断与所述触控区域对应的感知区域所在的虚拟键盘是否触发。


2.如权利要求1所述的虚拟键盘交互方法，其特征在于，所述预训练手指尖检测模型的过程包括：
采集样本手指运动的图像数据；
在所述图像数据上标注手指尖信息，以获取标注图像数据；
基于所述标注图像数据训练神经网络模型，直至所述神经网络模型收敛在预设范围内，形成手指尖检测模型。


3.如权利要求1所述的虚拟键盘交互方法，其特征在于，在获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标的过程中，
当所述待检测图像数据通过深度相机获取时，通过所述手指尖检测模型直接获取所述手指尖相对所述深度相机的三维空间位置坐标；
当所述待检测图像数据通过可见光相机获取时，通过所述手指尖检测模型分别获取两个待检测图像数据上的手指尖的图像位置信息，并通过三角立体成像原理，获取所述手指尖相对所述可见光相机的三维空间位置坐标。


4.如权利要求1所述的虚拟键盘交互方法，其特征在于，确定与所述手指尖对应的触控区域的过程包括：
基于以所述手指尖的三维空间位置坐标为圆心，以预设距离为半径的球形区域，作为与所述手指尖对应的触控区域。


5.如权利要求4所述的虚拟键盘交互方法，其特征在于，
所述预设距离为2mm-7m...

【专利技术属性】
技术研发人员：吴涛，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37