一种基于深度图像的三维动态手指文本输入系统及方法技术方案

本发明专利技术请求保护一种基于深度图像的三维动态手指文本输入系统及方法，所述方法包括以下步骤：首先得到手部轮廓信息、手部关节点的3D坐标信息；通过与特定静态手势相匹配，提取下降手指指尖振幅特征，判定敲击动作；通过敲击手指序列得到所有可能单词；利用敲击手指末端3D坐标、敲击手指信息以及基于单词频率的语言模型，通过使用贝叶斯模型，得出候选单词，求出含有最大概率单词词组相对于该单词的置信度，进而得到该单词的最大概率词组，最终输出候选单词以及可能词组。通过对特定手势的识别，对输出的候选单词以及词组进行选择操作，或者对于已选定单词进行删除操作。本发明专利技术提高了空中文本输入的速度和准确率。

A 3D dynamic finger text input system and method based on depth image

The invention requests protection of a three-dimensional dynamic finger text input system and method based on depth image. The method comprises the following steps: firstly, obtaining the hand contour information and the 3D coordinate information of the joint points of the hand; extracting the amplitude characteristics of the falling fingertip by matching with a specific static gesture to determine the tapping action; All possible words can be obtained by tapping the finger sequence; using the 3D coordinates of the finger end, the information of the finger and the language model based on word frequency, the candidate words can be obtained by using Bayesian model, and the confidence of the phrase containing the maximum probability relative to the word can be obtained, and then the maximum probability of the word can be obtained. The phrase finally outputs the candidate words and possible phrases. Through the recognition of specific gestures, the candidate words and phrases of the output are selected, or the selected words are deleted. The invention improves the speed and accuracy of air text input.

【技术实现步骤摘要】
一种基于深度图像的三维动态手指文本输入系统及方法
本专利技术属于数字图像处理和人机交互领域，具体是一种采用能够获得深度图像的实感摄像头为数据采集设备的三维动态手指姿态识别系统和方法。
技术介绍
十指打字作为最有效的文本输入方式，已经普遍应用于物理键盘上。据报道，对于一般人来说在物理键盘上的打字速度可以实现每分钟输入60至100个单词。所以，为了更加灵活的使用这种最有效的文本输入方式，目前很多研究者尝试在触屏上甚至是在任何平面上实现十指打字。对于触摸屏来说，不管是手机还是平板电脑，其中的键盘设计，尤其是按键字母的布局都与物理键盘上的布局相差无几。尤其是稍大一些的平板电脑甚至是较大的可以触摸的显示屏，比如MicrosoftSurface，完全可以使用标准打字法在这些屏幕上打字，实现十指打字，提高了文本输入的效率。公开号为US8959013B2的美国专利公开了一种基于深度图像的无接触三维文本输入方法。通过一个可以获得深度图像的摄像头采集人手的深度图像序列，并将人手通过一个光标显示在具有字母按键分布的显示屏上，通过人手的移动控制光标的移动。当光标停止移动，光标所接近的一个字母按键就会被选择并本文档来自技高网...

【技术保护点】
1.一种基于深度图像的三维动态手指文本输入系统，其特征在于，包括数据接口模块、静态注册手势识别模块、手指姿态识别模块、词组预测模块和特定手势识别模块，其中所述数据接口模块包含了手部轮廓信息接口组件、手部关节点相对位置信息接口组件和手部关节点绝对位置信息接口组件，所述手部轮廓信息接口组件用于从数据采集设备获取手部轮廓信息，所述手部关节点相对位置信息接口组件用于从数据采集设备获取手部关节点的相对3D坐标信息，所述手部关节点绝对位置信息接口组件用于从数据采集设备获取手部关节点绝对的3D坐标信息；所述静态注册手势识别模块用于从数据接口模块获取登手部关节点相对位置信息并进行特征匹配，根据匹配结果判定是否...

【技术特征摘要】
1.一种基于深度图像的三维动态手指文本输入系统，其特征在于，包括数据接口模块、静态注册手势识别模块、手指姿态识别模块、词组预测模块和特定手势识别模块，其中所述数据接口模块包含了手部轮廓信息接口组件、手部关节点相对位置信息接口组件和手部关节点绝对位置信息接口组件，所述手部轮廓信息接口组件用于从数据采集设备获取手部轮廓信息，所述手部关节点相对位置信息接口组件用于从数据采集设备获取手部关节点的相对3D坐标信息，所述手部关节点绝对位置信息接口组件用于从数据采集设备获取手部关节点绝对的3D坐标信息；所述静态注册手势识别模块用于从数据接口模块获取登手部关节点相对位置信息并进行特征匹配，根据匹配结果判定是否进入系统；所述手指姿态识别模块用于对敲击动作和概率最大候选单词进行识别；所述词组预测模块用于从手指姿态识别模块获取概率最大候选单词，通过系统记录的用户文本输入数据，计算最大概率单词在用户输入文本数据中的支持度，以及计算包含该单词的词组在用户输入文本数据中的支持度，得出包含该单词的词组相对于该单词的置信度；所述特定手势识别模块包含了单词挑选手势识别组件和单词删除手势识别组件，单词挑选手势识别组件用于根据特征匹配识别选择手势，选择系统识别出的候选单词；单词删除手势识别组件用于根据特征匹配识别删除手势，删除系统已经输出的单词。2.根据权利要求1所述的基于深度图像的三维动态手指文本输入系统，其特征在于，所述静态注册手势识别模块进行系统登录的方法是，当双手在空中做标准打字手势时，系统根据手势特征匹配方法，确定进入三维动态手指姿态识别系统。3.根据权利要求1所述的基于深度图像的三维动态手指文本输入系统，其特征在于，所述手指姿态识别模块要求使用者在空中输入单词时，按照在物理键盘上的标准打字法输入。4.根据权利要求1所述的基于深度图像的三维动态手指文本输入系统，其特征在于，所述手指姿态识别模块包含了敲击动作识别组件和单词级别文本识别组件；所述敲击动作识别组件用于当某一手指指尖下落振幅达到对应手指的阈值时，则判定发生了一个敲击动作；单词级别文本识别组件用于根据敲击手指序列得到所有可能的候选单词，根据敲击手指指尖的3D分布坐标信息、敲击手指信息以及基于单词使用频率的语言模型，利用贝叶斯模型，得出概率最高的候选单词。5.根据权利要求4所述的基于深度图像的三维动态手指文本输入系统，其特征在于，所...

【专利技术属性】
技术研发人员：李红波，孟萌，张轩，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50