基于深度相机的眼控辅助输入方法技术

本发明专利技术公开了一种基于深度相机的眼控辅助输入方法，该方法可以根据人的眼球以及眼部特征确定视线的方向以及视线与屏幕注视点的坐标，得到用户所要输入的内容，能够在眼睛注视选择的过程中就选中需要的字词，直接敲击空格键便可以实现录入，这样省去了鼠标的移动选择或者数字键的点击，提升了用户使用的便捷程度，提高了人机交互的友好程度。

Eye control assisted input method based on depth camera

【技术实现步骤摘要】
基于深度相机的眼控辅助输入方法
本专利技术涉及智能输入
，更具体的说是涉及一种基于深度相机的眼控辅助输入方法。
技术介绍
目前，打字输入是使用电子设备过程中一项非常重要且使用频率较高的输入方式。在日常使用的输入法当中最为常用的输入法大都是使用拼音进行输入，输入过程中输入法会根据词组的意义以及用户平时对固定词组的使用频率和用户习惯优先给出使用者选择可能性最大的字词，使用频率越高、选择可能性越大的字词会出现在靠前的位置，如果出现在输入面板第一个位置的字词是用户所需要的字词，此时只需点击空格便可以选中录入。但是，由于用户的使用频率以及词组组合的可能性等原因，并非每次用户需要的字词都可以出现在首位。这种情况之下用户需要从待选栏中选取自己所需要的字词，通常是通过点击鼠标或者键盘上的数字键来进行选择。使用者的手需要离开字母键盘或者整个键盘，并且在使用数字键的时候也容易选择错误，这样影响了在文字录入过程之中的速度与准确性。因此，如何提供一种待选字词选择过程更加便捷、准确辅助输入方法是本领域技术人员亟需解决的问题。r>专利技术本文档来自技高网...

【技术保护点】
1.一种基于深度相机的眼控辅助输入方法，其特征在于，包括：/n将Kinect摄像机固定安装于计算机显示器的正上方，通过Kinect摄像机对屏幕前的用户进行拍摄，得到用户图像；/n使用基于AMM模型的人脸识别算法获取用户图像中的人脸区域；/n在人脸区域中使用级联分类器与Haar-likee特征相结合的方法获取眼部区域，并通过区域生长的方式缩小眼部区域的范围，得到最终的人眼区域；/n在人眼区域中使用星射线法确定瞳孔中心点坐标；/n从人脸区域中提取多个特征点，由Kinect摄像机直接获取各个特征点的深度信息；/n将瞳孔中心点分别与左右眼角坐标进行连线，分别计算左右眼角与瞳孔中心的偏移量，得到眼动偏移...

【技术特征摘要】
1.一种基于深度相机的眼控辅助输入方法，其特征在于，包括：
将Kinect摄像机固定安装于计算机显示器的正上方，通过Kinect摄像机对屏幕前的用户进行拍摄，得到用户图像；
使用基于AMM模型的人脸识别算法获取用户图像中的人脸区域；
在人脸区域中使用级联分类器与Haar-likee特征相结合的方法获取眼部区域，并通过区域生长的方式缩小眼部区域的范围，得到最终的人眼区域；
在人眼区域中使用星射线法确定瞳孔中心点坐标；
从人脸区域中提取多个特征点，由Kinect摄像机直接获取各个特征点的深度信息；
将瞳孔中心点分别与左右眼角坐标进行连线，分别计算左右眼角与瞳孔中心的偏移量，得到眼动偏移量；
利用人脸区域中的特征点，使用ICP算法求取头部运动的旋转矩阵和平移矩阵，获得头部姿态；
通过多组用户在多种不同姿态下注视多组坐标已知的位置点，分别获取用户的眼动偏移量以及头部姿态与屏幕坐标之间的多组对应数据；将多组对应数据输入训练神经网络，得到网络模型；
使用训练所得的网络模型，预测注视点的位置坐标；
将注视点的位置坐标传递给鼠标控制函数，控制鼠标移动到注视点所在位置，敲击空格键实现鼠标左键的点击选择需要的字词。


2.根据权利要求1所述的一种基于深度相机的眼控辅助输入方法，其特征在于，通过区域生长的方式缩小眼部区域的范围，具体包括：
步骤1：对眼部区域的图像顺序扫描，寻找第一个没有归属的像素，设所述像素的坐标为(x0,y0)；
步骤2：以(x0,y0)为中心，考虑(x0,y0)的4邻域像素(x,y)，若(x0,y0)满足生长准则，将(x,y)与(x0,y0)在同一区域内合并，同时将(x,y)压入堆栈；
步骤3：从堆栈中取出一个像素，将取出的像素作为(x0,y0)，返回到步骤2；
步骤4：直至堆栈为空时，返回到步骤1；
步骤5：重复步骤1至步骤4，直到眼部区域的图像中每个点都有归属时，生长结束。


3.根据权利要求1所述的一种基于深度相机的眼控辅助输入方法，其特征在于，在人眼区域中使用星射线法确定瞳孔中心点坐标，具体包括：
使用hough圆检...

【专利技术属性】
技术研发人员：李天军，宋红伟，杨敏玲，陈胜勇，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：天津;12