一种基于眼动跟踪的人机交互方法技术

一种基于眼动跟踪的人机交互方法，包括五组朝向计算机操作者的红外光源和一台内置红外滤光片的相机，其中四组红外光源设置在计算机显示屏的四个角落，另一组红外光源设置在相机镜头周围；相机设置在计算机显示屏下方并连接到计算机，相机镜头朝向操作者面部；包括标定的步骤，捕获和检测图像的步骤，判断眨眼的步骤，判断凝视点变化的步骤和输出交互指令的步骤。本发明专利技术的有益效果在于：1.标定简单，移植性好；2.通过对暗瞳进行检测，增加了适用用户；3.通过平滑处理，克服了人眼生理颤动带来的干扰；4.操作者头部在较大范围内移动系统精确度仍然较高；5.使用单个相机，成本相对较低；6.处理速度较快，能够满足实时的人机交互。

【技术实现步骤摘要】
【专利摘要】，包括五组朝向计算机操作者的红外光源和一台内置红外滤光片的相机，其中四组红外光源设置在计算机显示屏的四个角落，另一组红外光源设置在相机镜头周围；相机设置在计算机显示屏下方并连接到计算机，相机镜头朝向操作者面部；包括标定的步骤，捕获和检测图像的步骤，判断眨眼的步骤，判断凝视点变化的步骤和输出交互指令的步骤。本专利技术的有益效果在于：1.标定简单，移植性好；2.通过对暗瞳进行检测，增加了适用用户；3.通过平滑处理，克服了人眼生理颤动带来的干扰；4.操作者头部在较大范围内移动系统精确度仍然较高；5.使用单个相机，成本相对较低；6.处理速度较快，能够满足实时的人机交互。【专利说明】
本专利技术涉及计算机视觉控制
，具体来讲是。
技术介绍
在人机交互中，眼动跟踪扮演着一个非常重要的角色，眼动跟踪可以被当作连接人与计算设备的接口，比起鼠标与键盘，眼动跟踪交互提供给人们一种更加自然的方式来进行人机交互。估计眼动实现方向的方法也有很多种:光反射法，潜在的电子皮肤，以及隐形眼镜等，这些方法又被分类为侵入式或者非侵入式的方法，非侵入式的方法更有优势，因为非侵入式的方法使用起来更舒服。但是在眼动跟踪研究中，仍然还有许多没有解决的问题。最普遍的是它的精度问题，头部运动的限制，鲁棒性，以及标定的容易度。
技术实现思路
本专利技术的目的是提供，本方法使得操作者头部在较大范围移动时仍能保持较高的精确度。实现本专利技术目的的技术方案如下:，包括五组朝向计算机操作者的红外光源和一台内置红外滤光片的相机，其中四组红外光源设置在计算机显示屏的四个角落，另一组红外光源设置在相机镜头周围；相机设置在计算机显示屏下方并连接到计算机，相机镜头朝向操作者面部；包括标定的步骤，包括101:计算机通过相机捕获操作者注视显示屏任一角落的红外光源时的面部图像，对图像进行眼睛检测、光斑检测和瞳孔检测，得到瞳孔中心、相机镜头周围的红外光源对应的光斑中心和该组红外光源对应的光斑中心，计算对应的标定系数；102:依照上述操作，分别计算操作者注视显示屏其它角落的红外光源时对应的标定系数；捕获和检测图像的步骤，包括201:计算机通过相机以帧频F持续捕获操作者观看显示屏的面部图像；202:对每一帧图像进行眼睛检测、光斑检测、瞳孔检测和凝视点估计；判断眨眼的步骤，包括301:判断以任意时刻t为起始点的时间段?Υ中捕获的L帧连续图像，L=TL*F ;如果L帧图像中有且仅有一个时间段Τκ中捕获的Κ帧连续的图像未检测到光斑，TK<TL,设定为操作者眨眼一次；如果L帧图像中有两个时间段TK1和TK2中各自捕获的Κ1和Κ2帧连续的图像未检测到光斑，Tκ1〈TL、Tκ2〈TL且TK1+TK2〈TL，并且两个时间段各自捕获的连续图像之间的其它图像检测到光斑，设定为操作者眨眼两次；判断凝视点变化的步骤:401:设任意时刻t捕获的那一帧图像中的凝视点在屏幕上的横坐标gx纵坐标gy ；402:判断以时刻t为起始点的时间段TR中的R帧连续图像，R=TR*F，如果R帧图像中的凝视点均停留在以横坐标gx纵坐标gy为圆心，半径为r的圆内，设定为凝视点停留；403:判断以时刻t为起始点的时间段TD中的D帧连续图像，D=Td*F，如果D帧图像中的凝视点的横坐标和纵坐标单调减小，且总的减小量分别超过横坐标变化量X和纵坐标变化量Y，设定为凝视点向左上方移动；404:判断以时刻t为起始点的时间段Tu中的U帧连续图像，U=Tu*F，如果U帧图像中的凝视点的横坐标和纵坐标单调增加，且总的增加量分别超过横坐标变化量X和纵坐标变化量Y，设定为凝视点向右下方移动；输出交互指令的步骤，包括501:如操作者眨眼一次，则输出鼠标左键单击的指令；502:如操作者眨眼两次，则输出鼠标左键双击的指令；503:如凝视点停留，则输出鼠标右键单击的指令；504:如凝视点向左上方移动，则输出鼠标滚轮向上滚动的指令；505:如凝视点向右下方移动，则输出鼠标滚轮向下滚动的指令。更进一步地， 所述眼睛检测包括:对捕获的面部图像进行二值化，得到黑白图像；对黑白图像进行轮廓查找，确定查找到的轮廓边界包裹的最小矩形框为人眼矩形框；所述光斑检测包括:根据人眼矩形框截取面部图像，得到人眼矩形框图像；对人眼矩形框图像进行二值化，得到二值化图像；对二值化图像去除噪声；查找去除噪声后的二值化图像中面积最大的五块白色区域作为五组红外光源对应的光斑；确定五个光斑的质心为光斑中心；确定五个光斑与五组红外光源的对应关系；所述瞳孔检测包括:分别以五个光斑中心的横坐标的平均值和纵坐标的平均值为瞳孔中心的初始化横坐标值和初始化纵坐标值；设定瞳孔矩形框，以瞳孔中心的初始化横坐标值和初始化纵坐标值为瞳孔矩形框的中心；对瞳孔矩形框进行垂直与水平投影积分，得到瞳孔矩形框中只包含瞳孔的小矩形框；从小矩形框中查找瞳孔边界及其中心；所述凝视点估计包括:根据五个光斑中心以及标定系数，分别计算显示屏四个角落的红外光源对应的光斑中心在眼睛角膜上的四个虚拟投影点；根据瞳孔中心和四个虚拟投影点，以及显示屏的长度和宽度，估计凝视点。更进一步的，所述时间段IV，时间段Τκ，时间段TD和时间段L是同一个时间段。更进一步地，所述帧频F为15帧/秒；所述时间段IV，时间段Τκ，时间段TD和时间段Tu的时长均为2秒；所述时间段Τκ，时间段TK1和时间段TK2均大于0.5秒；所述半径r为—W ;所述横坐标变化量X和纵坐标变化量Y分别为§ w和;其中w为显示屏宽度，h为Ζ?ο 6显示屏高度。本专利技术的有益效果在于，1、标定简单，移植性好；2、通过对暗瞳进行检测，避开了对不同人眼，亮瞳效果不好的用户，增加了适用用户；3、通过平滑处理，克服了人眼生理颤动带来的干扰；4、操作者头部在较大范围内移动系统精确度仍然较高；5、使用单个相机，与使用多个相机相比，成本相对较低；6、处理速度较快，系统响应更加快速，及时，能够满足实时的人机交互。【专利附图】【附图说明】图1为红外光源、相机和捕获的面部图像、人眼矩形框、人眼矩形框图像的示意图；图2为人眼矩形框图像中光斑分布的示意图；图3、图4和图5为凝视点估计的原理不意图；图6为凝视点停留的示意图；图7为凝视点向左上方移动的示意图；图8为凝视点向右下方移动的示意图。【具体实施方式】如图1所示，，包括五组朝向计算机操作者的红外光源和一台内置红外滤光片的相机，其中四组红外光源LED1、LED2、LED3和LED4设置在计算机显示屏的四个角落，另一组红外光源LED5设置在相机镜头3周围；相机设置在计算机显示屏下方并连接到计算机，相机镜头3朝向操作者面部。眼睛检测的方法为:红外光源在人眼里反射产生普尔钦亮斑，在带有滤光片的相机捕获的灰色面部图像1中，位于人眼角膜上的普尔钦亮斑为最亮，查找人眼的位置可以转化成查找最亮的普尔钦亮斑的位置，查找左眼或者右眼的位置可以转化成查找横坐标值最小的或者最大的普尔钦亮斑的位置。通过二值化，获得普尔钦亮斑区域为白色，其余部位为黑色的黑白图像，对该黑白图像进行轮廓查找(查找黑白像素的边界)，确定查找到的轮廓边界包裹的最小矩形框作为人眼所在的区域则为人眼矩形框2。光斑检测的方法为:Stepl:使用人眼矩形框2截取面部图像，得到人眼矩本文档来自技高网...

【技术保护点】
一种基于眼动跟踪的人机交互方法，包括五组朝向计算机操作者的红外光源和一台内置红外滤光片的相机，其中四组红外光源（LED1、LED2、LED3、LED4）设置在计算机显示屏的四个角落，另一组红外光源（LED5）设置在相机镜头周围；相机设置在计算机显示屏下方并连接到计算机，相机镜头朝向操作者面部；其特征在于，包括标定的步骤，包括101：计算机通过相机捕获操作者注视显示屏任一角落的红外光源时的面部图像，对图像进行眼睛检测、光斑检测和瞳孔检测，得到瞳孔中心、相机镜头周围的红外光源（LED5）对应的光斑中心和该组红外光源对应的光斑中心，计算对应的标定系数；102：依照上述操作，分别计算操作者注视显示屏其它角落的红外光源时对应的标定系数；捕获和检测图像的步骤，包括201：计算机通过相机以帧频F持续捕获操作者观看显示屏的面部图像；202：对每一帧图像进行眼睛检测、光斑检测、瞳孔检测和凝视点估计；判断眨眼的步骤，包括301：判断以任意时刻t为起始点的时间段TL中捕获的L帧连续图像，L=TL*F；如果L帧图像中有且仅有一个时间段TK中捕获的K帧连续的图像未检测到光斑，TK果L帧图像中有两个时间段TK1和TK2中各自捕获的K1和K2帧连续的图像未检测到光斑，TK1...

【技术特征摘要】

【专利技术属性】
技术研发人员：程洪，姬艳丽，刘雅齐，杨路，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51