一种瞳膜中心定位方法及学员听课疲劳度检测方法技术

本发明专利技术公开的一种瞳膜中心定位方法，属于瞳膜中心定位领域。所述瞳膜中心定位方法：截取出眼部区域；提取瞳膜区域；瞳膜区域由瞳孔区域和虹膜区域构成。对提取的瞳膜区域使用连通域法消除瞳膜区域噪声，得到去噪后的瞳膜区域图像中目标点的总数；利用“平均特征点法”定位瞳膜区域中心。在此基础上，本发明专利技术还公开一种基于瞳膜中心定位的学员听课疲劳度检测方法，属于学员听课疲劳度检测领域，基于得到的瞳膜中心坐标值和给定的眼部中心的坐标值，将眼部中心作为坐标轴的原点，进而得到瞳膜中心在眼眶中的偏转角度，并计算瞳膜中心偏转角度和偏转距离，通过判定瞳膜中心偏转角度和偏转距离与相应设定的听课疲劳度阈值对比，实现听课疲劳度检测。

A method to locate the pupil center and to detect the students' fatigue in class

【技术实现步骤摘要】
一种瞳膜中心定位方法及学员听课疲劳度检测方法
本专利技术属于瞳膜中心定位领域及基于瞳膜中心定位的学员听课疲劳度检测领域，涉及一种瞳膜中心定位方法及基于瞳膜中心定位的学员听课疲劳度检测方法，尤其涉及一种应用于在线网络教育领域的基于瞳膜中心定位的学员听课疲劳度检测方法。
技术介绍
已有瞳孔中心定位缺点：(1)当虹膜区域颜色较深时、眼部区域灰度直方图中瞳孔区域和虹膜区域不明显导致无法分离瞳孔的问题；(2)当人眼斜看时，由于眼睑的遮挡而无法提取出完整的虹膜图像进而无法准确定位瞳孔中心的问题。目前尚未将瞳孔中心定位应用于学员听课疲劳度检测领域，尤其在网络随着互联网的发展，普通学员、工作者越来越多地进行在线网络学习，但在线网络学习不同于传统的培训，无法评估学员学习状态和学习效果。针对这种情况，有必要对在线学习中的学员疲劳程度进行检测，以监督学员的学习状态，给相关机构提供测评依据，也反馈给在线授课者，帮助教育者提高授课质量，促进在线学习的良好发展。在计算机视觉技术还不是很成熟的阶段，研究人员检测人体疲劳主要是从“生理学”角度来研究人体的疲劳度本文档来自技高网...

【技术保护点】
1.一种瞳膜中心定位方法，其特征在于：包括如下步骤，/n步骤一：从获取的人脸图像中检测出人眼区域，并截取出眼部区域；/n步骤二：提取瞳膜区域；所述瞳膜区域由瞳孔区域和虹膜区域构成；/n步骤三：对步骤二提取的瞳膜区域使用连通域法消除瞳膜区域噪声，得到去噪后的瞳膜区域图像中目标点的总数为n；/n步骤四：利用“平均特征点法”定位瞳膜区域中心，得到瞳膜区域中心坐标；/n实现方法为：在提取出的瞳膜区域图像中，从左上角的顶点开始进行遍历，通过判断每个像素点的像素值是否为0来判断其是否为瞳膜区域目标点，如果是目标点，则保存目标点的坐标，直到遍历完成，即瞳膜区域的所有目标点都被提取出来，至此，瞳膜区域目标点的...

【技术特征摘要】
1.一种瞳膜中心定位方法，其特征在于：包括如下步骤，
步骤一：从获取的人脸图像中检测出人眼区域，并截取出眼部区域；
步骤二：提取瞳膜区域；所述瞳膜区域由瞳孔区域和虹膜区域构成；
步骤三：对步骤二提取的瞳膜区域使用连通域法消除瞳膜区域噪声，得到去噪后的瞳膜区域图像中目标点的总数为n；
步骤四：利用“平均特征点法”定位瞳膜区域中心，得到瞳膜区域中心坐标；
实现方法为：在提取出的瞳膜区域图像中，从左上角的顶点开始进行遍历，通过判断每个像素点的像素值是否为0来判断其是否为瞳膜区域目标点，如果是目标点，则保存目标点的坐标，直到遍历完成，即瞳膜区域的所有目标点都被提取出来，至此，瞳膜区域目标点的横纵坐标都被保存下来，由于步骤三中得到去噪后的瞳膜区域图像中目标点的总数为n，被保存下来的瞳膜区域目标点的横纵坐标分别为(xi,yi)，对横纵坐标分别为(xi,yi)求平均值即得到定位瞳膜区域中心。


2.如权利要求1所述的一种瞳膜中心定位方法，其特征在于：步骤二中利用“首谷法”提取虹膜区域，具体实现步骤如下，
步骤2.1：首先将眼部区域进行灰度化处理，得到眼部区域的灰度直方图，所述灰度化处理即进行二值化处理；
步骤2.2：获取到眼部区域的灰度直方图后，将眼部区域的灰度直方图中第一个峰值区域与第二个峰值区域之间的谷值确定为分离瞳膜区域和非瞳膜区域的阈值，所述阈值左侧为瞳膜区域；所述阈值右侧为非瞳膜区域。


3.如权利要求2所述的一种瞳膜中心定位方法，其特征在于：步骤三具体实现方法如下，步骤二中二值化后的图像中的像素点的像素值不是1就是0，即图像中只有黑白两种颜色；根据连通规则将图像划分为多个区域，再对各个区域进行标记，通过设计数据结构保存每个像素点所属的区域标号及每个像素点的区域属性；
根据连通规则的定义，在消除瞳膜区域图像中由于眼睑遮挡而产生的“黑”噪时，根据经验法采用四连通域规则设定一个基准值，当瞳膜区域图像中四连通区域的面积小于设定值时，判定该区域为黑色噪声需要对其进行消除工作；
而对于由于光的反射造成的瞳膜区域图像中的“白”噪声，采用八连通区域规则对其进行填补，因为只有当白色噪声点的八个方向都是黑色瞳膜区域时，所述白色噪声才是由于光反射而引起的误判。


4.如权利要求3所述的一种瞳膜中心定位方法，其特征在于：步骤一实现方法如下，通过采用图像处理库opencv中封装的特征提取算法Haar-like特征方法和特征提取算法Adaboost组成的级联检测器方法，检测出人眼区域并截取出眼部区域。


5.如权利要求4所述的一种瞳膜中心定位方法，其特征在于：步骤一具体方法如下，
特征提取算法Haar-like特征是基于“块”的特征，所述特征点表示方式使得特征值的计算量大大降低，并且使用积分图的方式能提高Haar-like特征方法的计算效率，另外使用特征提取算法Adaboost能筛选众多弱分类器，并对其进行优化，通过指标考核后变成强分类器，提高人眼的检测率；
步骤1.1：使用Haar-like特征方法做检测，目前常用的特征模板包含边缘特征、中心特征、线特征和对角特征；把每个特征模板当作一个子窗口检测人脸时，子窗口会在人脸图片中不断地移位滑动，每到一个位置都会计算该区域的特征值，特征值的计算是所有像素值为0的区域面积与所有像素值为255的区域面积的差，根据差值将图像的各个区域进行分类，每一类都是人脸图片Haar-like特征的一个维度，所有子窗口获取到的所有特征值组成Haar-like特征；如果Haar-like特征通过所有强分类器的筛选，则判定该区域为人脸区域；
步骤1.2：使用积分图对Haar-like特征求值进行加速，计算Haar-like特征值步骤如下：
步骤1.2.1，需要计算图像中子窗口的特征值，在不断改变特征模版的大小和位置的情况下，需要计算大量的连通区域的每个像素值；
步骤1.2.2，如果同一个像素点被包含在不同的窗口中，被包含在不同的窗口的同一个像素点会被重复计算，提高特征值计算的复杂度；
步骤1.2.3，在计算图像的Haar-like特征值时，特征模板在人脸区域中如何排列才能更好地体现人脸特征，需要算法不断地训练才能得到；因此特征值的计算量较大，如果不对其进行优化，则人脸检测速度会非常慢；利用积分图方法将图像中从某一点开始到任意一点...

【专利技术属性】
技术研发人员：戴亚平，纪野，赵凯鑫，李思敏，杨芳芳，廣田薰，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11