一种眼球识别多媒体播放器及其实现方法技术

本发明专利技术公开了一种眼球识别多媒体播放器及其实现方法，包括显示器、半透镜、摄像头，所述显示器与半透镜相结合，半透镜贴有单向透视反光薄膜，显示器通过USB接口连接摄像头，实现方法是生成能够使用的LBP正脸识别分类器和Haar左右眼识别分类器，利用LBP正脸识别分类器和Haar左右眼识别分类器来实现多媒体播放器的眼球识别功能，具有以下优点：基于人脸检测、眼球识别以及唇形识别，通过摄像头获取人体图像，利用分类器先后获得人脸、人眼位置，经过滤波处理，二值化图像，边缘检测等处理方法获得眼眶、虹膜位置信息，根据特征匹配达到动作检测的目的，进而产生动作信号由UI反馈给使用者。

Eyeball recognition multimedia player and implementing method thereof

The invention discloses a multimedia player eye recognition and its implementation method, including display, semi lens, camera, the display and the half lens combined with semi lens one-way reflective film, display connected to the camera through the USB interface, the realization method is to generate a LBP face recognition classifier and Haar can use the left and right eye recognition classifier. The eye recognition function to realize multimedia player using LBP face recognition classifier and Haar eye classifier, has the following advantages: face detection, eye recognition and lip shape recognition based on human images through the camera, the classifier has won the face, eye position, after filtering, image binarization, edge detection and processing method get the eyes, iris location information, according to the characteristics of the matching to achieve motion detection The purpose is to generate an action signal that is fed back to the user by the UI.

【技术实现步骤摘要】
一种眼球识别多媒体播放器及其实现方法
本专利技术涉及一种眼球识别多媒体播放器及其实现方法，属于电子

技术介绍
眼球追踪技术最热门的载体是手机，三星品牌和LG品牌都推出了搭载有眼球追踪技术的产品。比如，三星上一代旗舰机三星GalaxySIII就可以通过检测用户眼睛状态来控制锁屏时间，只要检测到用户正盯着手机屏幕，即使用户没有进行任何操作，屏幕也不会关闭，而三星GalaxySIII的发布，则将这一功能进一步延伸为可通过眼球来控制页面上下滚动。另一方面，2013年一家瑞典公司Tobii计划推出一款电脑外设设备，Rex，它可以让旧电脑也能接入眼球追踪，只要把它放置在屏幕顶部，再通过USB接口接入，用户就能利用视线来控制电脑完成像操控IE页面滚动、使用Windows8地图应用等部分操作。除了电脑和手机，汽车也是人们最早接触到眼球追踪技术的地方，通用和丰田都已经在这方面有了不小的投入。它能实时模拟驾驶员的视野，提醒驾驶员视线盲区可能存在的危险；当驾驶员眼皮下垂(犯困)或眨眼次数减少(走神)等，它还会发出声音提醒。虽然眼睛动作识别已经开始商用，但是可以发现眼睛动作应用都停留在基础，没有更深入的挖掘眼部信息。视觉跟踪技术自1986年开始立项研究，目前国内的相关理论和技术也有了长足的发展，中国科学院、浙江大学、武汉大学等高校和研究所在目标跟踪、运动行人的检测识别方面取得了一定的成果。但是在眼球追踪这方面也仅仅局限于眼睛检测，未对眼球动作识别方面做出具有价值的讨论。虽然利用虹膜识别的方法实现眼球追踪技术已经较为成熟，但准确率不高，速度较慢。利用已有的LBP算法进行PCA特征降维、SVM分类识别，虽然速度较快但准确度欠缺，然而利用Haar算法实现Haar-like特征、AdaBoost算法精确度高但速度较慢。
技术实现思路
本专利技术要解决的技术问题是提供一种提高准确度的计量方法，实现基于人脸检测、眼球识别以及唇形识别，通过摄像头获取人体图像，利用分类器先后获得人脸、人眼位置，经过滤波处理，二值化图像，边缘检测等处理方法获得眼眶、虹膜位置信息，根据特征匹配达到动作检测的目的，进而产生动作信号由UI反馈给使用者的专利技术目的。为解决以上问题，本专利技术采用以下技术方案：一种眼球识别多媒体播放器，包括显示器、半透镜、摄像头，所述显示器与半透镜相结合，采用木质结构固定半透镜紧贴在显示器前方，半透镜贴有单向透视反光薄膜，显示器通过USB接口连接摄像头。一种眼球识别多媒体播放器的实现方法，所述实现方法是利用开源的人脸、人眼库，运用LBP算法、Haar算法进行机器学习，生成能够使用的LBP正脸识别分类器和Haar左右眼识别分类器，利用LBP正脸识别分类器和Haar左右眼识别分类器来实现多媒体播放器的眼球识别功能。进一步，所述实现方法包括以下步骤：步骤S2，输入由摄像头获得的分辨率600*800的RGB人脸图像；步骤S3，计算输入图像的灰度图，将输入的RGB图像转换为灰度图像，提取输入图像矩阵中的绿色通道像素信息作为灰度图像GrayImg的初始值；步骤S4，检测灰度图像宽度为320，灰度图像的放缩比例为800/灰度图像宽度,灰度图像高度为600/灰度图像的放缩比例，将灰度图像GrayImg按比例进行缩放，缩放后的灰度图像的分辨率为240*320；步骤S5，将灰度图像GrayImg进行直方图均匀化处理，获得预处理的人脸图像PreprocessedImage，需要对图像进行双边滤波。进一步，所述实现方法还包括以下步骤：步骤S6，设置检测参数：最小特征尺度minfeatureSize=Size(30,30)、检测范围因子searchScaleFactor=1.1f、最小临近因子minneighbors=4、检测方式标识位fiag=CASCADE_FIND_BIGGEST_OBJECT︱CASCADE_DO_ROUGH_SEARCH，使得检测检测结果为所检测到目标中最大的；加载提前训练好的LBP人脸检测器，在预处理过后的图像中获取到目标人脸TargetFace的位置信息（x,y,width,height）；步骤S8，对目标人脸TargetFace按照计算比例进行坐标逆向变换，计算变化过后的x、y坐标及width、height，在原始图中将人脸图像储存在新的内存区域中；步骤S9，根据坐标变换后得到的目标人脸信息TargetFace，在原输入图像中提取人脸信息储存为人脸图像FaceImage。进一步，所述实现方法还包括以下步骤：步骤S10，提取输入图像矩阵中的绿色通道像素信息作为人脸图像FaceImage的灰度图像初始值，将人脸图像FaceImage的灰度图像进行直方图均匀化处理，计算人脸图像FaceImage的灰度图获得预处理的人脸图像preprocessedFace；步骤S11，初始化参数EYE_SX=0.16；EYE_SY=0.26；EYE_SW=0.30；EYE_SH=0.28，即初始化人眼位置估计比例：X、Y坐标、宽度、高度，在预处理的人脸图像preprocessedFace计算人眼位置：X、Y坐标、宽度、高度leftx、topy、widthx、heighty、rightx，从预处理的人脸图像preprocessedFace中提取左眼和右眼的预估计图像；步骤S12，利用训练好的Haar人眼检测器分别对左眼和右眼中预估图像来检测右眼和左眼，得到人眼具体的位置大小信息。进一步，所述实现方法还包括以下步骤：步骤S14，初始化LXmoveLen、LYmoveLen、RXmoveLen、RYmoveLen，即初始化人眼位置修正尺度：左右眼X、Y坐标移动尺度，对步骤S11中变换后的坐标进行逆向变换，计算左眼、右眼在原图中的x、y坐标和宽度、高度；步骤S15，根据步骤S14所得信息在原图中获取准确的左眼、右眼的图像，对左眼、右眼图像进行缩放成80*100像素图像；步骤S16，对左眼、右眼的图像进行双边滤波并转化为灰度图像，并用Canny算子对灰度图进行边缘检测，完成后进入步骤S17。进一步，所述实现方法还包括以下步骤：步骤S17，初始化眼眶边缘itc1，使眼眶边缘itc1成为眼眶边缘集合中的第一个边缘，眼眶边缘集合是由眼眶边缘线上的点的坐标组成的集合；步骤S18，对眼眶边缘itc1进行矩形拟合，得到能够包含边缘信息的最小矩阵，得到矩阵的x，y坐标和width，height信息；步骤S19，计算出拟合最小矩阵的中心坐标，判断矩形是否满足眼眶的预估计位置，若是满足则将眼眶边缘itc1添加到EyeEdge集合。进一步，所述实现方法还包括以下步骤：步骤S21，判断眼眶边缘itc1是否为眼眶边缘集合中最后一条未检测的边缘；步骤S22，赋值眼眶边缘itc1，令眼眶边缘itc1=眼眶边缘集合中下一条未检测眼眶边缘；步骤S23，判断EyeEdge集合是否为空；步骤S24，对EyeEdge集合拟合最小矩形得到矩形眼眶信息rect；步骤S25，对左眼、右眼的图像进行双边滤波并转化为灰度图像，设置阀值为24，即即threshold(24,THRESH_BINARY)，对图像双边滤波转化过来的灰度图进行二值化运算，设置算子大小为（9，9）对二值化运算之后得到的图像进行形态本文档来自技高网...

【技术保护点】
一种眼球识别多媒体播放器，包括显示器、半透镜、摄像头，其特征在于：所述显示器与半透镜相结合，采用木质结构固定半透镜紧贴在显示器前方，半透镜贴有单向透视反光薄膜，显示器通过USB接口连接摄像头。

【技术特征摘要】
1.一种眼球识别多媒体播放器，包括显示器、半透镜、摄像头，其特征在于：所述显示器与半透镜相结合，采用木质结构固定半透镜紧贴在显示器前方，半透镜贴有单向透视反光薄膜，显示器通过USB接口连接摄像头。2.一种眼球识别多媒体播放器的实现方法，其特征在于：所述实现方法是利用开源的人脸、人眼库，运用LBP算法、Haar算法进行机器学习，生成能够使用的LBP正脸识别分类器和Haar左右眼识别分类器，利用LBP正脸识别分类器和Haar左右眼识别分类器来实现多媒体播放器的眼球识别功能。3.如权利要求2所述的一种眼球识别多媒体播放器的实现方法，其特征在于：所述实现方法包括以下步骤：步骤S2，输入由摄像头获得的分辨率600*800的RGB人脸图像；步骤S3，计算输入图像的灰度图，将输入的RGB图像转换为灰度图像，提取输入图像矩阵中的绿色通道像素信息作为灰度图像GrayImg的初始值；步骤S4，检测灰度图像宽度为320，灰度图像的放缩比例为800/灰度图像宽度,灰度图像高度为600/灰度图像的放缩比例，将灰度图像GrayImg按比例进行缩放，缩放后的灰度图像的分辨率为240*320；步骤S5，将灰度图像GrayImg进行直方图均匀化处理，获得预处理的人脸图像PreprocessedImage，需要对图像进行双边滤波。4.如权利要求2所述的一种眼球识别多媒体播放器的实现方法，其特征在于：所述实现方法还包括以下步骤：步骤S6，设置检测参数：最小特征尺度minfeatureSize=Size(30,30)、检测范围因子searchScaleFactor=1.1f、最小临近因子minneighbors=4、检测方式标识位fiag=CASCADE_FIND_BIGGEST_OBJECT︱CASCADE_DO_ROUGH_SEARCH，使得检测检测结果为所检测到目标中最大的；加载提前训练好的LBP人脸检测器，在预处理过后的图像中获取到目标人脸TargetFace的位置信息（x,y,width,height）；步骤S8，对目标人脸TargetFace按照计算比例进行坐标逆向变换，计算变化过后的x、y坐标及width、height，在原始图中将人脸图像储存在新的内存区域中；步骤S9，根据坐标变换后得到的目标人脸信息TargetFace，在原输入图像中提取人脸信息储存为人脸图像FaceImage。5.如权利要求2所述的一种眼球识别多媒体播放器的实现方法，其特征在于：所述实现方法还包括以下步骤：步骤S10，提取输入图像矩阵中的绿色通道像素信息作为人脸图像FaceImage的灰度图像初始值，将人脸图像FaceImage的灰度图像进行直方图均匀化处理，计算人脸图像FaceImage的灰度图获得预处理的人脸图像preprocessedFace；步骤S11，初始化参数EYE_SX=0.16；EYE_SY=0.26；EYE_SW=0.30；EYE_SH=0.28，即初始化人眼位置估计比例：X、Y坐标、宽度、高度，在预处理的人脸图像preprocessedFace计算人眼位置：X、Y坐标、宽度、高度leftx、topy、widthx、heighty、rightx，从预处理的人脸图像preprocessedFace中提取左眼和右眼的预估计图像；步骤S12，利用训练好的Haar人眼检测器分别对左眼和右眼中预估图像来检测...

【专利技术属性】
技术研发人员：张文庆，李鉴修，
申请(专利权)人：张文庆，李鉴修，
类型：发明
国别省市：陕西,61