一种自动识别人像图片是否闭眼的方法技术

一种自动识别人像图片是否闭眼的方法，包括：采集人像图片；检测获取人像图片中左、右眼周围特征点的坐标；从人像图片中截取左、右眼图片；训练左、右眼‑卷积神经网络，左或右眼‑卷积神经网络的输入是左或右眼图片，输出是左或右眼是否闭眼的概率；将从待识别人像图片中截取出的左、右眼图片分别输入训练后的左、右眼‑卷积神经网络，然后从左、右眼‑卷积神经网络中分别提取中间层的输出作为左、右眼特征向量，并构成眼部整体特征向量；对眼部整体特征向量进行线性变换，并采用归一化指数函数计算左闭眼、右闭眼、双眼闭眼和睁眼的概率，以据此判断左、右眼是否闭眼。本发明专利技术属于信息技术领域，能精确识别人像图片中的左、右眼是否闭眼。

A Method for Automatic Recognition of Closed Eye in Portrait Pictures

【技术实现步骤摘要】
一种自动识别人像图片是否闭眼的方法
本专利技术涉及一种自动识别人像图片是否闭眼的方法，属于信息

技术介绍
当前，在很多场景下需要对图片中的人是否发生闭眼进行识别，包括有：场景一：自助拍摄身份照片如今很多办理身份信息录入的地点，都有自助拍摄身份照片的功能，然而这种自助式的拍摄，由于没有工作人员的筛选把关，虽然根据提示图片大体的位置、是否脱帽等问题可以解决，但是类似于拍摄时办理者是否恰好闭眼，这种拍摄后才可以识别的细节，往往办理者不会注意到，而眼睛是识别人身份的一个非常重要的部位，这就需要系统有智能识别图片中人脸是否闭眼的功能。场景二：智能检测上传的身份图片网上需上传身份信息的场景下，若人工筛选图片是否达标，一来耗时耗力，二来不能保证实时性。而显然人脸图像是否闭眼是判断图片是否达标的一项重要标准。这就大大提升了检测照片的效率。场景三：判断人疲劳、睡眠状态在一些实时监控人体信息的场景下，需要定时检测抽取图片检测人体情况。其中有一个部分就是检测人是否闭眼，若长时间检测出闭眼，则定义为人为睡眠状态。专利申请CN201710357686.3(申请名称：一种电视智能检测用户睡眠状态的系统及方法，申请人：武汉理工大学，申请日：2017-05-19)公开了一种电视智能检测用户睡眠状态的系统及方法，系统包括图像采集模块、人脸检测模块、人脸识别模块、脸部追踪模块、人眼定位模块、睁/闭眼识别模块、疲劳检测模块、电视感应模块；图像采集模块用于采集图像；人脸检测模块用于对采集的第一帧图像进行人脸检测，找到脸部所在位置；人脸识别模块用于对检测到的人脸进行身份识别，获取该人的疲劳参数；脸部追踪模块、人眼定位模块、睁/闭眼识别模块用于对第一帧之后的图像中对人脸部分进行跟踪并找到人眼部位，分割出人眼部位并对其进行睁/闭检测；疲劳检测模块用于统计单位时间内闭眼帧数占总帧的比值，进行疲劳检测；电视感应模块依据不同的精神状态，控制电视做出相应的感应行为。该技术方案先检测出人脸位置，然后将其中1/3到1/2分割出人眼部位，由于分割出的部分除了两眼之外还有很多无关的像素点，这会致使实现效果被大大的降低，并且采用adboost做分类直接用像素作为输出，其识别率也不会很高。因此，如何精确识别人像图片中的左、右眼是否闭眼，已成为技术人员急需解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的是提供一种自动识别人像图片是否闭眼的方法，能精确识别人像图片中的左、右眼是否闭眼。为了达到上述目的，本专利技术提供了一种自动识别人像图片是否闭眼的方法，包括有：步骤一、采集人像图片；步骤二、检测获取人像图片中左、右眼周围特征点的坐标；步骤三、根据左、右眼周围特征点的坐标，从人像图片中分别截取出左、右眼图片；步骤四、以多张闭眼和非闭眼的左、右眼图片为训练样本，分别训练左眼-卷积神经网络和右眼-卷积神经网络，左或右眼-卷积神经网络的输入是左或右眼图片，输出是左或右眼是否闭眼的概率；步骤五、将从待识别人像图片中截取出的左、右眼图片分别输入训练后的左眼-卷积神经网络、右眼-卷积神经网络，然后从左眼-卷积神经网络和右眼-卷积神经网络中分别提取中间层的输出作为左和右眼特征向量，并构成眼部整体特征向量；步骤六、对眼部整体特征向量进行线性变换，并采用归一化指数函数分别计算左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率，以据此来判断待识别人像图片中左、右眼是否闭眼。与现有技术相比，本专利技术的有益效果是：本专利技术从人像图片中分别截取左、右眼图片，能避免截取与眼睛无关的其他象素点，从而能有效缩小输入图片尺寸、提高训练效率和识别准确率；本专利技术使用卷积神经网络来提取人脸的高维特征，比如人眼的轮廓，弧度等，且最后输出是四类，而不是单纯两类，因此能准确识别人的哪只眼睛闭眼或者全闭眼，从而有效应用于人证核验等要求人眼必须全部睁开的应用场景，并提醒拍照者在下次拍照时应注意的问题。附图说明图1是本专利技术一种自动识别人像图片是否闭眼的方法的流程图。图2是图1步骤三中，从人像图片中截取出左(或右)眼图片的具体步骤流程图。图3是图1步骤五的具体步骤流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面结合附图对本专利技术作进一步的详细描述。如图1所示，本专利技术一种自动识别人像图片是否闭眼的方法，包括有：步骤一、采集人像图片；步骤二、检测获取人像图片中左、右眼周围特征点的坐标；步骤三、根据左、右眼周围特征点的坐标，从人像图片中分别截取出左、右眼图片；步骤四、以多张闭眼和非闭眼的左、右眼图片为训练样本，分别训练左眼-卷积神经网络和右眼-卷积神经网络，左或右眼-卷积神经网络的输入是左或右眼图片，输出是左或右眼是否闭眼的概率；步骤五、将从待识别人像图片中截取出的左、右眼图片分别输入训练后的左眼-卷积神经网络、右眼-卷积神经网络，然后从左眼-卷积神经网络和右眼-卷积神经网络中分别提取中间层的输出作为左和右眼特征向量，并构成眼部整体特征向量；步骤六、对眼部整体特征向量进行线性变换，并采用归一化指数函数分别计算左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率，以据此来判断待识别人像图片中左、右眼是否闭眼。步骤二可以采用face_recognition库中face_landmarks方法，获取左、右眼睛周围的6个坐标点的值。face_recognition库包括人脸检测、人脸关键点检测、人脸识别等接口，可以通过python或者命令行即可实现人脸识别的功能。通过face_recognition库中的face_landmarks方法可以得到人脸特征点list，每个人脸是一个字典，包括nose_bridge、right_eyebrow、right_eye、chine、left_eyebrow、bottom_lip、nose_tip、top_lip、left_eye几个部分，每个部分包含若干个特征点，总共有68个特征点，本专利技术从中选取right_eye、left_eye(即右眼、左眼)周围的6个坐标点。在识别人像图片是否闭眼时，若对整张图片进行识别，会受到人脸占图片比例的影响，导致识别结果不够准确。因此，为了更精确的识别人像图像中是否闭眼，我们先找到人脸特征点，进而分割对应的眼睛位置，且每只眼睛单独分割(避免由于单眼闭眼而漏判的情况)，对分割后的部分图片再进一步分析。如图2所示，步骤三中，从人像图片中截取出左(或右)眼图片，还可以进一步包括有：步骤31、从左(或右)眼周围特征点的坐标中，选取最右侧特征点的坐标x_max、最左侧特征点的坐标x_min、最下侧特征点的坐标y_max、最上侧特征点的坐标y_min；步骤32、分别计算左(或右)眼图片截取的横向长度x_d和纵向长度y_d：x_d＝0.2*(x_max-x_min)，y_d＝0.5*(y_max-y_min)；步骤33、计算左(或右)眼图片截取的四边坐标：top＝y_min-y_d，bottom＝y_max+y_d，left＝x_min-x_d，right＝x_max+x_d，其中，top是左(或右)眼图片的最顶端坐标，bottom是左(或右)眼图片的最低端坐标，left是左(或右)眼图片的最左侧坐标，right是左(或右)眼图片的最右侧坐标；步骤34、按照左(或右)本文档来自技高网...

【技术保护点】
1.一种自动识别人像图片是否闭眼的方法，其特征在于，包括有：步骤一、采集人像图片；步骤二、检测获取人像图片中左、右眼周围特征点的坐标；步骤三、根据左、右眼周围特征点的坐标，从人像图片中分别截取出左、右眼图片；步骤四、以多张闭眼和非闭眼的左、右眼图片为训练样本，分别训练左眼‑卷积神经网络和右眼‑卷积神经网络，左或右眼‑卷积神经网络的输入是左或右眼图片，输出是左或右眼是否闭眼的概率；步骤五、将从待识别人像图片中截取出的左、右眼图片分别输入训练后的左眼‑卷积神经网络、右眼‑卷积神经网络，然后从左眼‑卷积神经网络和右眼‑卷积神经网络中分别提取中间层的输出作为左和右眼特征向量，并构成眼部整体特征向量；步骤六、对眼部整体特征向量进行线性变换，并采用归一化指数函数分别计算左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率，以据此来判断待识别人像图片中左、右眼是否闭眼。

【技术特征摘要】
1.一种自动识别人像图片是否闭眼的方法，其特征在于，包括有：步骤一、采集人像图片；步骤二、检测获取人像图片中左、右眼周围特征点的坐标；步骤三、根据左、右眼周围特征点的坐标，从人像图片中分别截取出左、右眼图片；步骤四、以多张闭眼和非闭眼的左、右眼图片为训练样本，分别训练左眼-卷积神经网络和右眼-卷积神经网络，左或右眼-卷积神经网络的输入是左或右眼图片，输出是左或右眼是否闭眼的概率；步骤五、将从待识别人像图片中截取出的左、右眼图片分别输入训练后的左眼-卷积神经网络、右眼-卷积神经网络，然后从左眼-卷积神经网络和右眼-卷积神经网络中分别提取中间层的输出作为左和右眼特征向量，并构成眼部整体特征向量；步骤六、对眼部整体特征向量进行线性变换，并采用归一化指数函数分别计算左眼闭眼、右眼闭眼、双眼闭眼和双眼睁眼的概率，以据此来判断待识别人像图片中左、右眼是否闭眼。2.根据权利要求1所述的方法，其特征在于，步骤二采用face_recognition库中face_landmarks方法，获取左、右眼睛周围的6个坐标点的值。3.根据权利要求1所述的方法，其特征在于，步骤三中，从人像图片中截取出左或右眼图片，进一步包括有：步骤31、从左或右眼周围特征点的坐标中，选取最右侧特征点的坐标x_max、最左侧特征点的坐标x_min、最下侧特征点的坐标y_max、最上侧特征点的坐标y_min；步骤32、分别计算左或右眼图片截取的横向长度x_d和纵向长度y_d：x_d＝0.2*(x_max-x_min)，y_d＝0.5*(y_max-y_min)；步骤33、计算左或右眼图片截取的四边坐标：top＝y_min-y_d，bottom＝y_max+y_d，left＝x_min-x_d，right＝x_max+x_d，其中，top是左或右眼图片的最顶端坐标，bottom是左或右眼图片的最低端坐标，left是左或右眼图片的最左侧坐标，right是左或右眼图片的最右侧坐标；步骤34、按照左或右眼图片截取的四边坐标，从人像图片中截取出左或右眼图片。4.根据权利要求1所述的方法，其特征在于，步骤四采用Xception神经网络模型。5.根据权利要求1所述的方法，其特征在于，步骤五进一步包括有：步骤51、将从待识别人像图片中截取出的左眼图片输入训练后的左眼-卷积神经网络，并从左眼-卷积神经网络中提取倒数第二层的...

【专利技术属性】
技术研发人员：廖建新，王玉龙，赵海秀，王晶，刘同存，杨智鸿，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11