基于眼球动作识别的驾驶员疲劳检测方法技术

技术编号:18399343 阅读:218 留言:0更新日期:2018-07-08 19:44
本发明专利技术公开了一种基于眼球动作识别的驾驶员疲劳检测方法,其特征在于,包括:S1面部图像获取,S2图像预处理,S3投影积分计算,S4人眼区域定位,S5虹膜区域定位,S6眼部动作捕捉,S7疲劳状态检测。本发明专利技术方案使用灰度投影积分,将人脸结构特征结合灰度投影积分,在水平和垂直两个方向上计算人眼区域的灰度变化,从而得到人眼区域定位,在眼睛位置确定的眼睛区域图像内,使用虹膜的生理结构特性定位虹膜中心位置,然后使用参数化模板实现眼睛局部区域图像中上、下眼睑的定位和动作的识别,最后采用检测驾驶人眼睛动作特性的方法,检测驾驶人的疲劳状态。

【技术实现步骤摘要】
基于眼球动作识别的驾驶员疲劳检测方法
本专利技术属于视觉检测领域,涉及一种基于眼球动作识别的驾驶员疲劳检测方法。
技术介绍
疲劳驾驶是指由于驾驶环境的单调性或者长时间、超强度的行车,驾驶人因精力消耗过多而产生生理、心理机能衰退,造成反应水平、操控效率下降,进而导致驾驶技能降低,并影响正常驾驶的现象。驾驶人在疲劳时,对交通环境的感知能力、危险的判断能力和对车辆的操控能力均有不同程度的下降,极易引发交通事故。疲劳驾驶的主流检测方法是在驾驶人参与的情况下,对驾驶人的精神状态进行评定,可分为主观自评法与主观他评法。主观自评法是驾驶人对自身的疲劳状态进行自我评定的方法,通过驾驶人在驾车过程中回答实验人员的一些问题而获得驾驶人的疲劳状态。最常用的评价标准为KSS(KarolinskaSleepinessScale),该标准将驾驶人的疲劳状态从十分清醒到十分疲劳分为9个等级。该方法的优点是实施容易、通用性好,使用较为广泛;该方法的缺点是具有一定的侵入性,能够对驾驶人的精神状态造成一定的干扰。主观他评法中最常用的是基于面部视频的疲劳检测法,该方法由经过训练的评分专家根据驾驶人的面部表情对其疲劳状态进行评估;该方法采用的是离线评价的方式,不会对驾驶人的正常驾驶产生干扰,所以该方法是目前比较实用的驾驶人疲劳评定方法。受实际驾驶过程中的随机光照、驾驶人肢体动作、夜晚工况下成像模糊暗淡、墨镜工况下眼睛图像不可见等因素的影响,全天候、高鲁棒的基于面部视频的疲劳检测法依旧存在众多技术瓶颈。夜晚工况下,驾驶室内的光照不足,弱化了面部图像中各器官之间的边界,极易受到环境光照的影响而出现偏光侧光等面部图像,由此产生非结构边缘(非人脸生理特性边缘),严重影响到驾驶人的眼睛区域定位。为了减弱紫外线对于眼睛的伤害,以及环境中的眩光对于视觉观察的影响,驾驶人在白天光照强烈的情况下,倾向于佩戴墨镜,由此造成驾驶人眼睛区域图像的遮挡,无法捕捉到驾驶人的眼睛动作。终上所述,基于面部视频的疲劳检测法还存在许多问题。
技术实现思路
本专利技术目的在于克服现有技术的不足,尤其解决现有的面部视频的疲劳检测法中,接触式测量方法受实际驾驶过程中的随机光照、驾驶人肢体动作、夜晚工况下成像模糊暗淡、墨镜工况下眼睛图像不可见影响,导致检测失败的问题。为解决上述技术问题,本专利技术采用如下的技术方案:一种基于眼球动作识别的驾驶员疲劳检测方法,所述方法包括:S1面部图像获取,采用红外照明和红外滤光的方式获取人脸面部图像;S2图像预处理,对摄像头捕获的人脸图像进行预处理;S3投影积分计算,使用积分投影方法计算人脸图像的灰度变化;S4人眼区域定位,根据人眼比例和积分计算结果定位人眼区域;S5虹膜区域定位,在眼睛位置确定的眼睛区域图像内,根据虹膜的生理结构特性定位虹膜中心位置。S6眼部动作捕捉,根据特征点的定位结果,实现驾驶人眼睑轮廓动作的有效提取;S7疲劳状态检测,采用检测驾驶人眼睛动作特性的方法,检测驾驶人的疲劳状态。进一步地,所述步骤S2图像预处理操作包括:图像灰度化、图像均衡化、图像二值化、图像负片操作;进一步地,所述步骤S3投影积分计算操作包括:水平垂直积分操作和垂直积分投影操作;进一步地,所述步骤S3投影积分计算操作中,将图像分成左右两部分,分别进行投影积分计算;进一步地,所述步骤S4人眼区域定位操作中,根据人左右两眼间距的比例获取人眼区域;进一步地,所述步骤S6眼部动作捕捉操作中,利用眼睛区域引导特征点定位算法实现眼睛区域特征点的定位,并且根据面部纹理对特征点定位结果进行校验,以提高特征点定位的有效性,在眼睛位置确定的眼睛区域图像内,根据虹膜的生理结构特性定位虹膜中心位置,克服眼睛图像在不同光照条件下的成像差异。根据特征点的定位结果,实现驾驶人眼睑轮廓的有效提取;其过程包括:S61虹膜定位,S62眼睑轮廓定位。本专利技术与现有技术相比具有以下的有益效果:本专利技术方案使用灰度投影积分,将人脸结构特征结合灰度投影积分,在水平和垂直两个方向上计算人眼区域的灰度变化,从而得到人眼区域定位,在眼睛位置确定的眼睛区域图像内,使用虹膜的生理结构特性定位虹膜中心位置,然后使用参数化模板实现眼睛局部区域图像中上、下眼睑的定位和动作的识别,最后采用检测驾驶人眼睛动作特性的方法,检测驾驶人的疲劳状态;克服眼睛图像在不同光照条件下的成像差异,提高检测系统对于光照的适应性,克服驾驶人肢体动作、夜晚墨镜工况对于疲劳状态检测的影响。附图说明图1是本专利技术实施例的基于眼球动作识别的驾驶员疲劳检测方法的流程图。图2是本专利技术实施例的红外照明方式获取面部图像效果图。图3是本专利技术实施例的红外滤光片获取面部图像效果图。图4为本专利技术实施例的图像二值化结果示意图。图5为本专利技术实施例的图像负片结果示意图。图6为本专利技术实施例的积分投影计算结果曲线图。图7为本专利技术实施例的人眼参数比例关系示意图。图8是本专利技术实施例的虹膜定位效果图。图9是本专利技术实施例的眼睑轮廓定位效果图。具体实施方式下面结合附图及具体实施例对本专利技术进行更加详细与完整的说明。可以理解的是,此处所描述的具体实施例仅用于解释本专利技术,而非对本专利技术的限定。参照图1,本专利技术实施例的一种基于机器视觉的驾驶员疲劳检测方法,所述方法包括:S1面部图像获取。采用CCD摄像机采集驾驶人的面部图像,摄像机安装在车辆仪表盘附近。针对车辆的不同,摄像机焦距分别为8mm(乘用车)与12mm(商用车),本实施例中采用焦距为8mm的摄像机采集人脸图像。参照图2,为了克服夜晚工况下的弱光与侧光问题,同时避免对驾驶人的正常驾驶产生干扰,采用红外照明(850nm)的方式获取面部图像;参照图3,为了实现墨镜工况下的眼睛图像可见问题,采用红外滤光的方式获取红外光波段的面部图像。本实施例选用850nm红外滤光片获取面部图像,该滤光片可以获取波长大于800nm的面部反射光。S2,图像预处理,具体过程包括:S21图像灰度化、S22图像均衡化、S23图像二值化、S24图像负片操作。S11图像灰度化:相机获取的人眼图像是彩色图像,包含的信息量大,图像处理速度较慢。考虑到人机交互对实时性的要求高,对彩色图像进行灰度化处理是必须的。灰度化就是使彩色像素的R、G、B分量值相等的过程,灰度图像中的灰度值等于原彩色图像中的RGB平均值,即Gray=(R+G+B)/3(1)S22图像均衡化:直方图均衡化使图像的灰度间距拉开或使灰度分布均匀,从而增大反差,使图像细节清晰,达到图像增强的目的。其具体方法是:首先给出原始图像的所有灰度级Sk(k=0,1,......,L-1);然后统计原始图像各灰度级的像素数nk;利用式(2)计算原始图像的直方图后再用(3)式计算原始图像的积累直方图:P(Sk)=nk/n,k=0,1,...,L-1(2)p(tk)=nk/n(4)其中,n是图像像素总数。对灰度值tk取整,确定Sk→tk的映射关系后统计新直方图各灰度级的像素数nk;最后利用式(4)计算新的直方图。S23图像二值化:用最大类间方差法进行图像二值化,过程为:设图像共有L个灰度级,灰度值为i的像素点共有ni个,图像共有N个像素点,归一化灰度直方图,令设定一个阈值t,根据灰度值将像素点分成c0和c1两类。c0的概率ω0、均值μ0:c1的概本文档来自技高网
...

【技术保护点】
1.一种基于眼球动作识别的驾驶员疲劳检测方法,其特征在于,所述方法包括:S1面部图像获取,采用红外照明和红外滤光的方式获取人脸面部图像;S2图像预处理,对摄像头捕获的人脸图像进行预处理;S3投影积分计算,使用积分投影方法计算人脸图像的灰度变化;S4人眼区域定位,根据人眼比例和积分计算结果定位人眼区域;S5虹膜区域定位,在眼睛位置确定的眼睛区域图像内,根据虹膜的生理结构特性定位虹膜中心位置;S6眼部动作捕捉,根据特征点的定位结果,实现驾驶人眼睑轮廓动作的有效提取;S7疲劳状态检测,采用检测驾驶人眼睛动作特性的方法,检测驾驶人的疲劳状态。

【技术特征摘要】
1.一种基于眼球动作识别的驾驶员疲劳检测方法,其特征在于,所述方法包括:S1面部图像获取,采用红外照明和红外滤光的方式获取人脸面部图像;S2图像预处理,对摄像头捕获的人脸图像进行预处理;S3投影积分计算,使用积分投影方法计算人脸图像的灰度变化;S4人眼区域定位,根据人眼比例和积分计算结果定位人眼区域;S5虹膜区域定位,在眼睛位置确定的眼睛区域图像内,根据虹膜的生理结构特性定位虹膜中心位置;S6眼部动作捕捉,根据特征点的定位结果,实现驾驶人眼睑轮廓动作的有效提取;S7疲劳状态检测,采用检测驾驶人眼睛动作特性的方法,检测驾驶人的疲劳状态。2.根据权利要求1所述的一种基于眼球动作识别的驾驶员疲劳检测方法,其特征在于,所述步骤S2图像预处理操作包括:图像灰...

【专利技术属性】
技术研发人员:钟鸿飞覃争鸣杨旭
申请(专利权)人:广州映博智能科技有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1