眼睑检测装置、瞌睡判定装置、及眼睑检测方法制造方法及图纸

眼睑检测装置(10)包括：脸部特征点检测部(13)，该脸部特征点检测部(13)根据拍摄图像来检测外眼角及内眼角以作为脸部特征点；眼部区域检测部(14)，该眼部区域检测部(14)基于脸部特征点根据拍摄图像对包含上眼睑区域及眼睛区域的眼部区域进行检测；以及上眼睑检测部(15)，该上眼睑检测部(15)针对每个将眼部区域分割成多个区域而得的分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测，并连接针对每个分割区域所检测出的上眼睑区域与眼睛区域的边界来设为上眼睑。

Eyelid Detection Device, Sleep Detection Device and Eyelid Detection Method

【技术实现步骤摘要】
【国外来华专利技术】眼睑检测装置、瞌睡判定装置、及眼睑检测方法
本专利技术涉及对眼睑进行检测的眼睑检测装置及眼睑检测方法、以及基于检测出的眼睑对瞌睡进行判定的瞌睡判定装置。
技术介绍
存在对车辆驾驶员的眼睛的睁开程度(以下，称为“开眼度”)进行检测的驾驶员监控装置。现有的驾驶员监控装置从拍摄了驾驶员的脸部的图像中提取眼部区域，对于眼部区域的图像实施边缘检测及曲线检测，从而检测出上下眼睑(例如，参照专利文献1)。现有技术文献专利文献专利文献1日本专利特开2000-137792号公报
技术实现思路
专利技术所要解决的技术问题现有的驾驶员监控装置如上述那样构成，因此存在下述问题：因拍摄到对眼睑化了较粗的眼线或浓的眼影等浓妆的驾驶员的图像而检测到化妆区域与非化妆区域的边界，进而导致将该边界误检测为上眼睑。并且，驾驶员监控装置存在下述问题：因拍摄到脸部轮廓分明而在眉眼处易出现阴影的驾驶员的图像而检查到阴影区域与非阴影区域的边界，进而导致将该边界误检测为上眼睑。在误检测出上眼睑的情况下，即使驾驶员正闭眼中驾驶员监控装置也会误判定为开眼，无法计算正确的开眼度，导致瞌睡判定处理不能正常地动作。本专利技术是为了解决上述的问题而完成的，其目的在于对在眉眼处有化妆或阴影的人物的上眼睑高精度地进行检测。解决技术问题所采用的技术方案本专利技术所涉及的眼睑检测装置包括：脸部特征点检测部，该脸部特征点检测部根据拍摄图像来检测外眼角及内眼角以作为脸部特征点；眼部区域检测部，该眼部区域检测部基于脸部特征点根据拍摄图像对包含上眼睑区域及眼睛区域的眼部区域进行检测；以及上眼睑检测部，该上眼睑检测部针对每个将眼部区域分割成多个区域而得的分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测，并连接针对每个分割区域所检测出的边界来设为上眼睑。专利技术效果根据本专利技术，由于针对每个将眼部区域分割成多个而得的分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测，并连接针对每个分割区域所检测出的边界来设为上眼睑，因此，能对在眉眼处有化妆或阴影的人物的上眼睑高精度地进行检测。附图说明图1是表示本专利技术的实施方式1所涉及的眼睑检测装置的结构例的框图。图2A及图2B是表示本专利技术的实施方式1所涉及的眼睑检测装置的硬件结构例的图。图3是表示本专利技术的实施方式1所涉及的眼睑检测装置的动作例的流程图。图4是图3的步骤ST15中的处理的详细的流程图。图5是由本专利技术的实施方式1所涉及的眼睑检测装置的眼部区域检测部检测出的眼部区域的图像例。图6A及图6B是说明本专利技术的实施方式1所涉及的眼睑检测装置的上眼睑检测部所采用的配置图案的判定方法的图。图7A、图7B及图7C是说明本专利技术的实施方式1所涉及的眼睑检测装置的上眼睑检测部所采用的上眼睑区域与眼睛区域的边界检测方法的图。图8是表示图5的眼部区域中的配置图案及边界的图。图9是表示图5的眼部区域中的上眼睑的图。图10是表示本专利技术的实施方式2所涉及的眼睑检测装置的结构例的框图。图11是表示本专利技术的实施方式2所涉及的眼睑检测装置的动作例的流程图。图12A、图12B及图12C是说明本专利技术的实施方式2所涉及的眼睑检测装置所采用的上眼睑检测方法的图。图13是表示本专利技术的实施方式3所涉及的眼睑检测装置的结构例的框图。图14是表示本专利技术的实施方式3所涉及的眼睑检测装置的动作例的流程图。图15是说明本专利技术的实施方式3所涉及的眼睑检测装置的上下眼睑检测部所采用的上下眼睑检测方法的图。图16A、图16B及图16C是说明本专利技术的实施方式3所涉及的眼睑检测装置的开眼度计算部所采用的开眼度计算方法的图。图17是表示本专利技术实施方式4所涉及的瞌睡判定装置的结构例的框图。具体实施方式下面，为了对本专利技术进行更加详细的说明，根据附图对用于实施本专利技术的方式进行说明。实施方式1.图1是表示本专利技术的实施方式1所涉及的眼睑检测装置10的结构例的框图。图1所示的眼睑检测装置10具备图像获取部11、脸部检测部12、脸部特征点检测部13、眼部区域检测部14、上眼睑检测部15、及控制部16。并且，眼睑检测装置10与拍摄部1相连接。以下，举例示出将眼睑检测装置10搭载于车辆并对驾驶员的眼睑进行检测的情况。眼睑检测装置10是对在眼睑处化了浓妆的驾驶员、及脸部轮廓分明而在眉眼处易出现阴影的驾驶员的上眼睑高精度地进行检测的装置。拍摄部1具备在车厢内所设置的单个或多个摄像头。对于拍摄部1，可以使用在可见光区域具有灵敏度的摄像头，还可以使用红外线摄像头等在非可见光区域具有灵敏度的摄像头。在拍摄部1使用红外线摄像头等的情况下，将照射红外线等非可见光的LED(LightEmittingDiode：发光二极管)等照明装置设置于车厢内来对驾驶员进行照射。该拍摄部1在控制部16的控制下对驾驶员的脸部进行拍摄，并将拍摄图像输出至图像获取部11。图像获取部11从拍摄部1获取拍摄图像，输出至控制部16。脸部检测部12从控制部16接受图像获取部11从拍摄部1获取到的拍摄图像。脸部检测部12根据拍摄图像检测驾驶员的脸部，并将脸部检测结果输出至控制部16。脸部检测部12例如是使用哈尔特征(Haar-like)检测器、及对Adaboost和Cascade进行组合而得的一般性算法所生成的识别器。另外，拍摄部1等外部装置可以是具备脸部检测部12的结构，而眼睑检测装置10可以不是具备脸部检测部12的结构。在外部装置是具备脸部检测部12的结构的情况下，图像获取部11从外部装置的脸部检测部12获取拍摄图像和脸部检测结果并输出至控制部16。脸部特征点检测部13从控制部16接受图像获取部11从拍摄部1获取到的拍摄图像、及脸部检测部12检测出的脸部检测结果。脸部特征点检测部13基于脸部检测结果，根据拍摄图像上的脸部的位置对外眼角及内眼角进行检测以作为脸部特征点，并将脸部特征点检测结果输出至控制部16。脸部特征点检测部13例如是使用模型拟合或被称为弹性束图匹配(ElasticBunchGraphMatching)的方法等一般性算法所生成的检测器。另外，拍摄部1等外部装置可以是具备脸部特征点检测部13的结构，而眼睑检测装置10可以不是具备脸部特征点检测部13的结构。在外部装置是具备脸部特征点检测部13的结构的情况下，图像获取部11从外部装置的脸部特征点检测部13获取拍摄图像和脸部特征点检测结果并输出至控制部16。眼部区域检测部14从控制部16接受图像获取部11从拍摄部1获取到的拍摄图像、及脸部特征点检测部13检测出的脸部特征点检测结果。眼部区域检测部14基于脸部特征点检测结果的外眼角及内眼角的位置，根据拍摄图像检测眼部区域，并将眼部区域图像输出至控制部16。眼部区域包含上眼睑区域及眼睛区域。眼睛区域包含眼白和虹膜的区域。对于基于外眼角及内眼角的位置的眼部区域的检测方法可以使用公知的技术，因此省略说明。上眼睑检测部15从控制部16接受眼部区域检测部14所检测出的眼部区域的图像。上眼睑检测部15将眼部区域分割成多个区域，针对每个分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测。而且，上眼睑检测部15连接针对每个分割区域所检测出的边界来设为上眼睑的线，本文档来自技高网...

【技术保护点】
1.一种眼睑检测装置，其特征在于，包括：脸部特征点检测部，该脸部特征点检测部根据拍摄图像来检测外眼角及内眼角以作为脸部特征点；眼部区域检测部，该眼部区域检测部基于所述脸部特征点根据所述拍摄图像对包含上眼睑区域及眼睛区域的眼部区域进行检测；以及上眼睑检测部，该上眼睑检测部针对每个将所述眼部区域分割成多个区域而得的分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测，并连接针对每个所述分割区域所检测出的所述边界来设为上眼睑。

【技术特征摘要】
【国外来华专利技术】1.一种眼睑检测装置，其特征在于，包括：脸部特征点检测部，该脸部特征点检测部根据拍摄图像来检测外眼角及内眼角以作为脸部特征点；眼部区域检测部，该眼部区域检测部基于所述脸部特征点根据所述拍摄图像对包含上眼睑区域及眼睛区域的眼部区域进行检测；以及上眼睑检测部，该上眼睑检测部针对每个将所述眼部区域分割成多个区域而得的分割区域，基于在分割区域内排列的像素的亮度值的配置图案来对上眼睑区域与眼睛区域的边界进行检测，并连接针对每个所述分割区域所检测出的所述边界来设为上眼睑。2.如权利要求1所述的眼睑检测装置，其特征在于，所述分割区域是连接所述眼部区域的一端至相反侧的一端的区域。3.如权利要求1所述的眼睑检测装置，其特征在于，所述上眼睑检测部在一个所述分割区域内，使用第一阈值及值比所述第一阈值大的第二阈值，将具有所述第一阈值以上且小于所述第二阈值的亮度值的像素连续排列的配置图案设为所述上眼睑区域，将具有小于所述第一阈值的亮度值的像素及具有所述第二阈值以上的亮度值的像素连续排列的配置图案、或具有小于所述第一阈值的亮度值的像素连续排列的配置图案、或具有所述第二阈值以上的亮度值的像素连续排列的配置图案设为所述眼睛区域。4.如权利要求1所述的眼睑检测装置，其特征在于，包括上下眼睑检测部，该上下眼睑检测部基于所述脸部特征点从所述眼部区域中检测假定上眼睑和下眼睑，在由所述上下...

【专利技术属性】
技术研发人员：田原奈津季，中村雄大，平野敬，大泽政信，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本,JP