眼睛睁闭判定装置以及眼睛睁闭判定方法制造方法及图纸

眼睛睁闭判定装置(100)中的影像取得部(10)从相机(60)取得影像数据。面部朝向检测部(20)基于由影像取得部(10)取得的影像数据中的面部图像，检测面部朝向。眼睛图像提取部(30)基于由影像取得部(10)取得的影像数据中的面部图像，提取包含眼睛区域的眼睛图像。眼睛睁闭判定部(40)基于从眼睛图像取得的眼睛睁开量、睁眼基准值和闭眼基准值，判定眼睛睁闭状态。眼睛睁闭判定部(40)具有与面部朝向相应的睁眼基准值和闭眼基准值，基于由面部朝向检测部(20)检测出的面部朝向，切换睁眼基准值和闭眼基准值。和闭眼基准值。和闭眼基准值。

【技术实现步骤摘要】
【国外来华专利技术】眼睛睁闭判定装置以及眼睛睁闭判定方法


[0001]本专利技术涉及眼睛睁闭判定装置以及眼睛睁闭判定方法。

技术介绍

[0002]例如，在搭载于车辆的驾驶员监视器等中，对车室内进行拍摄而将包含驾驶员在内的影像存储于存储装置。拍摄到的车室内的影像例如用于确认驾驶员面部朝向的方向等驾驶状况、车厢内搭乘者的行动等。
[0003]例如，在专利文献1中记载了检测眼睛睁闭状态的现有的检测装置。该检测装置具备面部朝向检测部、眼睛检测部以及睁闭度计算部。面部朝向检测部基于由相机拍摄到的作为人面部的图像的面部图像，检测人的面部朝向。眼睛检测部基于面部图像来检测人眼的大小。睁闭度计算部基于检测到的人的面部朝向将表示基于面部图像中的人眼大小的人眼睁开程度的睁闭度校正为从正面观察人面部时的值来计算。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1：日本特开2010
‑
134490号公报。

技术实现思路

[0007]在专利文献1中，记载有根据面部朝向利用计算出的值来校正眼睛睁闭度的技术。本专利技术人注意到，在面部朝向在左右方向上摆动的情况下，即使是相同的眼睛开度，由于眼睑的起伏等的影响，眼睛睁开量的实测值也与计算值不同，认为在提高眼睛睁闭状态的判定精度方面存在改善的余地。另外，本专利技术人注意到，如果相机设置于面部的斜前上方时，当面部沿左右方向摆动时，眼睛睁开量的实测值变化很大，眼睛睁闭状态的判定精度会降低。
[0008]本专利技术是鉴于上述情况而完成的，其目的在于提供一种能够使基于拍摄到的面部图像判定眼睛睁闭状态的精度良好的眼睛睁闭判定装置以及眼睛睁闭判定方法。
[0009]本实施方式的一个方式是眼睛睁闭判定装置。眼睛睁闭判定装置包括：影像取得部，从相机取得影像数据；面部朝向检测部，基于由所述影像取得部取得的影像数据中的面部图像，检测面部朝向；眼睛图像提取部，基于由所述影像取得部取得的影像数据中的面部图像，提取包含眼睛区域的眼睛图像；以及眼睛睁闭判定部，基于从所述眼睛图像取得的眼睛睁开量、睁眼基准值和闭眼基准值，判定眼睛睁闭状态，所述眼睛睁闭判定部具有与面部朝向相应的所述睁眼基准值和所述闭眼基准值，基于由所述面部朝向检测部检测出的面部朝向，切换所述睁眼基准值和所述闭眼基准值。
[0010]另外，本实施方式的另一方式是眼睛睁闭判定装置中的眼睛睁闭判定方法。该眼睛睁闭判定方法包括：影像取得步骤，从相机取得影像数据；面部朝向检测步骤，基于由所述影像取得步骤取得的影像数据中的面部图像，检测面部朝向；眼睛图像提取步骤，基于由所述影像取得步骤取得的影像数据中的面部图像，提取包含眼睛区域的眼睛图像；以及眼
睛睁闭判定步骤，基于从所述眼睛图像取得的眼睛睁开量、睁眼基准值和闭眼基准值，判定眼睛睁闭状态，所述眼睛睁闭判定步骤具有与面部朝向相应的所述睁眼基准值和所述闭眼基准值，基于由所述面部朝向检测步骤检测出的面部朝向，切换所述睁眼基准值和所述闭眼基准值。
[0011]根据本实施方式，能够使基于拍摄到的面部图像判定眼睛睁闭状态的精度良好。
附图说明
[0012]图1是示出包括实施方式所涉及的眼睛睁闭判定装置的影像处理装置的结构的框图。
[0013]图2是用于说明面部朝向的示意图。
[0014]图3的(a)是示出眼睛睁开状态的眼睛图像的示意图，图3的(b)是示出眼睛闭合状态的示意图。
[0015]图4是用于说明睁眼基准值和闭眼基准值的示意图。
[0016]图5是用于说明根据面部朝向而变化的眼睛睁开量的示意图。
[0017]图6是用于说明基于双眼或单眼的眼睛睁闭状态的判定的示意图。
[0018]图7是示出眼睛睁闭判定装置中的眼睛睁闭状态的判定处理的顺序的流程图。
具体实施方式
[0019]以下，基于优选的实施方式，参照图1至图7对本专利技术进行说明。对各附图所示的相同或同等的构成要素、部件标注相同的附图标记，适当省略重复的说明。另外，在各附图中省略表示在说明实施方式时不重要的部件的一部分。
[0020](实施方式)
[0021]图1是示出包括实施方式所涉及的眼睛睁闭判定装置100的影像处理装置110的结构的框图。影像处理装置110例如是驾驶员监视器，搭载于车辆，在时间上连续拍摄车辆的车室内的乘员。影像处理装置110可以记录拍摄到的影像，也可以不记录而废弃。
[0022]影像处理装置110例如配置于车辆的挡风玻璃下方的仪表板上、后视镜等。影像处理装置110例如拍摄包含搭乘于车辆的驾驶员作为被摄像体的影像，对拍摄到的被摄像体的面部整体或者眼睛等面部的部位进行图像识别。
[0023]影像处理装置110包括相机60、记录部70、外部输出部80和眼睛睁闭判定装置100等。眼睛睁闭判定装置100基于面部图像的影像数据来检测面部朝向。眼睛睁闭判定装置100从截取了各眼睛的区域的眼睛图像求出眼睛的睁开量，并基于睁眼基准值和闭眼基准值来判定影像数据所包含的眼睛睁闭状态。眼睛睁闭判定装置100将从睁眼基准值减去闭眼基准值而得到的差值设为100％，求出眼睛的睁开量相对于差值的比例即眼睛睁闭度，来判定眼睛睁闭状态。
[0024]相机60例如是具有CMOS传感器、CCD传感器等检测器的拍摄装置，拍摄包含搭乘于车辆的例如驾驶员作为被摄像体的影像。相机60在时间上连续地取得影像数据，并向后述的影像取得部10送出。
[0025]记录部70例如是SD卡、USB存储器等可拆装的介质、硬盘等，能够记录、删除由后述的影像取得部10取得的影像数据。记录部70也可以构成为能够相对于影像处理装置110可
拆装，在该情况下，能够从影像处理装置110取下，通过其他PC等再现影像数据等。
[0026]外部输出部80将记录于记录部70的影像数据、以及由眼睛睁闭判定装置100判定出的眼睛睁闭状态的数据等向外部装置输出。此外，外部输出部80也可以将由眼睛睁闭判定装置100检测出的与驾驶员的面部朝向相关的数据等向外部装置输出。
[0027]眼睛睁闭判定装置100具有影像取得部10、面部朝向检测部20、眼睛图像提取部30和眼睛睁闭判定部40。眼睛睁闭判定装置100例如由CPU等构成，通过按照计算机程序进行动作，执行上述各部的处理。存储部101由RAM(Random Access Memory，随机存取存储器)、闪存、硬盘存储装置等数据存储装置构成，存储由眼睛睁闭判定装置100执行的计算机程序、临时的处理数据等。另外，存储部101存储有用于从拍摄到的影像中识别被摄像体的面部、眼睛等的识别用辞典等。
[0028]影像取得部10从相机60取得影像数据并进行数据压缩等处理，向面部朝向检测部20、眼睛图像提取部30和记录部70输出。此外，影像取得部10也可以构成为包括相机60。
[0029]面部朝向检测部20基于存储于存储部101的识别用辞典、学习型运算模型等，识别从影像取得部10输入的影像数据中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种眼睛睁闭判定装置，其特征在于，包括：影像取得部，从相机取得影像数据；面部朝向检测部，基于由所述影像取得部取得的影像数据中的面部图像，检测面部朝向；眼睛图像提取部，基于由所述影像取得部取得的影像数据中的面部图像，提取包含眼睛区域的眼睛图像；以及眼睛睁闭判定部，基于从所述眼睛图像取得的眼睛睁开量、睁眼基准值和闭眼基准值，判定眼睛睁闭状态，所述眼睛睁闭判定部具有与面部朝向相应的所述睁眼基准值和所述闭眼基准值，基于由所述面部朝向检测部检测出的面部朝向，切换所述睁眼基准值和所述闭眼基准值。2.根据权利要求1所述的眼睛睁闭判定装置，其特征在于，所述眼睛睁闭判定部在针对一个眼睛图像难以判定眼睛睁闭状态时，基于另一个眼睛图像来判定眼睛睁闭状态。3.根据权利要求2所述的眼睛睁闭判定装置，其特征在于，当变成针对所述一个眼睛图像能够判定眼睛睁闭状态的状态时，所述眼睛睁...

【专利技术属性】
技术研发人员：小矶久，
申请(专利权)人：JVC建伍株式会社，
类型：发明
国别省市：