眼部检测装置、方法制造方法及图纸

本发明专利技术提供即使在人脸整体运动的情况下也能够检测对象人的眼部位置的眼部检测装置、方法。眼部检测装置(100)具有：拍摄部(4)、提取包含鼻部的眼睛搜索区域的眼睛搜索区域提取部(12)、修正帧的位置偏差的位置偏差修正部(14)、作成修正过的两个图像的差分图像的差分图像作成部(16)、将差分图像三值化的三值化处理部(18)、根据差分图像检测眼部的眼部检测部(24)、及判断眨眼动作的眨眼动作判断部(26)。

【技术实现步骤摘要】

本专利技术涉及车辆等的操作者的眼部检测装置、方法。
技术介绍
近年来，根据所拍摄到的静态图像或动态图像，识别人脸的人脸识别技术的开发正在进展。提出了如下装置：在车辆中，通过检测操作者的眨眼的动作，来检知心不在焉地开车或打瞌睡驾驶，并对操作者发出警告。例如，专利文献l所记载的装置，逐次拍摄包括驾驶员的左眼区域(窗)的图像，根据最新的图像与前一幅图像的比较来决定图像间的亮度的差分超过规定值的区域，并算出亮度增加的区域与亮度减少的区域的面积之差。该时序数据与规定的眨眼图案进行比较，由此提取驾驶员的眨眼动作，并执行用于防止打瞌睡的处置。即，该装置以单眼的区域为基准来检测眨眼动作。因此，在人脸移动了的情况下，眼睛的位置及形状变化，成为检测的基准的区域也同样变化。为此，难以精确地捕捉到成为检测的基准的区域，眨眼动作的误检测频发。另外，专利文献2所记载的眼睑检测装置，提取拍摄图像间的差分超过规定值的区域(差分区域)中面积最大的区域，从该差分区域中检测眼睑，进而根据眼睑的变化来检测眨眼动作。该装置从图像中提取与驾驶员的人脸相接触的矩形的区域，并捕捉该区域在多幅图像间的差分区域，由此检测眨眼动作。即，为了检测眨眼而进行比较的区域以人脸的轮廓为基准来确定。在此，在驾驶员确认后视镜的情况下，拍摄图像中的人脸的角度在相对于车辆行进方向的横摆(偏航)方向等上变化。为此，成为眨眼的检测对象的矩形的区域的形状及大小会发生变化，眼睛以外的区域即鼻子、眉毛、脸端部(face end)等中也产生差分区域。面积变化最大的差分区域在眼睛以外的情况下，眼睛以外的区域例如脸端、眉毛等会被误检测为眼睛。即，在专利文献2所记载的装置中，以人脸的轮廓为基准来设定眼睑检测所用的区域，因此在人脸的轮廓大幅地变化的情况下，容易发生误检测。这样，在以往的装置中，在驾驶员的脸部伴有运动的情况下，发生误检测。专利文献专利文献1：日本特开2000-040148号公报(专利第3012226号)专利文献2：US2008/0212850如上所述，在专利文献1的装置中，基于仅单眼的区域而检测眨眼，因此伴随着人脸整体的运动，检测所用的区域变化，容易发生眨眼的误检测。另外，专利文献2的装置以人脸的轮廓为基准而设定眨眼的检测所用的区域，因此同样地伴随着人脸整体的运动，容易发生误检测。
技术实现思路
本专利技术是鉴于上述的课题而做出的，本专利技术的目的在于，提供即使在人脸移动了的情况下也能够正确地检测驾驶员的眨眼动作的眼部检测装置、方法。本专利技术所涉及的眼部检测装置具有：输入单元，输入每隔规定的时间所拍摄到的人脸的图像；提取单元，基于包括鼻子在内的特征点，从所述图像中提取眼睛搜索区域；对应关联单元，基于第一时间的所述特征点与第二时间的所述特征点的位置的比较的结果，将第一时间的所述眼睛搜索区域与第二时间的所述眼睛搜索区域相对应关联；决定单元，基于对应关联的所述第一及第二时间的所述眼睛搜索区域，从所述第一及第二时间的眼睛搜索区域中决定眼部区域的单元。所述对应关联单元，基于第一时间的所述眼睛搜索区域与第二时间的所述眼睛搜索区域的对应关联，决定所述第一及第二时间的眼睛搜索区域之间的位置偏差量。所述对应关联单元，将第一时间的所述眼睛搜索区域作为模板，对第二时间的所述眼睛搜索区域执行模板匹配。所述提取单元，基于第一及第二时间的所述眼睛搜索区域内的至少一个像素的亮度的差，修正第一时间或第二时间的所述眼睛搜索区域的亮度。所述决定单元具备差分图像作成单元，该差分图像作成单元对于第一时间的所述眼睛搜索区域与第二时间的所述眼睛搜索区域中的所述对应关联的每个像素，算出亮度的差分值。所述决定单元，在所述对应关联的眼睛搜索区域中，将相对位置满足规定条件的一对区域决定为眼部区域。所述决定单元还具备三值化处理单元，该三值化处理单元将所述差分值三值化。所述决定单元，基于所述眼睛搜索区域内的产生了差分的区域的总数，来决定是否检测眼部区域。所述决定单元，基于所述眼睛搜索区域内的产生了差分的各区域的总面积，来决定是否检测眼部区域。还提供一种眼部检测方法，具有：输入每隔一定时间拍摄到的人脸的图像并基于包括鼻子的特征点而从所述图像中提取眼睛搜索区域的步骤；基于第一时间的所述特征点与第二时间的所述特征点的位置的比较的结果，将第一时间的所述眼睛搜索区域与第二时间的所述眼睛搜索区域对应关联的步骤；基于所述对应关联的第一及第二时间的所述眼睛搜索区域而从所述第一及第二时间的眼睛搜索区域中决定眼部区域的步骤。专利技术的效果根据本专利技术，眼睛搜索区域基于包括鼻子的特征点而决定，并基于第一时间的特征点与第二时间的特征点的位置的比较，将第一时间的眼睛搜索区域与第二时间的眼睛搜索区域对应关联。基于对应关联的第一及第二时间的眼睛搜索区域，从第一及第二时间的眼睛搜索区域中决定眼部区域。即使在人脸的朝向变化了的情况下，鼻子的形状变化也比较小。另外，鼻子位于人脸中心附近，因此即使在人脸旋转了的情况下，鼻子与眼部的相对位置的变化也较小。通过以鼻子为基准来决定眼睛搜索区域，即使在人脸构成的形状变化了的情况下，也能够正确地检测眼部位置。另外，基于第一时间的眼睛搜索区域与第二时间的眼睛搜索区域的对应关联而决定第一及第二时间的眼睛搜索区域之间的位置偏差量，由此能够正确地提取眼部区域。另外，根据本专利技术，以第一时间的眼睛搜索区域为模板来执行第二时间的眼睛搜索区域模板匹配，所以能够进行正确的位置偏差修正。根据本专利技术，提取眼睛搜索区域的单元基于第一及第二时间的眼睛搜索区域内的至少一个像素的亮度的差，修正第一时间或第二时间的眼睛搜索区域的亮度，所以能够高速地执行修正帧间的亮度的差的处理。根据本专利技术，算出眼睛搜索区域的平均亮度，并基于平均亮度而修正眼睛搜索区域的图像的亮度，因此即使在第一时间和第二时间，周围的照明变化了的情况下，也能够进行眼部区域的恰当的决定。另外，根据本专利技术，在对应关联的眼睛搜索区域中，将相对位置满足规定条件的一对区域决定为眼部区域。人的眼睛在水平方向的距离处于规定的范围且垂直方向的高度大致一致，因此通过对水平方向及垂直方向的位置进行比较，能够正确地决定眼部区域。另外，本专利技术具备三值化处理单元，该三值化处理单元按第一时间的眼睛搜索区域与第二时间的眼睛搜索区域的本文档来自技高网...

【技术保护点】
一种眼部检测装置，其特征在于，具有：输入单元，输入每隔规定的时间所拍摄到的人脸的图像，提取单元，基于包括鼻子在内的特征点，从所述图像中提取眼睛搜索区域，对应关联单元，基于第一时间的所述特征点与第二时间的所述特征点的位置的比较的结果，将第一时间的所述眼睛搜索区域与第二时间的所述眼睛搜索区域相对应关联，决定单元，基于对应关联的所述第一及第二时间的所述眼睛搜索区域，从所述第一及第二时间的眼睛搜索区域中决定眼部区域的单元。

【技术特征摘要】
2013.10.09 JP 2013-2116231.一种眼部检测装置，其特征在于，具有：
输入单元，输入每隔规定的时间所拍摄到的人脸的图像，
提取单元，基于包括鼻子在内的特征点，从所述图像中提取眼睛搜索
区域，
对应关联单元，基于第一时间的所述特征点与第二时间的所述特征点
的位置的比较的结果，将第一时间的所述眼睛搜索区域与第二时间的所述
眼睛搜索区域相对应关联，
决定单元，基于对应关联的所述第一及第二时间的所述眼睛搜索区
域，从所述第一及第二时间的眼睛搜索区域中决定眼部区域的单元。
2.如权利要求1所述的眼部检测装置，其特征在于，
所述对应关联单元，基于第一时间的所述眼睛搜索区域与第二时间的
所述眼睛搜索区域的对应关联，决定所述第一及第二时间的眼睛搜索区域
之间的位置偏差量。
3.如权利要求1或2所述的眼部检测装置，其特征在于，
所述对应关联单元，将第一时间的所述眼睛搜索区域作为模板，对第
二时间的所述眼睛搜索区域执行模板匹配。
4.如权利要求1至3中任一项所述的眼部检测装置，其特征在于，
所述提取单元，基于第一及第二时间的所述眼睛搜索区域内的至少一
个像素的亮度的差，修正第一时...

【专利技术属性】
技术研发人员：加藤隆志，小岛真一，
申请(专利权)人：爱信精机株式会社，
类型：发明
国别省市：日本;JP