目视确认区域推断装置制造方法及图纸

本发明专利技术涉及目视确认区域推断装置，其具备拍摄图像取得部(S110)、面部方向检测部(S125)以及方向推断部(S15)。拍摄图像取得部根据时间序列取得拍摄有监视对象人的面部的多个拍摄图像。面部方向检测部根据取得的多个拍摄图像来对监视对象人的面部的方向以及监视对象人的面部的方向的变化程度进行检测，另外，还对表示变化停止或大致停止的时间的滞留时间进行检测。而且，方向推断部根据包括监视对象人的面部的方向以及滞留时间的参数来推断目视确认区域。

【技术实现步骤摘要】
【国外来华专利技术】本公开基于2013年11月27日申请的日本申请第2013-245088号，在此引用其记载内容。
本公开涉及对监视对象人的目视确认区域进行推断的视线推断装置。
技术介绍
作为上述目视确认区域推断装置，公知有通过使用摄像头检测监视对象人的眼球的位置来推断监视对象人目视确认的目视确认区域的装置(例如，参照专利文献1)。然而，在上述目视确认区域推断装置中，在受太阳光、灯饰等光源、眼镜等监视对象人的穿戴物等的影响的拍摄环境中，存在不能检测眼球的位置的情况，在该情况下，存在目视确认区域的推断变困难的问题点。专利文献1：专利第3785669号公报
技术实现思路
本公开是鉴于上述点而提出的，是一种对监视对象人的目视确认区域进行推断的目视确认区域推断装置，其目的在于提供一种无论拍摄环境如何均能够更良好地推断目视确认区域的目视确认区域推断装置。本公开的一形态的目视确认区域推断装置具备拍摄图像取得部、面部方向检测部、方向推断部。拍摄图像取得部根据时间序列取得拍摄有监视对象人的面部的多个拍摄图像，面部方向检测部根据取得的多个拍摄图像对监视对象人的面部的方向以及监视对象人的面部的方向的变化程度进行检测，另外，还对表示变化停止或大致停止的时间的滞留时间进行检测。而且，方向推断部根据包括监视对象人的面部的方向以及滞留时间的参数来推断目视确认区域。根据这样的目视确认区域推断装置，根据比监视对象人的眼球的位置更容易识别的面部的方向和该滞留时间来推断目视确认区域，因此即便在不能识别眼球的位置的情况下，也能够更稳定地推断目视确认区域。附图说明参照附图并根据下述的详细记述，本公开的上述目的以及其他目的、特征、优点变得更加明确。其中：图1是表示应用本公开的安全确认警报装置的简要结构的框图。图2是表示本公开的一实施方式的控制部(CPU)所执行的警报处理的流程图。图3是表示警报处理中的图像识别处理的流程图。图4(a)与图4(b)是表示识别面部器官、面部方向时的具体例的说明图。图5是表示警报处理中的目视确认区域推断处理的流程图。图6是表示目视确认区域的概念的说明图。具体实施方式以下参照附图对本公开所涉及的实施方式进行说明。[本实施方式的结构]应用本公开的目视确认区域推断装置的安全确认警报装置1例如搭载在轿车等车辆，是对车辆的驾驶员(driver)是否已目视观察反射镜、十字路口的左右等安全确认所需的区域进行监视的装置。在该安全确认警报装置1中，具备如下功能，即若识别到驾驶员位进行目视观察则进行注意唤起来催促驾驶员进行安全确认。详细地说，如图1所示，安全确认警报装置1具备控制部10、摄像头21、照明部22、车速传感器25、转向灯26、警报部31、座椅振动部32、空调变更部33。摄像头21在车辆的内部配置于驾驶员的前方，设定为驾驶员的面部在拍摄范围内。照明部22作为用于摄像头21的辅助光源而发挥功能，朝向驾驶员的面部例如照射红外光。对红外光的照射时机而言，可以常时点亮，也可以构成为发光时机被控制部10控制为与摄像头21的拍摄周期同步。车速传感器25构成为对搭载有安全确认警报装置1的车辆的速度进行检测的公知的车速传感器。设定为车速传感器25所检测的车速能够被控制部10识别。转向灯26构成为配置于车辆的左右的多个位置的公知的方向指示器。设定为转向灯26的动作状态能够被控制部10识别。警报部31是用于通过声音、光来催促驾驶员注意的结构，接收来自控制部10的指令来进行动作。座椅振动部32构成为被埋入驾驶员的座椅的振动器，接收来自控制部10的指令来进行动作。空调变更部33具有接收来自控制部10的指令来对车辆中的空调装置的风量、风向或设定温度进行变更的功能。控制部10构成为具备CPU11、以及ROM、RAM等存储器12的公知的计算机。CPU11根据记录在存储器12的程序来实施后述的各种处理。[本实施方式的处理]在这样构成的安全确认警报装置1中，控制部10实施图2所示的警报处理。在警报处理中，对驾驶员目视确认的目视确认区域(以视线方向为基准的驾驶员周围的规定角度范围)进行推断，对驾驶员在需要进行安全确认时是否目视确认了安全确认所需的区域进行判定，在驾驶员未目视确认该区域的情况下进行注意唤起。此外，警报处理例如是若接通安全确认警报装置1的电源则开始的处理。详细地说，如图2所示，首先，实施图像识别处理(S10)。图像识别处理是根据摄像头21的拍摄图像来识别驾驶员的状态的处理。在该图像识别处理中，如图3所示，首先，取得来自摄像头21的拍摄图像(S110)。接着，从拍摄图像中提取出面部区域(S115)，进而提取出面部器官(S120)。如图4(a)所示，这些处理通过对拍摄图像进行图像处理来识别像面部形状的区域，并将包括该区域的矩形的区域识别为面部区域。然后，在该面部区域内检测边缘(邻接的像素的亮度差为基准值以上的部位)，通过识别形状来确定面部器官。此外，确定面部器官时的方法可以采用公知的方法，并不限定于该方法。接着，推断头部姿势(S125)。在该处理中，根据面部器官的位置关系来如图4(b)所示地推断面部的方向。即，求出面部方向相对于本车辆的行驶方向、本车辆正面方向等基准方向的角度。另外，在推断头部姿势时，利用过去推断出的头部姿势的信息，也对面部方向变化时的角速度、表示面部方向的变化完全停止或大致停止的时间的滞留时间进行运算。这里，大致停止是指向面部方向变化的方向的角速度看作大致停止的规定阈值以下，例如表示之前的角加速度为负值且角速度为0.1rad/s以下的状态。接下来，推断眼睛张开度(S130)。在该处理中，着眼于面部器官中的眼睛的部分，例如求出眼睑的弯曲部(眼球的上侧的边缘)的曲率半径。此外，该曲率半径越大，判定为眼睛张开度越低。接着，对眼睛张开度为阈值以上的情况下眼球相对于面部的方向进行推断(S135)。这里，眼睛张开度的阈值是指能够识别眼球(瞳孔的位置)的程度的眼睛张开度，例如设定为25％左右。视线的方向能够根据面部方向、相对于外内眼角位置的眼球位置来进行推断。接着，将针对面部方向的角度、面部方向的变化的角速度、滞留时间、以及眼球相对于面部的方向的推断结果记录在存储器(S140)。但是，在不能提取出眼球的方向的情况或识别结果的似然度(可靠度)低本文档来自技高网...

【技术保护点】
一种目视确认区域推断装置，是对表示监视对象人目视确认的区域的目视确认区域进行推断的目视确认区域推断装置(10)，所述目视确认区域推断装置具备：拍摄图像取得部(S110)，根据时间序列取得拍摄有监视对象人的面部的多个拍摄图像；面部方向检测部(S125)，根据取得的多个拍摄图像对所述监视对象人的面部的方向以及表示所述监视对象人的面部的方向的变化停止或大致停止的时间的滞留时间进行检测；以及方向推断部(S15)，根据包括所述监视对象人的面部的方向以及所述滞留时间的参数来推断所述目视确认区域。

【技术特征摘要】
【国外来华专利技术】2013.11.27 JP 2013-2450881.一种目视确认区域推断装置，是对表示监视对象人目视确认的区
域的目视确认区域进行推断的目视确认区域推断装置(10)，
所述目视确认区域推断装置具备：
拍摄图像取得部(S110)，根据时间序列取得拍摄有监视对象人的
面部的多个拍摄图像；
面部方向检测部(S125)，根据取得的多个拍摄图像对所述监视对
象人的面部的方向以及表示所述监视对象人的面部的方向的变化停止
或大致停止的时间的滞留时间进行检测；以及
方向推断部(S15)，根据包括所述监视对象人的面部的方向以及所
述滞留时间的参数来推断所述目视确认区域。
2.根据权利要求1所述的目视确认区域推断装置，其特征在于，
所述方向推断部具备：
暂定方向设定部(S230)，对表示与所述监视对象人的面部的方向
对应的方向的暂定方向进行设定；
修正值设定部(S260)，根据包括所述滞留时间的参数来对用于修
正所述暂定方向的修正值进行设定；以及
区域设定部(S265)，修正所述暂定方向，以便随着所述修正值变
大而所述监视对象人的面部的方向成为远离预先设定的基准方向的方
向，并且将与该修正后的暂定方向对应的区域设为所述目视确认区域。
3.根据权利要求2所述的目视确认区域推断装置，其特征在于，
所述修正值设定部随着所述滞留时间变短而将所述修正值设定为
更大的值。
4.根据权利要求2或3所述的目视确认区域推断装置，其特征在于，
所述修正值设定部随着所述监视对象人停止或大致停止面部的方
向时的方向远离所述基准方向，...

【专利技术属性】
技术研发人员：大见拓宽，
申请(专利权)人：株式会社电装，
类型：发明
国别省市：日本;JP