公开了能够无需注视对象的指示和事先的调整作业而从刚开始测量就进行判定，能够高精度并准确地判定视线方向的视线方向判定装置及视线方向判定方法。视线方向判定装置（１００）包括：对于左右眼的瞳孔的中心线，判定左眼或右眼的角膜反射图像处于线对称的位置的线对称位置判定单元（１５０）；以及从线对称位置判定结果判定包含摄像单元（１１１）或大致相同位置的照射单元（１１２）的设置位置的特定位置的视线方向的视线方向判定单元（１７０），视线方向判定装置判定角膜反射图像的线对称性，从该线对称性判定特定的视线方向。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及判定被拍摄者的视线方向为规定方向的视线方向判定装置及视线方 向判定方法。
技术介绍
在判定人物的视线方向的视线方向判定装置中，需要以外界的坐标系表示检测出 的方向。在专利文献1中，公开了事先检测观看特定方向时的眼球的状态，从其结果判定 是否正在观看特定方向的视线检测装置。专利文献1记载的装置注视取景器内的指标，并 补偿此时的视轴与眼球轴之间的偏差。在专利文献2中，公开了在较长时间观测驾驶中的视线方向，从其分布规定视线 的基准方向的驾驶状态检测装置。专利文献2记载的装置从时间序列数据估计视线的基准位置。这样，在现有技术的视线方向判定中存在两种系统的方法。一种是指示或检测注 视对象，并检测注视状态(例如，专利文献1记载的装置例子)；另一种从较长时间的视线 的分布规定视线方向的中心(例如，专利文献2记载的装置例子)。现有技术文献专利文献专利文献1日本专利申请特开平4力似630号公报专利文献2 日本专利申请特开2005-66023号公报
技术实现思路
专利技术要解决的问题然而，这种现有技术的视线方向判定装置中存在如下问题。(1)在专利文献1记载的装置中，需要指示注视对象而成为繁琐的工作。在自动判 定中，难以判定是否真的正在观看。总之需要事先的测量工作，因而无法提高方便性。(2)在专利文献2记载的装置中，无法保证较长时间测量时的视线分布真的是正 面方向。另外，若非较长时间测量后，则无法补偿。除需要较长时间的观测外，还存在以下 的课题无法保证测量出的统计结果恒定而不存在个人差别，所以难以在刚开始测量后进 行判定，以及难以保证精度。本专利技术是鉴于上述问题点而完成的。本专利技术的目的在于提供无需注视对象的指示 和事先的调整作业而从刚开始测量就能够进行判定，能够高精度且准确地判定视线方向的 。解决问题的方案本专利技术的视线方向判定装置所采用的结构包括摄像单元，拍摄包含两眼的脸图 像；照射单元，通过光源照射所述两眼的角膜；瞳孔检测单元，从所述脸图像检测作为所述两眼中的一侧的眼的瞳孔的中心坐标的第1坐标，以及作为另一侧的眼的瞳孔的中心坐标 的第2坐标；角膜反射图像检测单元，从所述脸图像检测所述一侧的眼的角膜中的作为所 述光源的角膜反射图像的中心坐标的第3坐标，以及所述另一侧的眼的角膜中的作为所述 光源的角膜反射图像的中心坐标的第4坐标；线对称位置计算单元，计算连结所述第1坐标 和所述第2坐标的第1线段的垂直二等分线，并计算作为对于所述垂直二等分线和所述第 3坐标线对称的位置坐标的线对称位置坐标；以及视线方向判定单元，计算所述第4坐标和 所述线对称位置坐标之间的坐标距离，并基于所述坐标距离与规定的阈值的比较，判定所 述两眼的视线方向。本专利技术的视线方向判定方法包括以下步骤拍摄包含两眼的脸图像；通过光源照 射所述两眼的角膜；从所述脸图像检测作为所述两眼中的一侧的眼的瞳孔的中心坐标的第 1坐标，以及作为另一侧的眼的瞳孔的中心坐标的第2坐标；从所述脸图像检测所述一侧的 眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第3坐标，以及所述另一侧的眼 的角膜中的作为所述光源的角膜反射图像的中心坐标的第4坐标；计算连结所述第1坐标 和所述第2坐标的第1线段的垂直二等分线，并计算作为对于所述垂直二等分线和所述第 3坐标线对称的位置坐标的线对称位置坐标；以及计算所述第4坐标和所述线对称位置坐 标之间的坐标距离，并基于所述坐标距离与规定的阈值的比较，判定所述两眼的视线方向。专利技术的效果根据本专利技术，判定上述左眼或右眼的角膜反射图像对于左右眼的瞳孔的中心线处 于线对称的位置，从该判定结果判定特定位置的视线方向，从而能够在视线方向判定时不 需要注视对象的指示和事先的调整作业，提高方便性。另外，由于利用人的共有的特征，所 以能够实现判定结果的可靠性高、与进行统计处理的方法等相比更高精度的视线方向的判 定。基于同样的理由，能够保证判定出的视线方向为准确的视线方向，所以不需要像现有技 术例子那样进行较长时间测定。进而，能够从拍摄图像直接进行判定，所以能够在测量开始 后，立即进行判定。除以上的效果外，还具有以下的效果。即使不看特定的注视对象，也能够自动地校正检测出的视线方向的偏差。另外，由 于不需要注视，所以能够简化处理，能够防止错误判定。这使得能够进行补偿的机会增多。 进而，只要观看照相机方向即便一帧即可，所以具有能够以高可靠性进行补偿的效果。附图说明图1是表示本专利技术的实施方式1的视线方向判定装置的结构的方框图。图2A、图2B是说明上述实施方式1的视线方向判定装置的视线方向判定方法的 图。图3是说明上述实施方式1的视线方向判定装置的视线方向判定方法的图。图4A、图4B是说明上述实施方式1的视线方向判定装置的视线方向判定方法的 图。图5A、图5B是说明上述实施方式1的视线方向判定装置的视线方向判定算法的 图。图6是表示上述实施方式1的视线方向判定装置的视线方向判定处理的流程图。图7是表示输入到上述实施方式1的视线方向判定装置的输入图像的例子的图。图8A、图8B是表示在上述实施方式1的视线方向判定装置中使用的图像特征的例 子的图。图9是表示本专利技术的实施方式2的视线方向判定装置的结构的方框图。图10是表示上述实施方式2的视线方向判定装置的视线方向判定处理的流程图。图11是表示本专利技术的实施方式3的带自动校正功能的视线方向判定装置的结构 的方框图。图12是表示上述实施方式3的带自动校正功能的视线方向检测装置的动作的流 程图。图13A、图1 是说明上述实施方式3的带自动校正功能的视线方向判定装置能够 自动地补偿视线方向的偏移的图。图14是表示本专利技术的实施方式4的视线方向判定装置的结构的方框图。图15A、图15B、图15C是表示上述实施方式4的视线方向判定装置的照射单元与 摄像单元的位置关系的图。图16A、图16B是表示上述实施方式4的视线方向判定装置的角膜反射图像与角膜 投影图像的位置关系的图。图17是上述实施方式4的具有警报装置单元的视线方向判定装置的结构方框图。标号说明100、500、1400、1700视线方向判定装置110图像输入单元111摄像单元112照射单元113同步单元120脸检测单元130脸器官检测单元140图像特征检测单元141瞳孔检测单元142角膜反射图像检测单元150线对称位置计算单元160评价值计算单元170视线方向判定单元501脸方向计算单元502脸视线方向判定单元600带自动校正功能的视线方向检测装置610视线方向计算单元620视线检测校正单元630校正参数存储单元640输出单元1400视线方向判定装置1401摄像单元1402瞳孔检测单元1403角膜反射图像检测单元1404线对称位置计算单元1405视线方向判定单元1501右眼的瞳孔1502左眼的瞳孔1503右眼的眼球1504左眼的眼球1505连结右眼的瞳孔的中心与左眼的瞳孔的中心的线段1506 平面1507 垂线1508 垂线1509垂直二等分线1510垂线的垂足1511垂线的垂足1600 脸图像1601 右眼1602 左眼1603右眼的角膜1604左眼的角膜1605右眼的瞳孔1606左眼的瞳孔1607右眼的角膜反射图像1608左眼的角膜反射图像1609 线段1610垂直二等分线161本文档来自技高网...
【技术保护点】
１．视线方向判定装置，包括：摄像单元，拍摄包含两眼的脸图像；照射单元，通过光源照射所述两眼的角膜；瞳孔检测单元，从所述脸图像，检测作为所述两眼中的一侧的眼的瞳孔的中心坐标的第１坐标、以及作为另一侧的眼的瞳孔的中心坐标的第２坐标；角膜反射图像检测单元，从所述脸图像，检测所述一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第３坐标、以及所述另一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第４坐标；线对称位置计算单元，计算连结所述第１坐标和所述第２坐标的第１线段的垂直二等分线，并计算作为对于所述垂直二等分线和所述第３坐标线对称的位置坐标的线对称位置坐标；以及视线方向判定单元，计算所述第４坐标和所述线对称位置坐标之间的坐标距离，并基于所述坐标距离与规定的阈值的比较，判定所述两眼的视线方向。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：築泽宗太郎，
申请(专利权)人：松下电器产业株式会社，
类型：发明
国别省市：JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。