驾驶员监视装置、驾驶员监视方法、学习装置及学习方法制造方法及图纸

本发明专利技术的一方面所涉及的驾驶员监视装置具备：图像获取部，从配置为拍摄就座于车辆的驾驶座上的驾驶员的拍摄装置获取拍摄图像；观测信息获取部，获取包含与所述驾驶员的面部行为相关的面部行为信息的该驾驶员的观测信息；以及驾驶员状态推定部，通过向进行了用于推定所述驾驶员对驾驶的集中程度的学习的学习完毕的学习器输入所述拍摄图像及所述观测信息，而从该学习器获取与所述驾驶员对驾驶的集中程度相关的驾驶集中度信息。

Driver Monitoring Device, Driver Monitoring Method, Learning Device and Learning Method

【技术实现步骤摘要】
【国外来华专利技术】驾驶员监视装置、驾驶员监视方法、学习装置及学习方法
本专利技术涉及驾驶员监视装置、驾驶员监视方法、学习装置以及学习方法。
技术介绍
近年来，为了防止由于打瞌睡、身体状况突变等引起汽车交通事故，不断进行监视驾驶员的状态的技术的开发。另外，旨在实现汽车的自动驾驶的活动不断加速。自动驾驶是指通过系统来控制汽车的转向操纵，但也会有必须由驾驶员取代系统进行驾驶的场合，因此，即使在自动驾驶期间，也需要监视驾驶员是否处于能够进行驾驶操作的状态。在该自动驾驶期间有必要监视驾驶员的状态是在联合国欧洲经济委员会(UN-ECE)的政府间会议(WP29)中也得到确认的。从这一点出发，也使监视驾驶员的状态的技术开发不断发展。作为推定驾驶员的状态的技术，例如在专利文献1中，提出了根据眼睑的睁闭、视线的移动或者方向盘角度的摆动来检测驾驶员的实际集中度的方法。在专利文献1的方法中，通过对检测出的实际集中度与根据车辆的周边环境信息计算出的要求集中度进行比较，判定对要求集中度而言实际集中度是否充分。并且，在判定为对要求集中度而言实际集中度不充分的情况下，使自动驾驶的行驶速度为低速。由此，根据专利文献1的方法，能够提高进行巡航控制时的安全性。另外，例如在专利文献2中，提出了根据张嘴行为及嘴巴周围的肌肉的状态来判定驾驶员的困倦的方法。在专利文献2的方法中，在驾驶员未实施张嘴行为的情况下，根据呈松弛状态的肌肉的数量来判定驾驶员发困的等级。即，根据专利文献2的方法，根据由于困倦而无意识地产生的现象来判定驾驶员的困倦等级，因而能够提高检测发困的检测精度。另外，例如在专利文献3中，提出了基于在发生驾驶员的眼睑动作之后、面部朝向角度是否发生变化来判定该驾驶员的困倦的方法。根据专利文献3的方法，通过降低将向下看的状态误检测为困倦高的状态的可能性，能够提高困倦检测的精度。另外，例如在专利文献4中，提出了通过对驾驶员所持有的驾照上的面部照片与拍摄驾驶员而得到的拍摄图像进行比较，判定驾驶员的困倦度及旁视度的方法。根据专利文献4的方法，将驾照上的面部照片作为驾驶员清醒时的正面图像来使用，比较该面部照片与拍摄图像的特征量，由此能够判定驾驶员的困倦度及旁视度。另外，例如在专利文献5中，提出了基于驾驶员的视线的状态来判定该驾驶员的集中度的方法。具体而言，在专利文献5的方法中，检测驾驶员的视线，并测定检测出的视线停留在注视区域的停留时间。并且，在停留时间超过了阈值的情况下，判定为驾驶员的集中度降低。根据专利文献5的方法，能够通过与视线关联的较少的像素值的变化来判定驾驶员的集中度。因此，能够以较少的计算量进行驾驶员的集中度的判定。现有技术文献专利文献专利文献1：日本特开2008-213823号公报专利文献2：日本特开2010-122897号公报专利文献3：日本特开2011-048531号公报专利文献4：日本特开2012-084068号公报专利文献5：日本特开2014-191474号公报
技术实现思路
本申请的专利技术人们发现，在如上所述的监视驾驶员的状态的现有方法中，存在如下的问题。即，在现有方法中，仅着眼于面部的朝向、眼睛的睁闭、视线的变化等驾驶员的面部产生的局部变化来推定驾驶员的状态。因此，例如有可能将左右转弯时为了确认周边而摆动面部、为了目视确认而回头观察后方、为了确认后视镜、仪表以及车载装置的显示而改变视线等驾驶所需的动作错认为旁视行为或者集中度降低的状态。另外，例如有可能将一边注视前方一边吃喝或者吸烟、一边注视前方一边用移动电话进行通话等没能集中在驾驶上的状态误认为正常的状态。这样，本申请的专利技术人们发现，在现有方法中，由于仅利用捕捉面部产生的局部变化而得到的信息，所以存在无法反映驾驶员可采取的各种状态来准确地推定驾驶员对驾驶的集中度这一问题。本专利技术的一方面是鉴于上述实际情况而完成的，其目的在于提供一种能够反映驾驶员可采取的多种状态并推定驾驶员对驾驶的集中度的技术。本专利技术为了解决上述问题而采用以下的构成。即，本专利技术的一方面所涉及的驾驶员监视装置具备：图像获取部，从配置为拍摄就座于车辆的驾驶座上的驾驶员的拍摄装置获取拍摄图像；观测信息获取部，获取包含与所述驾驶员的面部行为相关的面部行为信息的所述驾驶员的观测信息；以及驾驶员状态推定部，通过向进行了用于推定所述驾驶员对驾驶的集中程度的学习的学习完毕的学习器输入所述拍摄图像及所述观测信息，而从该学习器获取与所述驾驶员对驾驶的集中程度相关的驾驶集中度信息。在该构成中，为了推定驾驶员的状态，利用进行了用于推定驾驶员对驾驶的集中程度的学习的学习完毕的学习器。并且，在该学习器的输入中，除了包含与驾驶员的面部行为相关的面部行为信息的、通过观测驾驶员而得到的观测信息以外，还使用从配置为拍摄就座于车辆的驾驶座上的驾驶员的拍摄装置而得到的拍摄图像。因此，不仅根据驾驶员的面部行为，还能够根据拍摄图像来分析驾驶员的身体状态。因此，根据该构成，能够反映驾驶员可采取的多种状态并推定该驾驶员对驾驶的集中度。此外，观测信息除了与驾驶员的面部行为相关的面部行为信息以外，还可以包含能够从驾驶员观测到的所有信息，例如还可以包含脑电波、心率等生物体信息。在上述一方面所涉及的驾驶员监视装置中，所述驾驶员状态推定部也可以获取表示所述驾驶员的注视状态的注视状态信息以及表示所述驾驶员对驾驶的快速响应性的程度的快速响应性信息而作为所述驾驶集中度信息。根据该构成，能够从驾驶员的注视状态以及对驾驶的快速响应性的程度这两种观点来监视驾驶员的状态。在上述一方面所涉及的驾驶员监视装置中，所述注视状态信息也可以以多个等级阶段性地表示所述驾驶员的注视状态，所述快速响应性信息也可以以多个等级阶段性地表示所述驾驶员对驾驶的快速响应性的程度。根据该构成，能够阶段性地呈现驾驶员对驾驶的集中度。上述一方面所涉及的驾驶员监视装置还可以具备警告部，所述警告部根据所述注视状态信息所表示的所述驾驶员的注视的等级以及所述快速响应性信息所表示的所述驾驶员的快速响应性的等级，阶段性地进行督促所述驾驶员采取适于驾驶车辆的状态的警告。根据该构成，能够阶段性地评价驾驶员的状态，并实施适于该状态的警告。在上述一方面所涉及的驾驶员监视装置中，所述驾驶员状态推定部也可以从分别与所述驾驶员对驾驶的集中程度相对应地设定的多个规定的行动状态中获取表示所述驾驶员正在采取的行动状态的行动状态信息而作为所述驾驶集中度信息。根据该构成，能够根据驾驶员正在采取的行动状态来监视该驾驶员对驾驶的集中度。在上述一方面所涉及的驾驶员监视装置中，所述观测信息获取部也可以通过对获取的所述拍摄图像进行规定的图像分析，而获取与能否检测所述驾驶员的面部、面部的位置、面部的朝向、面部的动作、视线的方向、面部的器官的位置以及眼睛的睁闭中的至少任意一个相关的信息作为所述面部行为信息。根据该构成，能够利用与能否检测驾驶员的面部、面部的位置、面部的朝向、面部的动作、视线的方向、面部的器官的位置以及眼睛的睁闭中的至少任意一个相关的信息来进行驾驶员的状态的推定。上述一方面所涉及的驾驶员监视装置还可以具备使获取的所述拍摄图像的分辨率降低的分辨率转换部，所述驾驶员状态推定部也可以将降低了分辨率的所述拍摄图像输入至所述学习器。在上述构成中，作为学习器的输入，除了拍本文档来自技高网...

【技术保护点】
1.一种驾驶员监视装置，具备：图像获取部，从配置为拍摄就座于车辆的驾驶座上的驾驶员的拍摄装置获取拍摄图像；观测信息获取部，获取包含与所述驾驶员的面部行为相关的面部行为信息的所述驾驶员的观测信息；以及驾驶员状态推定部，通过向进行了用于推定所述驾驶员对驾驶的集中程度的学习的学习完毕的学习器输入所述拍摄图像及所述观测信息，而从所述学习器获取与所述驾驶员对驾驶的集中程度相关的驾驶集中度信息。

【技术特征摘要】
【国外来华专利技术】2017.03.14 JP 2017-0492501.一种驾驶员监视装置，具备：图像获取部，从配置为拍摄就座于车辆的驾驶座上的驾驶员的拍摄装置获取拍摄图像；观测信息获取部，获取包含与所述驾驶员的面部行为相关的面部行为信息的所述驾驶员的观测信息；以及驾驶员状态推定部，通过向进行了用于推定所述驾驶员对驾驶的集中程度的学习的学习完毕的学习器输入所述拍摄图像及所述观测信息，而从所述学习器获取与所述驾驶员对驾驶的集中程度相关的驾驶集中度信息。2.根据权利要求1所述的驾驶员监视装置，其中，所述驾驶员状态推定部获取表示所述驾驶员的注视状态的注视状态信息以及表示所述驾驶员对驾驶的快速响应性的程度的快速响应性信息而作为所述驾驶集中度信息。3.根据权利要求2所述的驾驶员监视装置，其中，所述注视状态信息以多个等级阶段性地表示所述驾驶员的注视状态，所述快速响应性信息以多个等级阶段性地表示所述驾驶员对驾驶的快速响应性的程度。4.根据权利要求3所述的驾驶员监视装置，其中，所述驾驶员监视装置还具备警告部，所述警告部根据所述注视状态信息所表示的所述驾驶员的注视的等级以及所述快速响应性信息所表示的所述驾驶员的快速响应性的等级，阶段性地进行督促所述驾驶员采取适于驾驶车辆的状态的警告。5.根据权利要求1至4中任一项所述的驾驶员监视装置，其中，所述驾驶员状态推定部从分别与所述驾驶员对驾驶的集中程度相对应地设定的多个规定的行动状态中获取表示所述驾驶员正在采取的行动状态的行动状态信息而作为所述驾驶集中度信息。6.根据权利要求1至5中任一项所述的驾驶员监视装置，其中，所述观测信息获取部通过对获取的所述拍摄图像进行规定的图像分析，获取与能否检测所述驾驶员的面部、面部的位置、面部的朝向、面部的动作、视线的方向、面部的器官的位置以及眼睛的睁闭中的至少任意一个相关的信息而作为所述面部行为信息。7.根据权利要求1至6中任一项所述的驾驶员监视装置，其中，所述驾驶员监视装置还具备使获取的所述拍摄图像的分辨率降低的分辨率转换部，所述驾驶员状态推定部将降低了分辨率的所述拍摄图像输入至所述学习器。8.根据权利要求1至7中任一项所述的驾驶员监视装置，其中，所述学习器具备：输入所述观测信息的全连接神经网络、输入所述拍摄图像的卷积神经网络、以及连接所述全连接神经网络的输出和所述卷积神经网络的输出的连接层。9.根据权利要求8所述的驾驶员监视装置，其中，所述学习器还具备输入来自所述连接层的输出的递归神经网络。10.根据权利要求9所述的驾驶员监视装置，其中，所述递归神经网络包括长短期记忆块。11.根据权利要求1至10中任一项所述的驾驶员监视装置，其中，所述驾驶员状态推定部还将影响因素信息输入至所述学习器，所述影响因素信息是与对于所述驾驶员对驾驶的集中度产生影响的因素相关的信息。12.一种驾驶员监视方法，由计算机执行如下步骤：图像获取步骤，从配置为拍摄就座于车辆的驾驶座上的驾驶员的拍摄装置获取拍摄图像；观测信息获取步骤，获取包含与所述驾驶员的面部行为相关的面部行为信息的所述驾驶员的观测信息；以及推定步骤，通过向进行了用于推定所述驾驶员对驾驶的集中程度的学习的学习完毕的学习器输入所述拍摄图像及所述观测信息，而从所述学习器获取与所述驾驶员对驾驶的集中程度相关的驾驶...

【专利技术属性】
技术研发人员：青位初美，木下航一，相泽知祯，日向匡史，籔内智浩，上谷芽衣，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：日本,JP