驾驶员状态推断装置以及驾驶员状态推断方法制造方法及图纸

本发明专利技术的目的在于提供一种不受驾驶员的就坐位置和面部朝向等不同的影响，能够由图像精度良好地推断现实世界中驾驶员的头部位置的驾驶员状态推断装置，其具有拍摄就坐于驾驶席的驾驶员的包括面部的图像的单目相机11和CPU12，CPU12具有利用与单目相机11所拍摄的图像中的驾驶员的面部相适合的三维面部形状模型，推断图像中的驾驶员的头部中心位置x的头部中心位置推断部23、根据头部中心位置推断部23所推断的图像中的驾驶员的头部中心位置x和包含单目相机11的规格以及位置姿势的信息，推断设置在驾驶席的正面方向的原点O与现实世界中的驾驶员的头部中心位置H的距离B的距离推断部28。

Driver State Inference Device and Driver State Inference Method

【技术实现步骤摘要】
【国外来华专利技术】驾驶员状态推断装置以及驾驶员状态推断方法
本专利技术涉及驾驶员状态推断装置以及驾驶员状态推断方法，更具体地涉及能够推断驾驶员的头部位置或者相对于车辆前方正面的驾驶员的面部的朝向等驾驶员状态的驾驶员状态推断装置以及驾驶员状态推断方法。
技术介绍
以往开发有由车内的相机所拍摄的驾驶员的图像来检测驾驶员的动作或者视线等状态，由此进行驾驶员所必要的信息的提示或者警告等的技术。另外，在近年开发得到发展的自动驾驶系统中，即使是自动驾驶，为了顺利进行从自动驾驶向手动驾驶的转换，需要对驾驶员是否处于驾驶可能的状态进行推断的技术，对车内相机所拍摄的图像进行解析，并由此推断驾驶员状态的技术的开发在发展。为了推断驾驶员的状态，需要检测驾驶员的头部位置和面部朝向的技术。例如，在专利文件1中，公开了检测车内相机所拍摄的图像中的驾驶员的面部区域，并基于检测到的面部区域，推断驾驶员的头部位置的技术。上述驾驶员头部位置的具体的推断方法是首先检测头部位置相对于车内照相机的的角度。该头部位置的角度的检测方法是检测图像上的面部区域的中心位置，将该检测的面部区域的中心位置作为头部位置(头部的中心位置)，求出通过该面部区域中心位置的头部位置直线，确定该头部位置直线的角度(头部位置相对于车内相机的角度)。接着检测头部位置直线上的头部位置。该头部位置直线上的头部位置的检测方法为，先储存存在于从车内相机起的一定距离的面部区域的标准大小，将该标准大小与实际所检测的面部区域的大小相比较，求出从车内相机到头部位置的距离。然后推断从车内相机起只离开求得的距离的头部位置直线上的位置，作为头部位置。另外，专利文件1所记载的驾驶员的面部朝向的推断方法是从面部图像检测出特征点(面部的各部位)，然后根据这些实际检测的特征点与面部的朝向为正面时的特征点的变位量，推断驾驶员的面部朝向。专利技术要解决的技术问题专利文件1中所记载的头部位置的推断方法是将图像上的头部位置(头部的中心位置)作为面部区域的中心位置为基准进行检测的，但面部区域的中心位置随着面部的朝向而改变。因此即使是头的中心位置在同一位置，而由于面部的朝向不同，从而在图像上检测出的面部区域的中心位置(头部位置)也分别在不同位置检出。因此图像上检测的头部位置与现实世界的头部位置被检测出在不同的位置，从而就有不能精度良好地推断现实世界的头部位置的问题。另外，车辆的驾驶席，一般来说是可以在前后方向调整坐席位置的。车内的相机比如设置在驾驶席的斜前方时，即使驾驶员的面部朝向是朝正面的，由于驾驶席的前后位置的不同，即由于驾驶员的头部位置的不同，从而使得车内相机所拍摄出的驾驶员的面部的朝向(角度)被在不同的角度检出。具体地，检出的车内相机所拍出的驾驶员的面部朝向(角度)，在驾驶席位于偏前方时，比驾驶席位于偏后时大。因此专利文件1所记载的面部朝向的推断方法，随着驾驶席的前后位置(驾驶员的头部位置)的不同而变化，从而就有不能对应车内相机所拍出的驾驶员的面部朝向(角度)的差异的情况，也不能准确检测驾驶员的相对于车辆前方正面的面部的朝向的课题。专利文献专利文献1特开2014-218140号公报
技术实现思路
本专利技术是为了解决上述课题，目的在于提供一种不受驾驶员的面部朝向不同以及驾驶位置的不同的影响，能够由图像精度良好地推断现实世界的驾驶员的头部位置的驾驶员状态推断装置以及驾驶员状态推断方法。为了实现该目的，本专利技术所涉及的驾驶员状态推断装置(1)，是由所拍摄的图像推断驾驶员状态的驾驶员状态推断装置，其特征在于，具有对坐在驾驶席的驾驶员的包括面部的图像进行拍摄的单眼拍摄部和至少一个硬件处理器；所述至少一个硬件处理器具有头部中心位置推断部和距离推断部，其中所述头部中心位置推断部利用与所述拍摄部拍摄的图像中的所述驾驶员的面部相适合的三维面部形状模型，推断所述图像中的所述驾驶员的头部中心位置；所述距离推断部根据该头部中心位置推断部推断的所述图像中的所述驾驶员的头部中心位置和包含所述拍摄部的规格与位置姿势的信息，推断在所述驾驶席的正面方向设置的原点与现实世界的所述驾驶员的头部中心位置之间的距离。根据上述驾驶员状态推断装置(1)，由于使用与所述图像中的所述驾驶员的面部相适合的三维面部形状模型，推断所述图像中的所述驾驶员的头部中心位置，所以能够与所述驾驶员的面部朝向的不同无关，精度良好地推断所述图像中的所述驾驶员的头部中心位置。通过精度良好地推断所述图像中的所述驾驶员的头部中心位置，从而能够根据该头部中心位置和包括所述拍摄部规格(画像角度和解像度等)以及位置姿势(角度和从原点的距离等)信息，精度良好地推断设置于所述驾驶席的正面方向的原点与现实世界的所述驾驶员的头部中心位置的距离。另外，本专利技术涉及的驾驶员状态推断装置(2)，其特征在于，在上述驾驶员状态推断装置(1)中，所述至少一个硬件处理器包括利用由所述距离推断部所推断的所述距离，判断所述驾驶员是否处于驾驶操作可能状态的驾驶操作可否判定部。根据上述驾驶员状态推断装置(2)，可以根据所述距离推断部所推断的所述距离，判定所述驾驶员是否处于驾驶操作可能的状态。例如，将所述原点设定为方向盘位置的话，则基于所述距离，能够判定所述驾驶员是否处于手可以够得着方向盘的范围内的状态，能够适当地进行所述驾驶员的监控。另外本专利技术涉及的驾驶员状态推断装置(3)，其特征在于，在上述驾驶员状态推断装置(1)或者(2)中，所述至少一个硬件处理包括：由所述拍摄部所拍摄的图像检测相对于所述拍摄部的所述驾驶员的面部朝向的面部朝向检出部；根据所述头部中心位置推断部所推断的所述图像中的所述驾驶员的头部中心位置和包含所述拍摄部的规格和位置姿势的信息，推断现实世界中从所述驾驶员的头部中心位置向所述拍摄部的方向与所述驾驶席的正面方向之间所形成的角度的角度推断部；以及根据所述面部朝向检出部检出的所述驾驶员的面部朝向与所述角度推断部推断的角度，推断以所述驾驶席的正面方向为基准的所述驾驶员的面部朝向的面部朝向推断部。根据上述驾驶员状态推断装置(3)，根据精度良好地推断的所述图像中的所述驾驶员的头部中心位置和包含所述拍摄部的规格(画像角度与解像度等)以及位置姿势(角度)的信息，能够精度良好地推断现实世界中从所述驾驶员的头部中心位置向所述拍摄部的方向与所述驾驶席的正面方向间所形成的角度。通过利用该推断的角度，能够不受所述驾驶席的位置(驾驶员的头部位置)的不同以及所述驾驶员的面部朝向的不同的影响，从驾驶员的相对于所述拍摄部的面部的朝向，精度良好地推断以所述驾驶席的正面方向为基准的所述驾驶员的面部朝向。另外本专利技术涉及的驾驶员状态推断装置(4)，其特征在于，在上述驾驶员状态推断装置(3)中，至少一个硬件处理器具备基于所述面部朝向推断部推断的所述驾驶员的面部朝向，判定所述驾驶员的状态的驾驶员状态判定部。根据上述驾驶员状态推断装置(4)，根据所述面部朝向推断部推断的所述驾驶员的面部朝向，能够精度良好地判定所述驾驶员的状态，比如往别处看的状态等，能够适当地进行所述驾驶员的监控。另外本专利技术涉及的驾驶员状态推断方法(1)，是使用具备对坐在驾驶席的驾驶员的包括面部的图像进行拍摄的的单眼拍摄部和至少一个硬件处理器的装置，利用所述拍摄部拍摄的图像，推断驾驶员的状态的驾驶员状态本文档来自技高网...

【技术保护点】
1.一种驾驶员状态推断装置，是由所拍摄的图像推断驾驶员的状态的驾驶员状态推断装置，其特征在于，具有拍摄坐在驾驶席的驾驶员的包括面部的图像的单眼拍摄部和至少一个硬件处理器；所述至少一个硬件处理器具有头部中心位置推断部和距离推断部，其中所述头部中心位置推断部利用与所述拍摄部拍摄的图像中的所述驾驶员的面部相适合的三维面部形状模型，推断所述图像中的所述驾驶员的头部的中心位置；所述距离推断部根据所述头部中心位置推断部所推断的所述图像中的所述驾驶员的头部中心位置和包含所述拍摄部的规格及位置姿势的信息，推断在所述驾驶席的正面方向所设置的原点与现实世界的所述驾驶员的头部中心位置之间的距离。

【技术特征摘要】
【国外来华专利技术】2017.03.14 JP 2017-0485021.一种驾驶员状态推断装置，是由所拍摄的图像推断驾驶员的状态的驾驶员状态推断装置，其特征在于，具有拍摄坐在驾驶席的驾驶员的包括面部的图像的单眼拍摄部和至少一个硬件处理器；所述至少一个硬件处理器具有头部中心位置推断部和距离推断部，其中所述头部中心位置推断部利用与所述拍摄部拍摄的图像中的所述驾驶员的面部相适合的三维面部形状模型，推断所述图像中的所述驾驶员的头部的中心位置；所述距离推断部根据所述头部中心位置推断部所推断的所述图像中的所述驾驶员的头部中心位置和包含所述拍摄部的规格及位置姿势的信息，推断在所述驾驶席的正面方向所设置的原点与现实世界的所述驾驶员的头部中心位置之间的距离。2.根据权利要求1所述的驾驶员状态推断装置，其特征在于，所述至少一个硬件处理器包括利用由所述距离推断部所推断的所述距离，判定所述驾驶员是否处于可以操作驾驶的状态的驾驶操作可否判断部。3.根据权利要求1或者权利要求2所述的驾驶员状态推断装置，其特征在于，所述至少一个硬件处理器具备：由所述拍摄部所拍摄的图像，检出相对于所述拍摄部的所述驾驶员的面部朝向的面部朝向检出部；根据所述头部中心位置推断部推断的所述图像中的所述驾驶员的头部中心位置以及包含所述拍摄部的规格和位置姿势的信息，推断现实世界中从所述驾驶员的头部中心位置的所述拍摄部的方向与所述驾驶席的正面方向所成的角度的角度推断部；根据所述面部朝向检出部检出的所述驾驶员的面部朝向与所述角度推断部推断的角度，推断以所述驾驶席的正面方向为基准的所...

【专利技术属性】
技术研发人员：柳川由纪子，日向匡史，相泽知祯，木下航一，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：日本,JP