状态推定装置、状态推定方法和状态推定程序制造方法及图纸

本发明专利技术的一方面的状态推定装置具备：图像获取部，从配置成拍摄可能存在于规定场所的对象人员的拍摄装置获取拍摄图像；第一解析部，基于所述拍摄图像来解析所述对象人员的面部举动，并且获取与所述对象人员的面部举动相关的第一信息；第二解析部，基于所述拍摄图像来解析所述对象人员的身体动作，并且获取与所述对象人员的身体动作相关的第二信息；以及推定部，基于所述第一信息和所述第二信息来推定所述对象人员的状态。

【技术实现步骤摘要】
【国外来华专利技术】状态推定装置、状态推定方法和状态推定程序
本专利技术涉及状态推定装置、状态推定方法和状态推定程序。
技术介绍
近年来不断推进以下装置的开发：通过对拍摄驾驶车辆的驾驶员的图像进行图像处理，推定疲劳驾驶、旁视驾驶和身体状况突然变化等驾驶员的状态，用于防止重大事故的发生。例如，在专利文献1中提出了一种集中程度判定装置，检测车辆的驾驶员的视线，在检测到的视线的停留时间长的情况下，推定为驾驶员的集中程度下降。在专利文献2中提出了一种图像解析装置，对车辆的驾驶员的驾驶证的面部图像和驾驶中的驾驶员的拍摄图像进行比较，判定驾驶员的困倦程度和旁视程度。在专利文献3中提出了一种困倦检测装置，通过检测驾驶员眼睑的动作，并且根据检测后驾驶员的面部的角度有无变化来判定驾驶员的困倦，防止将向下看误检测为困倦。在专利文献4中提出了一种困倦判定装置，基于驾驶员的嘴部周围肌肉的动作，判定驾驶员的困倦等级。在专利文献5中提出了一种面部状况判定装置，检测使拍摄图像尺寸缩小后的图像中的驾驶员的面部，并且进一步提取面部的特定部位(眼、鼻、嘴)，根据各特定部位的动作来判定疲劳等的状态。此外，在专利文献6中提出了一种图像处理装置，周期性地依次对驾驶员的面部朝向的判定和视线的推定等多种处理进行处理。现有技术文献专利文献专利文献1：日本专利特开2014-191474号公报专利文献2：日本专利特开2012-084068号公报专利文献3：日本专利特开2011-048531号公报专利文献4：日本专利特开2010-122897号公报专利文献5：日本专利特开2008-171108号公报专利文献6：日本专利特开2008-282153号公报
技术实现思路
专利技术要解决的课题本专利技术的专利技术人在推定上述驾驶员状态的以往的方法中发现了以下问题。即，在以往的方法中，仅注目于面部朝向、眼睛开闭和视线变化等在驾驶员的面部发生的局部变化，推定驾驶员的状态。因此，例如，有可能将左右转向时为了确认周边而转动面部、为了目视确认而向后看、为了确认后视镜、仪表和车载装置的显示而改变视线等的驾驶所需要的动作误作为旁视行为或集中程度下降的状态。此外，例如，有可能将边注视前方边饮食或吸烟、边注视前方边用便携电话进行通话等不能集中驾驶的状态误作为正常状态。由此，本专利技术的专利技术人发现了以下问题：在以往的方法中，由于仅利用捕捉在面部产生的局部的变化的信息，所以不能反映驾驶员可能处于的多种状态来准确推定驾驶员对驾驶的集中程度。另外，除了驾驶员以外，例如在推定工厂的作业人员等对象人员的状态的情况下，也可能同样发生该问题。本专利技术在一方面鉴于这种实际情况，其目的在于提供一种能够适当地推定对象人员可能处于的多种状态的技术。用于解决课题的手段本专利技术的一方面的状态推定装置具备：图像获取部，从配置成拍摄可能存在于规定场所的对象人员的拍摄装置获取拍摄图像；第一解析部，基于所述拍摄图像来解析所述对象人员的面部举动，并且获取与所述对象人员的面部举动相关的第一信息；第二解析部，基于所述拍摄图像来解析所述对象人员的身体动作，并且获取与所述对象人员的身体动作相关的第二信息；以及推定部，基于所述第一信息和所述第二信息来推定所述对象人员的状态。该构成的状态推定装置获取与对象人员的面部举动相关的第一信息和与身体动作相关的第二信息，并且基于获取到的第一信息和第二信息来推定该对象人员的状态。因此，不仅能够将对象人员的面部举动这种局部信息，还能够将对象人员的身体动作这种全局信息反映在该对象人员的状态的解析中。因此，按照该构成，能够推定对象人员可能处于的多种状态。在上述一方面的状态推定装置中，所述第一信息和所述第二信息可以分别由一个或多个特征量来表现，所述推定部可以基于各所述特征量的值来推定所述对象人员的状态。按照该构成，通过由特征量来表现各信息，能够容易地设定推定对象人员可能处于的多种状态的计算处理。上述一方面的状态推定装置可以还具备权重设定部，所述权重设定部对各所述特征量设定确定各所述特征量的优先级的权重，所述推定部可以基于应用了所述权重的各所述特征量的值来推定所述对象人员的状态。按照该构成，通过适当地进行各特征量的权重分配，能够提高对象人员的状态的推定精度。在上述一方面的状态推定装置中，所述权重设定部可以基于过去推定所述对象人员的状态的结果来确定所述权重值。按照该构成，通过反映过去推定的结果，能够提高对象人员的状态的推定精度。例如，在推定对象人员向后看的状态的情况下，该对象人员可能采取的下一行动设想为向前看。在这种情况下，通过使与向前看关联的特征量的权重分配比其他特征量大，能够提高对象人员的状态的推定精度。上述一方面的状态推定装置可以还具备使所述拍摄图像的分辨率下降的分辨率转换部，所述第二解析部可以通过对使分辨率下降的所述拍摄图像进行所述身体动作的解析来获取所述第二信息。与面部举动相比，身体动作的举动能够以大幅度表现在拍摄图像内。因此，与从拍摄图像获取与面部举动相关的第一信息时相比，从拍摄图像获取与身体动作相关的第二信息时信息量少，换句话说，能够利用分辨率低的拍摄图像。在此，在该构成中，获取第二信息时，利用使分辨率下降的拍摄图像。由此，能够降低获取第二信息时的运算处理的计算量，能够抑制与推定对象人员的状态关联的处理器的负荷。在上述一方面的状态推定装置中，所述第二解析部可以获取从使分辨率下降的所述拍摄图像中提取的与边缘位置、边缘强度和局部频率成分中至少一个相关的特征量作为所述第二信息。按照该构成，由于能够从使分辨率下降的拍摄图像中适当地获取与身体动作相关的第二信息，所以能够高精度地推定对象人员的状态。在上述一方面的状态推定装置中，所述拍摄图像可以由多帧构成，所述第二解析部可以通过对包含在所述拍摄图像中的两帧以上的多帧进行所述身体动作的解析来获取所述第二信息。按照该构成，由于能够提取两帧以上的多帧的身体动作，所以能够提高对象人员的状态的推定精度。在上述一方面的状态推定装置中，所述第一解析部可以通过对所述拍摄图像进行规定的图像解析，获取与能否检测到所述对象人员的面部、面部位置、面部朝向、面部动作、视线方向、面部器官的位置和眼睛开闭中至少一个相关的信息作为所述第一信息。按照该构成，由于能够适当地获取与面部举动相关的第一信息，所以能够高精度地推定对象人员的状态。在上述一方面的状态推定装置中，所述拍摄图像可以由多帧构成，所述第一解析部可以通过以一帧为单位对所述拍摄图像进行所述面部举动的解析来获取所述第一信息。按照该构成，通过以一帧为单位获取第一信息，能够检测面部举动的细微变化，能够高精度地推定对象人员的状态。在上述一方面的状态推定装置中，所述对象人员可以是进行车辆的驾驶的驾驶员，所述图像获取部可以从配置成拍摄坐在所述车辆的驾驶座上的所述驾驶员的所述拍摄装置获取所述拍摄图像，所述推定部可以基于所述第一信息和所述第二信息来推定所述驾驶员的状态。此外，该推定部可以推定所述驾驶员的注视前方、困倦、旁视、服装穿脱、电话操作、倚靠、因同乘人员或宠物产生的驾驶妨碍、疾病发作、向后看、突然低头、饮食、吸烟、头晕、行动异常、车载导航或音响的操作、眼镜或太阳镜的摘戴和照片拍摄中至少一个作为所述驾驶员状态。按照该构成，能够提供一种能够推定驾驶员的多种状态的状态推定装置本文档来自技高网...

【技术保护点】
1.一种状态推定装置，其特征在于，具备：图像获取部，从配置成拍摄可能存在于规定场所的对象人员的拍摄装置获取拍摄图像；第一解析部，基于所述拍摄图像来解析所述对象人员的面部举动，并且获取与所述对象人员的面部举动相关的第一信息；第二解析部，基于所述拍摄图像来解析所述对象人员的身体动作，并且获取与所述对象人员的身体动作相关的第二信息；以及推定部，基于所述第一信息和所述第二信息来推定所述对象人员的状态。

【技术特征摘要】
【国外来华专利技术】2016.06.02 JP 2016-111108;2017.02.24 JP PCT/JP20171.一种状态推定装置，其特征在于，具备：图像获取部，从配置成拍摄可能存在于规定场所的对象人员的拍摄装置获取拍摄图像；第一解析部，基于所述拍摄图像来解析所述对象人员的面部举动，并且获取与所述对象人员的面部举动相关的第一信息；第二解析部，基于所述拍摄图像来解析所述对象人员的身体动作，并且获取与所述对象人员的身体动作相关的第二信息；以及推定部，基于所述第一信息和所述第二信息来推定所述对象人员的状态。2.根据权利要求1所述的状态推定装置，其特征在于，所述第一信息和所述第二信息分别由一个或多个特征量来表现，所述推定部基于各所述特征量的值来推定所述对象人员的状态。3.根据权利要求2所述的状态推定装置，其特征在于，所述状态推定装置还具备权重设定部，所述权重设定部对各所述特征量设定确定各所述特征量的优先级的权重，所述推定部基于应用了所述权重的各所述特征量的值来推定所述对象人员的状态。4.根据权利要求3所述的状态推定装置，其特征在于，所述权重设定部基于过去推定所述对象人员的状态的结果来确定所述权重的值。5.根据权利要求1至4中任一项所述的状态推定装置，其特征在于，所述状态推定装置还具备使所述拍摄图像的分辨率下降的分辨率转换部，所述第二解析部通过对使分辨率下降的所述拍摄图像进行所述身体动作的解析来获取所述第二信息。6.根据权利要求5所述的状态推定装置，其特征在于，所述第二解析部获取从使分辨率下降的所述拍摄图像中提取的与边缘位置、边缘强度和局部频率成分中至少一个相关的特征量作为所述第二信息。7.根据权利要求1至6中任一项所述的状态推定装置，其特征在于，所述拍摄图像由多帧构成，所述第二解析部通过对包含在所述拍摄图像中的两帧以上的多帧进行所述身体动作的解析来获取所述第二信息。8.根据权利要求1至7中任一项所述的状态推定装置，其特征在于，所述第一解析部通过对所述拍摄图像进行规定的图像解析，获取与能否检测到所述对象人员的面部、面部位置、面部朝向、面部动作、视线方向、面部器官的位置和眼睛开闭中至少一个相关的信息作为所述第一信息。9.根据权利要求1至8中任一项所述的...

【专利技术属性】
技术研发人员：青位初美，木下航一，相泽知祯，滨走秀人，日向匡史，上谷芽衣，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：日本,JP