驾驶状态判定装置及驾驶状态判定方法制造方法及图纸

本发明专利技术包括参照脸部信息检测部(103)检测到的脸部信息，在驾驶员的脸部发生了预先设定的变化的情况下，根据脸部信息检测部(103)检测到的脸部信息来生成预先设定的时间区间内的脸部信息的频度分布的频度分布生成部(105)；根据所生成的频度分布计算脸部信息的众数值的众数值计算部(106)；以及根据脸部信息的众数值，计算表示驾驶员的稳定状态的基准值的基准值计算部(107)。

Driving State Judgment Device and Driving State Judgment Method

【技术实现步骤摘要】
【国外来华专利技术】驾驶状态判定装置及驾驶状态判定方法
本专利技术涉及对驾驶车辆的驾驶员的状态进行判定的技术。
技术介绍
以往，作为对驾驶车辆的驾驶员的状态进行判定的技术，有下述技术，即：检测驾驶员的脸部方向或视线，在检测到的视线方向脱离所设定的正常范围的情况下，判定为驾驶员正进行旁视驾驶。但是，驾驶员的视野范围以及该视野范围内的正常范围存在个体差异。并且，该正常范围也会因驾驶员的姿势等而发生变化。因此，对于驾驶员的视野范围以及该视野范围内的正常范围，希望按每个驾驶员来进行设定，或者根据驾驶员的姿势等来进行设定。例如，专利文献1中，公开了下述旁视判定装置，即：在由手形状检测单元检测到的手的形状为预先设定的设定开始形状时，基于由方向检测单元检测到的脸部方向或视线方向，来设定旁视正常判定范围的中心位置。现有技术文献专利文献专利文献1：日本专利特开2013-164663号公报
技术实现思路
专利技术所要解决的技术问题根据上述专利文献1所记载的旁视判定装置，为了设定旁视正常判定范围的中心位置，驾驶员需要获得作为预先设定的设定开始形状的手的形状。因此，虽然能够按每个驾驶员来设定旁视正常判定范围，但存在下述问题，即；为了进行该设定，要求驾驶员进行预先设定的动作。本专利技术是为了解决上述问题而完成的，其目的在于，在驾驶员不需要进行预先设定的动作的情况下，对用于按每个驾驶员来判定驾驶状态的驾驶员的稳定状态进行设定。解决技术问题所采用的技术方案本专利技术所涉及的驾驶状态判定装置包括：脸部特征点检测部，该脸部特征点检测部从驾驶员的脸部图像中检测与驾驶员的脸部的特征点相关的位置信息来作为脸部特征点；脸部信息检测部，该脸部信息检测部根据脸部特征点检测部检测到的脸部特征点，检测表示驾驶员的脸部的状态的脸部信息；频度分布生成部，该频度分布生成部参照脸部信息检测部检测到的脸部信息，在驾驶员的脸部发生了预先设定的变化的情况下，根据脸部信息检测部检测到的脸部信息，生成预先设定的时间区间内的脸部信息的频度分布；众数值计算部，该众数值计算部根据频度分布生成部所生成的频度分布，计算脸部信息的众数值；基准值计算部，该基准值计算部根据众数值计算部计算出的脸部信息的众数值，计算表示驾驶员的稳定状态的基准值；以及驾驶状态判定部，该驾驶状态判定部将基准值计算部计算出的基准值与脸部信息检测部检测到的脸部信息进行比较，判定驾驶员的驾驶状态。专利技术效果根据本专利技术，能够在无需要求驾驶员进行预先设定的动作的情况下，设定用于按每个驾驶员来判定驾驶状态的驾驶员的稳定状态。附图说明图1是表示实施方式1所涉及的驾驶状态判定装置的结构的框图。图2A、图2B是表示实施方式1所涉及的驾驶状态判定装置的硬件结构例的图。图3A、图3B、图3C是表示实施方式1所涉及的驾驶状态判定装置的脸部特征点检测部的检测处理的图。图4A、图4B是表示实施方式1所涉及的驾驶状态判定装置的脸部信息检测部进行的眼睛的开闭状态的检测的图。图5A、图5B、图5C是表示实施方式1所涉及的驾驶状态判定装置的脸部信息检测部中表示脸部特征点的位置关系的信息以及进行的脸部方向的检测的图。图6是表示实施方式1所涉及的驾驶状态判定装置的脸部信息检测部进行的眼睛的扁率的检测的图。图7是表示实施方式1所涉及的驾驶状态判定装置的频度分布生成部所参照的有效脸部位置区域的一个示例的图。图8是表示实施方式1所涉及的驾驶状态判定装置的基准值计算处理的动作的流程图。图9A、图9B是表示实施方式1所涉及的驾驶状态判定装置的驾驶状态判定部所设定的正常确认范围的一个示例的图。图10是表示实施方式1所涉及的驾驶状态判定装置的驾驶状态判定处理的动作的流程图。图11A、图11B、图11C是表示实施方式1所涉及的驾驶状态判定装置的驾驶状态判定部中进行的正常确认范围的校正的一个示例的图。图12A、图12B是表示实施方式1所涉及的驾驶状态判定装置的驾驶状态判定部中进行的正常确认范围的校正的一个示例的图。图13是表示实施方式2所涉及的驾驶状态判定装置的结构的框图。图14是表示实施方式2所涉及的驾驶状态判定装置的认证部的动作的流程图。图15是表示实施方式3所涉及的驾驶状态判定装置的结构的框图。图16是表示实施方式3所涉及的驾驶状态判定装置的认证部的动作的流程图。具体实施方式下面，为了更详细地说明本专利技术，根据附图对用于实施本专利技术的方式进行说明。实施方式1﹒图1是表示实施方式1所涉及的驾驶状态判定装置100的结构的框图。驾驶状态判定装置100包括脸部图像获取部101、脸部特征点检测部102、脸部信息检测部103、操作信息获取部104、频度分布生成部105、众数值计算部106、基准值计算部107以及驾驶状态判定部108。如图1所示那样，驾驶状态判定装置100例如与警告装置200相连接。脸部图像获取部101基于搭载于车辆的摄像头等捕捉图像，来获取驾驶员的至少包含头部区域整体的脸部图像。脸部图像获取部101将脸部图像输出到脸部特征点检测部102。脸部特征点检测部102根据脸部图像获取部101所获取到的脸部图像，来检测包含构成眼睛、鼻子、及嘴巴等脸部的部件的脸部区域。脸部特征点检测部102根据所检测到的脸部区域，检测与构成脸部的各部件相关的位置信息来作为驾驶员的脸部的特征点。以下，将驾驶员的脸部的特征点记载为“脸部特征点”。脸部特征点检测部102获取表示该各部件的构成要素在脸部图像上的位置、或者表示该各部件的构成要素在脸部图像上的坐标的信息，来作为与构成脸部的各部件相关的位置信息。脸部信息检测部103使用脸部特征点检测部102所检测到的脸部特征点，对脸部信息进行检测。脸部信息是指表示驾驶员的脸部的状态的信息，例如是表示下述内容的信息，即：脸部特征点的位置关系、驾驶员的眼睛的开闭状态、驾驶员的视线、驾驶员的脸部方向、驾驶员的姿势、驾驶员的眼睛的扁率、驾驶员的确认范围、驾驶员的确认区域、向驾驶员的脸部进行的佩戴物的佩戴脱下、以及驾驶员的脸部上出现的明暗对比。另外，佩戴物例如是眼镜、墨镜、或者面罩。上述的表示脸部特征点的位置关系的信息是指表示脸部特征点检测部102所检测到的眼睛、鼻子、及嘴巴等在脸部图像上的坐标的位置关系的信息，是鼻子的位置靠近眼睛、鼻子的位置靠近嘴巴等。更详细而言，在驾驶员从正面看向摄像头等的情况下，脸部信息检测部103获取表示下述位置关系的信息，即：表示鼻子的横向位置位于两只眼睛的中央。此外，在驾驶员相对于摄像头等朝向正侧面的情况下，脸部信息检测部103获取表示下述位置关系的信息，即：表示相对于嘴巴位于哪一高度。另外，在驾驶员相对于摄像头等朝向正面或正侧面的情况没有频繁发生的情况下，脸部信息检测部103根据一定时间内检测到的表示鼻子等的位置关系的信息，对表示驾驶员从正面看向摄像头等的情况下、或者驾驶员相对于摄像头等朝向正侧面的情况下的鼻子等的位置关系的信息进行推测并获取。操作信息获取部104从CAN(ControllerAreaNetwork：控制器局域网)或OBD(On-boardDiagnosis：车载诊断装置)等，来获取表示驾驶员所乘坐的车辆的操作状态的车辆操作信息。车辆操作信息例如是指车辆的转向角信息、车速信息、转向指示灯信息、门的开关信息、表示驾驶员的安全带佩戴脱下的信本文档来自技高网...

【技术保护点】
1.一种驾驶状态判定装置，其特征在于，包括：脸部特征点检测部，该脸部特征点检测部从驾驶员的脸部图像中，检测与所述驾驶员的脸部的特征点相关的位置信息来作为脸部特征点；脸部信息检测部，该脸部信息检测部根据所述脸部特征点检测部检测到的所述脸部特征点，检测表示所述驾驶员的脸部的状态的脸部信息；频度分布生成部，该频度分布生成部参照所述脸部信息检测部检测到的所述脸部信息，在所述驾驶员的脸部发生了预先设定的变化的情况下，根据所述脸部信息检测部检测到的所述脸部信息，生成预先设定的时间区间内的所述脸部信息的频度分布；众数值计算部，该众数值计算部根据所述频度分布生成部所生成的所述频度分布，计算所述脸部信息的众数值；基准值计算部，该基准值计算部根据所述众数值计算部计算出的所述脸部信息的众数值，计算表示所述驾驶员的稳定状态的基准值；以及驾驶状态判定部，该驾驶状态判定部将所述基准值计算部计算出的所述基准值与所述脸部信息检测部检测到的所述脸部信息进行比较，判定所述驾驶员的驾驶状态。

【技术特征摘要】
【国外来华专利技术】1.一种驾驶状态判定装置，其特征在于，包括：脸部特征点检测部，该脸部特征点检测部从驾驶员的脸部图像中，检测与所述驾驶员的脸部的特征点相关的位置信息来作为脸部特征点；脸部信息检测部，该脸部信息检测部根据所述脸部特征点检测部检测到的所述脸部特征点，检测表示所述驾驶员的脸部的状态的脸部信息；频度分布生成部，该频度分布生成部参照所述脸部信息检测部检测到的所述脸部信息，在所述驾驶员的脸部发生了预先设定的变化的情况下，根据所述脸部信息检测部检测到的所述脸部信息，生成预先设定的时间区间内的所述脸部信息的频度分布；众数值计算部，该众数值计算部根据所述频度分布生成部所生成的所述频度分布，计算所述脸部信息的众数值；基准值计算部，该基准值计算部根据所述众数值计算部计算出的所述脸部信息的众数值，计算表示所述驾驶员的稳定状态的基准值；以及驾驶状态判定部，该驾驶状态判定部将所述基准值计算部计算出的所述基准值与所述脸部信息检测部检测到的所述脸部信息进行比较，判定所述驾驶员的驾驶状态。2.如权利要求1所述的驾驶状态判定装置，其特征在于，具备操作信息获取部，该操作信息获取部获取表示所述驾驶员所乘坐的车辆的操作状态的车辆操作信息，所述频度分布生成部参照所述操作信息获取部获取到的所述车辆操作信息，在对所述车辆进行了预先设定的车辆操作的情况下，生成所述频度分布。3.如权利要求1所述的驾驶状态判定装置，其特征在于，所述脸部信息检测部对表示所述脸部特征点的位置关系的信息、所述驾驶员的眼睛的开闭状态、所述驾驶员的视线、所述驾驶员的脸部方向、所述驾驶员的眼睛的扁率、所述驾驶员的确认范围、所述驾驶员的确认区域中的至少一个进行检测，来作为所述脸部信息。4.如权利要求1所述的驾驶状态判定装置，其特征在于，所述脸部信息检测部根据所述脸部特征点检测部检测到的所述脸部特征点，检测所述驾驶员的脸部区域的位置，所述频度分布生成部在所述脸部区域的位置在有效脸部位置区域内时，生成所述频度分布，所述有效脸部位置区域被设定为所述驾驶员落座时脸部区域所处的位置。5.如权利要求1所述的驾驶状态判定装置，其特征在于，所述频度分布生成部在所述脸部信息检测部在某一时间点检测到的所述脸部信息与在该某一时间点起的前一个定时检测到的所述脸部信息的差位于一定范围内时，生成所述频度分布。6.如权利要求1所述的驾驶状态判定装置，其特征在于，所述频度分布生成部在所述脸部信息检测部检测到向所述驾驶员的脸部进行的佩戴物的佩戴脱下、或者所述佩戴物的偏离的情况下，生成所述频度分布。7.如权利要求1所述的驾驶状态判定装置，其特征在于，所述频度分布生成部在所述脸部信息检测部检测...

【专利技术属性】
技术研发人员：菅原永，虎间亮介，中村雄大，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本,JP