分心检测方法、车载控制器和计算机存储介质技术

本发明专利技术涉及安全驾驶领域，并且更具体地涉及一种分心检测方法、实施该方法的车载控制器和实施该方法的计算机存储介质。该方法包括：A、接收同步采集的驾驶员面部图像与外部场景图像；B、利用目标检测算法获取外部场景图像中的场景目标物的坐标，其中，场景目标物为能够向驾驶员提供风险感知的对象；C、基于驾驶员面部图像与外部场景图像，计算驾驶员的凝视点在外部场景图像中的坐标；以及D、通过比对凝视点的坐标与场景目标物的坐标，判断驾驶员是否处于分心状态。该车载控制器，其特征在于，包括：存储器；处理器；以及存储在所述存储器上并可在处理器上运行的计算机程序，所述计算机程序的运行使得分心检测方法被执行。的运行使得分心检测方法被执行。的运行使得分心检测方法被执行。

【技术实现步骤摘要】
分心检测方法、车载控制器和计算机存储介质


[0001]本专利技术涉及安全驾驶领域，并且更具体地涉及一种分心检测方法、实施该方法的车载控制器和实施该方法的计算机存储介质。

技术介绍

[0002]随着汽车数量的增多以及路况的复杂化，倘若驾驶员在车辆行驶过程出现分心等不规范行为，则会对生命和财产安全造成巨大威胁。目前，针对驾驶员的注意力检测的现有技术方案主要聚焦于检测驾驶员面部是否朝向正前方、驾驶员视线是否朝向正前方，以及诸如打哈欠检测、眨眼频率检测、闭眼检测之类的疲劳特征检测。由于此类现有技术方案通常以检测到疲劳特征为前提，并且只能判断驾驶员的眼分心（eyes
‑
off）状态，并不能精准检测驾驶员的脑分心（minds
‑
off）状态，因此其检测准确率较低。

技术实现思路

[0003]为了解决或至少缓解以上问题中的一个或多个，提供了以下技术方案。本专利技术的实施例提供了一种分心检测方法、实施该方法的车载控制器和实施该方法的计算机存储介质，其能够将分心状态转化为可测量的量化信息并且覆盖全部的分心场景，从而提高了分心检测的准确度，维护了用户的生命以及财产安全。
[0004]按照本专利技术的第一方面，提供一种分心检测方法，包括以下步骤：A、接收同步采集的驾驶员面部图像与外部场景图像；B、利用目标检测算法获取所述外部场景图像中的场景目标物的坐标，其中，所述场景目标物为能够向所述驾驶员提供风险感知的对象；C、基于所述驾驶员面部图像与外部场景图像，计算所述驾驶员的凝视点在所述外部场景图像中的坐标；以及D、通过比对所述凝视点的坐标与所述场景目标物的坐标，判断所述驾驶员是否处于分心状态。
[0005]作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，步骤C包括：C1、利用计算机视觉提取所述驾驶员面部图像中的眼部特征信息，并获取驾驶员的视线方向；C2、利用计算机视觉的姿态解算并结合惯性测量单元的姿态测量，获取所述驾驶员的头部姿态；以及C3、基于所述驾驶员的视线方向和头部姿态，计算所述驾驶员的凝视点在所述外部场景图像中的坐标。
[0006]作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，步骤C1包括：从所述驾驶员面部图像中提取眼部图像；利用霍夫圆变换法提取所述眼部图像中的圆形区域；以及将所述圆形区域的灰度作为灰度阈值对所述眼部图像进行阈值分割，以确定瞳孔中心的第一位置。
[0007]作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，步骤C1进一步包括：若所述圆形区域并非正圆形，则对所述眼部图像进行Canny边缘检测，以获取瞳孔边缘；以及对所述瞳孔边缘进行最小二乘法椭圆拟合，其中，拟合成的椭圆中心为瞳孔中心的精确位置。
[0008]作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，步骤C1进一步包括：若所述眼部图像中存在光斑区域，则去除光斑噪声点并以所述瞳孔中心的第一位置为圆心向外发散星射线以探测瞳孔边缘点。
[0009]作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，步骤C1进一步包括：基于所述瞳孔中心的第一位置或所述瞳孔中心的精确位置，利用Le Grand眼球模型确定眼球光轴直线方程；以及根据所述眼球光轴直线方程以及视线方向与眼球光轴之间的线性关系，确定所述驾驶员的视线方向，其中，所述线性关系的参数与双眼的眼球光轴与视轴之间的kappa角的旋转矩阵相关联。
[0010]作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，步骤C2包括：利用计算机视觉的姿态解算从所述驾驶员面部图像中提取初始头部姿态；接收由惯性测量单元检测的实时姿态角；以及基于所述初始头部姿态以及实时姿态角，计算所述驾驶员的实时头部姿态。
[0011]作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，所述场景目标物包括以下各项中的一项或多项：交通灯、交通标志、行人、前方车辆、本车后视镜、路障、以及其他禁止障碍物。
[0012]作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，步骤D包括：在车辆行驶过程中，若所述凝视点的坐标在第一时段内保持不变，且第一时段大于或等于第一阈值，则判定所述驾驶员处于分心状态。
[0013]作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，步骤D包括：确定第二时段期间所述驾驶员的凝视点落在所述场景目标物上的有效时间；计算所述有效时间与所述第二时段的比值；以及若所述比值小于或等于第二阈值，则判定所述驾驶员处于分心状态。
[0014]作为以上方案的替代或补充，在根据本专利技术一实施例的方法中，确定在第三时段期间获取的所述外部场景图像中的场景目标物的总数量N1；确定在所述第三时段期间与所述驾驶员的凝视点重叠的所述场景目标物的总数量N2；以及若N2与N1的比值小于或等于第三阈值，则判定所述驾驶员处于分心状态。
[0015]根据本专利技术的第二方面，提供一种车载控制器，包含：存储器；处理器；以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序的运行使得根据本专利技术第一方面所述的分心检测方法中的任意一项被执行。
[0016]根据本专利技术的第三方面，提供一种计算机存储介质，所述计算机存储介质包括指令，所述指令在运行时执行根据本专利技术第一方面所述的分心检测方法中的任意一项。
[0017]根据本专利技术的一个或多个实施例的分心检测方案通过比对外部场景图像中的场景目标物的坐标以及驾驶员的凝视点在外部场景图像中的坐标，将分心状态这一主观行为转化为定量化信息，也即，驾驶员的视觉注意力是否落在外部场景中能够提供风险感知的对象上。相较于仅依据驾驶员的面部或视线是否朝向正前方来进行分心检测的现有技术方案，本方案能够精准判断驾驶员是否处于脑分心状态。此外，本方案无需以驾驶员的疲劳特征检测为前提，能够实现对疲劳前的分心状态的监测，从而提高了分心检测场景的覆盖度。
附图说明
[0018]本专利技术的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。在所述附图中：图1为按照本专利技术的一个或多个实施例的分心检测方法10的示意性流程图；图2为按照本专利技术的一个或多个实施例的头戴式眼动跟踪设备的结构示意图；图3为按照本专利技术的一个或多个实施例中Le Grand眼球模型的示意图；图4为按照本专利技术的一个或多个实施例中提取到的眼部图像的示意图；以及图5为按照本专利技术的一个或多个实施例的车载控制器50的框图。
具体实施方式
[0019]以下具体实施方式的描述本质上仅仅是示例性地，并且不旨在限制所公开的技术或所公开的技术的应用和用途。此外，不意图受在前述
、
技术介绍
或以下具体实施方式中呈现的任何明示或暗示的理论的约束。
[0020]在实施例的以下详细描述中，阐述了许多具体细节以便提供对所公开技术的更透彻理解。然而，对于本领域普通技术人员显而易见的是，可以在没有这些具体细节的情况下实践所公开的技术。在其他实例中，没有详细描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分心检测方法，其特征在于，包括以下步骤：A、接收同步采集的驾驶员面部图像与外部场景图像；B、利用目标检测算法获取所述外部场景图像中的场景目标物的坐标，其中，所述场景目标物为能够向所述驾驶员提供风险感知的对象；C、基于所述驾驶员面部图像与外部场景图像，计算所述驾驶员的凝视点在所述外部场景图像中的坐标；以及D、通过比对所述凝视点的坐标与所述场景目标物的坐标，判断所述驾驶员是否处于分心状态。2.根据权利要求1所述的分心检测方法，其中，步骤C包括：C1、利用计算机视觉提取所述驾驶员面部图像中的眼部特征信息，并获取驾驶员的视线方向；C2、利用计算机视觉的姿态解算并结合惯性测量单元的姿态测量，获取所述驾驶员的头部姿态；以及C3、基于所述驾驶员的视线方向和头部姿态，计算所述驾驶员的凝视点在所述外部场景图像中的坐标。3.根据权利要求2所述的分心检测方法，其中，步骤C1包括：从所述驾驶员面部图像中提取眼部图像；利用霍夫圆变换法提取所述眼部图像中的圆形区域；以及将所述圆形区域的灰度作为灰度阈值对所述眼部图像进行阈值分割，以确定瞳孔中心的第一位置。4. 根据权利要求3所述的分心检测方法，其中，步骤C1进一步包括：若所述圆形区域并非正圆形，则对所述眼部图像进行Canny边缘检测，以获取瞳孔边缘；以及对所述瞳孔边缘进行最小二乘法椭圆拟合，其中，拟合成的椭圆中心为瞳孔中心的精确位置。5.根据权利要求4所述的分心检测方法，其中，步骤C1进一步包括：若所述眼部图像中存在光斑区域，则去除光斑噪声点并以所述瞳孔中心的第一位置为圆心向外发散星射线以探测瞳孔边缘点。6. 根据权利要求3
‑
5中任一项所述的分心检测方法，其中，步骤C1进一步包括：基于所述瞳孔中心的第一位置或所述瞳孔中心的精确位置，利用Le Grand眼球模型确定眼球光轴直线方程；以及根据所述眼球光轴直线方程以及视线方向与...

【专利技术属性】
技术研发人员：张伟，李斌，陈康，王姣阳，章炜峰，
申请(专利权)人：蔚来汽车科技安徽有限公司，
类型：发明
国别省市：