驾驶员注视检测系统技术方案

本发明专利技术涉及驾驶员注视检测系统。具体地，提供了一种用于基于车辆驾驶员的估计的注视方向来检测眼睛偏离道路状况的方法，其包括在由车载摄像装置捕获的图像输入数据内监测驾驶员的面部特征点。基于监测的面部特征来检测驾驶员的眼球的多个眼睛特征中每个眼睛特征的位置。基于监测的面部特征点来估计驾驶员的头部姿势。基于多个眼睛特征中每个眼睛特征的检测的位置和估计的头部姿势来估计驾驶员的注视方向。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及驾驶员注视检测系统。具体地，提供了一种用于基于车辆驾驶员的估计的注视方向来检测眼睛偏离道路状况的方法，其包括在由车载摄像装置捕获的图像输入数据内监测驾驶员的面部特征点。基于监测的面部特征来检测驾驶员的眼球的多个眼睛特征中每个眼睛特征的位置。基于监测的面部特征点来估计驾驶员的头部姿势。基于多个眼睛特征中每个眼睛特征的检测的位置和估计的头部姿势来估计驾驶员的注视方向。【专利说明】驾驶员注视检测系统相关申请的交叉引用 本申请要求2013年I月18日提交的美国临时申请N0.61/754，134的权益，所述美国临时申请在此通过引用被并入。
本专利技术涉及实时估计驾驶员的注视方向。
技术介绍
在该部分中的声明仅提供与本专利技术相关的背景信息。因此，这样的声明并不旨在构成对现有技术的承认。 具有监测车辆的操作者并检测操作者没有注意道路场景的能力的车辆允许采取措施，以防止由操作者不注意导致的车辆碰撞。例如，可以启用警报系统以便警告驾驶员注意他或她不专心。此外，如果确定驾驶员即使在被警告之后仍然没有变得专心，则可启用自动制动和自动转向系统以使车辆停止。 已知的是，利用驾驶员监测摄像装置，所述驾驶员监测摄像装置构造成监测驾驶员并检测眼睛偏离道路(EOR)状况，所述EOR状况指示了驾驶员的眼睛不在道路上。然而，由于下述原因，包括了头部姿势和眼睛注视方向的组合的实时注视跟踪在车辆环境中是富有挑战性的，所述原因包括:(1)驾驶员的不同高度和面部特征使得难以关于头部姿势和注视方向来校准摄像装置；(2)未知的照明状况导致了对面部特征的不可靠的检测；以及， (3)在包含于由摄像装置捕获的图像数据中的视频流中难以跟踪驾驶员的头部姿势的急剧变化。
技术实现思路
一种用于根据车辆驾驶员的估计的注视方向来检测眼睛偏离道路状况的方法，所述方法包括在由车载摄像装置捕获的图像输入数据内监测驾驶员的面部特征点。根据监测的面部特征来检测关于驾驶员眼球的多个眼睛特征中的每个眼睛特征的位置。根据监测的面部特征点来估计驾驶员的头部姿势。根据多个眼睛特征中每个眼睛特征的检测位置和估计的头部姿势来估计驾驶员的注视方向。 本专利技术还包括以下方案: 1.一种用于基于车辆驾驶员的估计的注视方向来检测眼睛偏离道路状况的方法，包括:在由车载摄像装置捕获的图像输入数据内监测所述驾驶员的面部特征点；基于监测的所述面部特征点来检测所述驾驶员的眼球的多个眼睛特征中的每个眼睛特征的位置；基于监测的所述面部特征点来估计所述驾驶员的头部姿势；以及基于所述多个眼睛特征中每个眼睛特征的检测的位置信息和估计的所述头部姿势来估计所述驾驶员的注视方向。 2.根据方案I所述的方法，其中，根据以下步骤来提取监测的所述面部特征点，包括: 对于第一图像帧，检测所述驾驶员的面部并且从检测的所述面部提取所述面部特征占.对于在所述第一图像帧之后的每个相继的图像帧:识别包含了从一个或多个先前的图像输入帧提取的所述面部特征点的候选区域；以及仅在所述候选区域内识别所述面部特征点。 3.根据方案I所述的方法，其中，检测所述驾驶员的眼球的多个眼睛特征中每个眼睛特征的位置包括:检测虹膜的位置；检测表示了最接近鼻梁的内眼角的第一眼角的位置；以及检测表示了外眼角的第二眼角的位置。 4.根据方案3所述的方法，其中，检测所述驾驶员的眼球的多个眼睛特征中每个眼睛特征的位置还包括:为所述多个眼睛特征中的每个对应的眼睛特征训练分类器，包括:围绕从数据库获得的与所述对应的眼睛特征相应的参考眼睛特征来指定图像块；以及识别指定的所述图像块中围绕所述参考眼睛特征居中的一个或多个图像块。 5.根据方案4所述的方法，还包括:对于第一图像帧内的每个对应的眼睛特征: 基于亮度大小和检测的边缘强度利用两个统计先验来选择表示了所述对应的眼睛特征的候选像素；基于所述两个统计先验的加权和来计算每个候选像素的置信分数；选择各自均具有大于置信分数阈值的相应的置信分数的顶尖候选像素；将所述顶尖候选像素中的每个顶尖候选像素与训练好的分类器进行比较，以产生与所述顶尖候选像素中每个顶尖候选像素相应的分类器响应；以及 基于所产生的所述顶尖候选像素的分类器响应在所述第一图像帧内检测所述对应的眼睛特征的位置。 6.根据方案5所述的方法，还包括:对于在所述第一图像帧之后的每个相继的图像帧内的每个对应的眼睛特征:识别在紧接在前的图像帧中检测的所述对应的眼睛特征周围的补充面部特征点；从所述紧接在前的图像帧到对应的图像帧，跟踪所述补充面部特征点中每个补充面部特征点的位置变化； 基于所述支持特征点的跟踪的位置变化来估计所述对应的图像帧中的所述对应的眼睛特征的初始位置；在围绕所述对应的眼睛特征的估计的初始位置的区域内，为多个像素中的每个像素计算置信分数；在围绕所述估计的初始位置的区域内选择顶尖候选像素，其中，每个顶尖候选像素具有大于所述置信分数阈值的相应的置信分数； 将所述顶尖候选像素与所述训练好的分类器进行比较，以产生所述顶尖候选像素中每个顶尖候选像素的分类器响应；以及基于具有最高分类器响应的顶尖候选像素，在所述对应的图像帧内检测所述对应的眼睛特征的位置。 7.根据方案6所述的方法，其中，在围绕所述对应的眼睛特征的估计的初始位置的区域内的多个像素仅包括具有超过弱边缘阈值的检测的边缘响应的像素。 8.根据方案I所述的方法，其中，基于监测的所述面部特征点来估计所述驾驶员的头部姿势包括:在输出空间中，在偏摆角度的范围内产生多个均匀隔开的偏摆角度；在输入空间中: 产生分别与所述均匀隔开的偏摆角度中相应的偏摆角度相关联并且通过相应的均值和基参数化的多个子空间；在最靠近监测的所述面部特征点的多个子空间当中识别两个候选子空间；以及在具有与监测的所述面部特征点相关联的最低重构误差的两个候选子空间当中选择邻近子空间；以及 基于所述输出空间中的与所述输入空间中的选择的邻近子空间相关联的均匀隔开的偏摆角度来估计所述驾驶员的头部姿势。 9.根据方案8所述的方法，其中，估计所述驾驶员的头部姿势还包括:在所述输入空间中抽样多个训练图像，其分别与相应的训练好的偏摆角度相关联，其中，所述训练好的偏摆角度在所述输出空间中的角度范围内非均匀地隔开； 基于所产生的多个均匀隔开的偏摆角度和所产生的多个子空间来重构每个训练好的图像和每个相关联的训练好的偏摆角度；以及 基于重构的训练图像中的一个重构的训练图像和与之相关联的训练好的偏摆角度来估计所述驾驶员的头部姿势。 10.根据方案I所述的方法，还包括:在监测所述驾驶员的面部特征点之前: 将检测区域设置在包含了由侧面面部检测器检测的所述驾驶员的面部位置的图像输入数据内；利用相对于所述偏摆角度的已知的面部中心的存储数据，在所述检测区域内估计所述驾驶员的检测的面部位置的偏摆角度，以产生矫正的面部位置；以及利用所述矫正的面部位置在所述图像输入数据内估计所述驾驶员的头部姿势。 11.根据方案I所述的方法，其中，基于所述多个眼睛特征中每个眼睛特征的检测的位置信息和估计的所述头部姿势来估计所述驾驶员的注视方向包括:检测所述眼球的第一眼角和第二眼角中每一个的位置；计本文档来自技高网...

【技术保护点】
一种用于基于车辆驾驶员的估计的注视方向来检测眼睛偏离道路状况的方法，包括：在由车载摄像装置捕获的图像输入数据内监测所述驾驶员的面部特征点；基于监测的所述面部特征点来检测所述驾驶员的眼球的多个眼睛特征中的每个眼睛特征的位置；基于监测的所述面部特征点来估计所述驾驶员的头部姿势；以及基于所述多个眼睛特征中每个眼睛特征的检测的位置信息和估计的所述头部姿势来估计所述驾驶员的注视方向。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：W张，D利瓦伊，DE纳奇特加尔，F德拉托尔，D黄，
申请(专利权)人：通用汽车环球科技运作有限责任公司，卡内基梅隆大学，
类型：发明
国别省市：美国;US