监测车辆驾驶员视线的光学系统和方法技术方案

本公开涉及监测车辆驾驶员视线的光学系统和方法。一种监测车辆驾驶员视线的光学系统包括：用于朝向驾驶员眼睛发射光的第一照明源和第二照明源、透镜以及用于检测图像的图像传感器，其中，透镜被配置为将由驾驶员眼睛反射的光引导至图像传感器，并且其中，第二照明源与透镜的光轴之间的距离大于第一照明源与光轴之间的距离。此外，公开了利用光学系统监测车辆驾驶员视线的方法。车辆驾驶员视线的方法。车辆驾驶员视线的方法。

【技术实现步骤摘要】
监测车辆驾驶员视线的光学系统和方法


[0001]本公开涉及监测车辆驾驶员视线(eye gaze)的光学系统和方法。具体地，可以通过拍摄眼睛的图像并在图像中识别驾驶员瞳孔来监测驾驶员视线。与驾驶员视线有关的信息可以由驾驶员监测系统或驾驶辅助系统使用，特别是可以由(半)自主驾驶车辆的驾驶员监测系统或驾驶辅助系统使用。因此，本公开还涉及驾驶辅助系统领域。

技术介绍

[0002]诸如数字成像设备(具体是数字摄像头)之类的光学系统在汽车应用中被用于监测车辆驾驶员。通过监测驾驶员，可以获得例如与驾驶员对某些交通情况的注意或意识或驾驶员状况有关的信息。例如，目标可以是识别疲劳状况，疲劳状况会导致对交通情况做出反应的能力下降。
[0003]具体地，可以通过在行驶期间拍摄的图像中识别驾驶员瞳孔来监测车辆驾驶员视线。基于所识别的瞳孔，驾驶员监测系统或支持驾驶员的驾驶辅助系统可以推断和使用如驾驶员所看的方向或疲劳增加的指示的信息。例如，可以向驾驶员指出他未意识到的区域中的潜在危险发展，或者可以在注意到疲劳状况时建议驾驶员休息一下。
[0004]使用光学系统，驾驶员面部可以被照明源照亮，并且反射光可以通过透镜被聚焦到图像传感器。为了能够辨别图像中的驾驶员瞳孔，光学系统可以被构造为亮瞳孔系统，其中照明源靠近透镜布置，使得发射光在与透镜的光轴成小角度的情况下到达驾驶员眼睛。在这种结构中，由视网膜反射的大量光被引导向透镜，并且瞳孔可以作为亮点(bright spot)而与虹膜区分开，这与利用闪光灯拍摄图片时发生的红眼效应相似。另选地，在暗瞳孔系统中，照明源可以被布置成相对远离透镜，使得从视网膜反射的光不会到达透镜，并且瞳孔显示为暗点(dark spot)。
[0005]然而，驾驶员瞳孔的辨别力还取决于外部因素，如驾驶员体型、个体眼睛差异或环境光。为考虑这些，在暗瞳孔系统或亮瞳孔系统中需要巨大的安全裕度，以防止将瞳孔捕获为难以区分的浅灰点。然而，特别是在汽车应用所需要的小型封装的摄像头中，设计选项受到有限的构造空间以及照明源与透镜之间可达到的最小距离的强烈限制，从而使可靠的瞳孔辨别恶化。在最坏的情况下，可能会导致无法预防的事故，如果正确提供驾驶员视线数据，则可以预防该事故。
[0006]因此，需要改进的光学系统和方法来可靠地监测车辆驾驶员视线。

技术实现思路

[0007]本公开提供了光学系统、计算机实现方法、计算机系统和非暂时性计算机可读介质。
[0008]在一个方面，本公开涉及一种监测车辆驾驶员视线的光学系统，该光学系统至少包括：第一照明源和第二照明源，该第一照明源和该第二照明源用于朝向驾驶员眼睛发射光；透镜；以及图像传感器，该图像传感器用于检测图像，其中，透镜被配置为将由驾驶员眼
睛反射的光引导至图像传感器，并且其中，第二照明源与透镜的光轴之间的距离大于第一照明源与光轴之间的距离。
[0009]因此，在第一照明源和第二照明源位于距光轴或透镜的中心不同距离的意义上，光学系统被非对称地设计。第一照明源可以被配置为在与透镜的光轴成小角度的情况下朝向驾驶员眼睛发射光的同轴照明源，而第二照明源可以被配置为在与光轴成相对大的角度的情况下朝向驾驶员眼睛发射光的离轴照明源。因此，光学系统可以通过激活第一照明源而作为亮瞳孔系统工作，也可以通过激活第二照明源而作为暗瞳孔系统工作，从而能够在亮瞳孔模式与暗瞳孔模式之间灵活切换，以考虑变化的环境状况，并为具有不同生理状况的驾驶员可靠地提供视线数据。
[0010]为了监测驾驶员视线，可以通过光学系统在预定义的持续时间的连续时间帧内拍摄驾驶员眼睛的图像，在该图像中，可以通过图像评估系统或算法来识别瞳孔。时间帧的持续时间可以非常短(例如16.67ms(十六点六七毫秒))，使得光学系统可以被理解成实质上是在拍摄驾驶员，具体地是拍摄驾驶员面部和驾驶员眼睛，以监测驾驶员视线。
[0011]例如，如果驾驶员眼睛与光学系统之间的距离相当大使得从第一照明源到驾驶员眼睛的连接线与光轴之间的角度足够小，则该系统可以作为亮瞳孔系统工作，以将瞳孔区分为亮点结果。驾驶员眼睛与光学系统之间的距离可以例如取决于驾驶员体型以及优选驾驶位置或座椅调整。此外，在暗环境光的状况下，亮瞳孔模式可能是有利的。另一方面，如果发现驾驶员眼睛与光学系统之间的距离较小，则导致从第二照明源到驾驶员眼睛的连接线与光轴之间的大角度，并且通过仅激活第二照明源，光学系统可以有利地作为暗瞳孔系统工作。此外，通过同时激活两个照明源，光学系统可以作为混合系统工作。
[0012]因此，由于照明源的不对称结构，所以光学系统不局限于单一暗瞳孔系统或单一亮瞳孔系统，而是可以根据实际状况灵活地将工作模式切换为优选工作模式。混合工作模式可以为系统增加另外的灵活性，并且可以被用于在亮瞳孔模式和暗瞳孔模式都不能单独提供可靠数据的情况下组合来自暗瞳孔模式和亮瞳孔模式的信息。在这些情况下，混合工作模式可以允许仍然获得可以区分瞳孔的图像。此外，已发现对于大多数情况，可以通过使光学系统工作在暗瞳孔模式或混合工作模式下来实现可靠的瞳孔辨别。因此，可以选择根据实际情况使光学系统在这两种工作模式中的一种工作模式下工作。
[0013]此外，利用光学系统的非对称设计，可以大大降低亮瞳孔模式和暗瞳孔模式的安全裕度。在亮瞳孔模式或混合工作模式下拍摄的图像中的瞳孔显示为无法区分的灰点的情况下，从第一照明源发射到驾驶员眼睛的光与透镜的光轴之间的角度在提供瞳孔的亮点描绘与瞳孔的暗点描绘之间的边界上。因此，从第二照明源发射到驾驶员眼睛的光与透镜的光轴之间的角度(在结构上，该角度比从第一照明源发射的光的角度大)将在边界上方，以提供瞳孔的暗点描绘。通过使光学系统在暗瞳孔模式下工作，在这种情况下可以实现清晰的瞳孔辨别。反之亦然，如果从第二照明源发射到驾驶员眼睛的光与透镜的光轴之间的角度在产生瞳孔的亮点描绘与暗点描绘之间的边界上，则亮瞳孔和/或混合瞳孔模式提供瞳孔的清晰描绘。
[0014]因此，在亮瞳孔模式和暗瞳孔模式下出现浅灰色瞳孔描绘是可以接受的，因为光学系统总是提供可以提供清晰的瞳孔辨别的另一工作模式。通过减少必要的安全裕度，光学系统可以特别适合于并被配置为用于汽车应用的小型封装的摄像头系统。具体地，由于
透镜与第二照明源之间的距离不必足够大以保证在每个图像或情况下瞳孔都可以被辨别为暗点，因此光学系统可以设计得足够小，同时确保可靠的驾驶员视线监测。
[0015]除了混合工作模式、单一暗瞳孔模式和单一亮瞳孔模式之外，光学系统还可以提供反射减少模式，在该反射减少模式下，第一照明源和第二照明源在连续时间帧内交替地被激活。这种反射减少模式能够主动减少到达驾驶员眼睛之前反射的光的影响，从而使图像中的瞳孔识别恶化，特别是在驾驶员佩戴眼镜的情况下。通过在激活第一照明源和激活第二照明源的情况下交替地拍摄图像，即使在这种复杂情况下，也可以减少眼镜上的反射，并且光学系统可以提供具有瞳孔的可区分描绘的图像。
[0016]因此，光学系统原则上可以在混合工本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种监测车辆驾驶员视线的光学系统(11)，所述光学系统(11)至少包括：第一照明源(13)和第二照明源(15)，所述第一照明源(13)和所述第二照明源(15)用于朝向驾驶员眼睛(17)发射光，透镜(21)，以及图像传感器(19)，所述图像传感器(19)用于检测图像，其中，所述透镜(21)被配置为将由所述驾驶员眼睛(17)反射的光引导至所述图像传感器(19)，并且其中，所述第二照明源(15)与所述透镜(21)的光轴(A)之间的距离(L2)大于所述第一照明源(13)与所述光轴(A)之间的距离(L1)。2.根据权利要求1所述的光学系统(11)，其中，所述第一照明源(13)、所述第二照明源(15)、所述透镜(21)和所述图像传感器被布置在共同的壳体(49)中，具体地，其中，所述透镜(21)被布置在所述第一照明源(13)与所述第二照明源(15)之间，具体地，其中，所述第一照明源(13)、所述透镜(21)和所述第二照明源(15)对齐布置，和/或其中，所述第二照明源(15)与所述透镜(21)的中心(51)之间的距离(L2)大于所述第一照明源(13)与所述透镜(21)的所述中心(51)之间的距离(L1)的三倍，具体地，其中，所述第一照明源(13)与所述透镜(21)的中心(51)之间的距离(L1)小于等于12mm，并且所述第二照明源(15)与所述透镜(21)的中心(51)之间的距离(L2)大于等于40mm，和/或其中，所述第一照明源(13)与所述第二照明源(15)之间的距离(L3)至少等于50mm。3.根据权利要求1或2所述的光学系统(11)，其中，驾驶员眼睛距离(D)是所述驾驶员眼睛(17)与所述透镜(21)的中心(51)之间沿着所述透镜(21)的所述光轴(A)的距离，所述第一照明源(13)、所述第二照明源(15)和所述透镜(21)按照使得针对预期的驾驶员眼睛距离(D)的范围至少满足以下项的方式布置：从所述第一照明源(13)到所述驾驶员眼睛(17)的预期位置的连接线(53)与所述光轴(A)之间的第一角度(α1)小于等于预定义的亮瞳孔角，具体地，其中，所述亮瞳孔角等于1
°
，即1度，和/或从所述第二照明源(15)到所述驾驶员眼睛(17)的预期位置的连接线(55)与所述光轴(A)之间的第二角度(α2)大于预定义的暗瞳孔角，具体地，其中，所述暗瞳孔角等于5
°
，即5度，和/或所述第二角度(α2)与所述第一角度(α1)之间的差角大于预定义的灰瞳孔移位角。4.一种计算机实现方法(145、139)，所述计算机实现方法(145、139)利用光学系统(11)具体是根据权利要求1至3中任一项所述的光学系统(11)来监测车辆驾驶员视线，所述光学系统(11)至少包括：朝向驾驶员眼睛(17)发射光的第一照明源(13)和第二照明源(15)，以及将由所述驾驶员眼睛(17)反射的光引导至图像传感器(19)的透镜(21)，其中，所述第二照明源(15)与所述透镜(21)的光轴(A)之间的距离(L2)大于所述第一照明源(13)与所述光轴(A)之间的距离(L1)，并且其中，在连续时间帧(F1、F2)内，每时间帧检测到所述驾驶员眼睛(17)的至少一个图像，其中，所述计算机实现方法(145、139)至少包括以下步骤：
确定(101)所述光学系统(11)的针对即将到来的时间帧(F1)的优选工作模式，所述优选工作模式是至少混合工作模式(23)和单一工作模式(25)中的一者，并且在所述即将到来的时间帧(F1)内，使所述光学系统(11)根据所述优选工作模式来工作(103)，其中，在所述混合工作模式(23)下，在所述即将到来的时间帧(F1)内，同时激活所述第一照明源(13)和所述第二照明源(15)；以及在所述单一工作模式(25)下，在所述即将到来的时间帧(F1)内，至少暂时激活所述第一照明源(13)和所述第二照明源(15)中的一者，而停用所述第一照明源(13)和所述第二照明源(15)中的另一者。5.根据权利要求4所述的计算机实现方法(145、139)，其中，所述优选工作模式是基于至少一个测量参数(31)确定的，所述测量参数(31)是以下项中的至少一项：距离参数(33)，所述距离参数(33)表示所述驾驶员眼睛(17)与所述光学系统(11)之间的估计的和/或测量的距离(D)，具体地，表示所述驾驶员眼睛(17)与所述透镜(21)的中心之间沿着所述光轴(A)的距离(D)；亮度参数(35)，所述亮度参数(35)表示环境光的亮度；反射参数(32)，所述反射参数(32)表示在到达所述驾驶员眼睛(17)之前被反射的光的量的估计和/或量度；瞳孔大小估计参数(37)，所述瞳孔大小估计参数(37)表示驾驶员瞳孔(61)的估计的和/或测量的大小；以及辨别力参数(39)，所述辨别力参数(39)表示在以当前工作模式工作的至少一个先前时间帧期间在利用所述图像传感器(19)检测到的至少一个图像中的所述驾驶员瞳孔(61)的辨别力，所述当前工作模式是所述混合工作模式(23)和所述单一工作模式(25)中的一者。6.根据权利要求5所述的计算机实现方法(145、139)，其中，所述优选工作模式是所述混合工作模式(...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：APTIV技术有限公司，
类型：发明
国别省市：