【技术实现步骤摘要】
本公开涉及用于确定载具中的驾驶员的困倦的方法。
技术介绍
1、现代载具经常配备有驾驶员监测系统(dms)，其被配置成例如通过使用能够捕捉电磁波谱的可见范围内的rgb图像和红外范围内的ir图像的rgb-ir摄像头来监测载具的驾驶员。驾驶员监测系统的任务之一是检测驾驶员的困倦，例如通过基于由摄像头提供的信号检测驾驶员的快速眼睛运动。
2、然而，为了可靠地检测驾驶员的困倦，通常需要摄像头的高帧率以检测快速的眼睛运动。如果驾驶员监测系统的摄像头附加地涉及进一步的任务，例如在由载具的信息娱乐系统提供的视频呼叫功能中，则用于监测驾驶员的帧率会降低，导致困倦检测不再可靠。
3、例如，驾驶员监测系统的摄像头可以被配置成基于具有给定帧率的ir图像来监测驾驶员的困倦。可以使用ir图像，因为其允许监测驾驶员的眼睛，即使隐藏在太阳镜后面。在这种情况下，视频呼叫可以请求每第二帧是rgb图像，即生成ir-rgb-ir-rgb…的序列。由于不能增加给定帧率，这导致适合于困倦检测的ir图像的帧率降低，该帧率是该给定帧率的一半。然而，该给定帧率的一半可能不足以可靠地检测困倦，例如基于驾驶员的眼睛运动来检测。因此，在本示例的视频呼叫期间应当禁用困倦检测。
4、然而，根据例如欧洲新车评估程序(european new car assessment program，ncap)提供的规定和/或期望，禁用困倦检测功能(例如在视频呼叫期间)可能是不可接受的。
5、因此，需要提供用于可靠地检测载具驾驶员的困倦而不管用于检测的硬件
技术实现思路
1、本公开提供了计算机实现的方法、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。
2、在一个方面，本专利技术涉及一种用于确定载具中的驾驶员的困倦的由计算机实现的方法。通过经由摄像头系统捕捉载具内部的图像序列来监测驾驶员。通过执行以下步骤经由处理单元确定指示驾驶员困倦的困倦信号：分析图像序列以提取驾驶员的特征模式，其中，该特征模式指示驾驶员的困倦。基于图像序列和/或由载具的传感器提供的输出信号来确定驾驶员的活动程度。最后，选择所提取的特征模式和与驾驶员相关联的活动程度中的至少一者作为确定困倦信号的基础，其中，该选择依赖于图像序列的帧率、分配给特征模式的置信度和/或分配给活动程度的置信度。
3、摄像头系统可以包括例如rgb-ir摄像头，其能够捕捉用于人类视觉的rgb图像以及红外光谱。这样的摄像头可以定位在载具的舱室中，并且可以具有能够覆盖载具的一个或更多个乘员并且可以提供驾驶员头部和躯干区域的良好可见性的仪器视场。摄像头系统还可以包括具有与rgb-ir不同的传感器配置的另一类型的摄像头，例如rggb、nir、rccc等。此外，摄像头系统可以包括超过一个摄像头，并且这样的多个摄像头可以包括不同的传感器类型。
4、特征模式可以包括驾驶员的能够指示困倦的典型运动序列，例如，睁眼、眨眼频率，观看方向改变等。附加地或另选地，可以考虑完整面部区域和/或关于驾驶员的身体姿势的信息来定义与指示困倦相关联的特征模式。
5、困倦信号可以与驾驶员的困倦状况的存在的概率相关联。例如，如果困倦信号具有高值，例如接近1，并且超过预定义阈值，则这可以指示驾驶员处于困倦状况。在这种情况下，困倦信号可以引起警告系统的警报和/或调节高级驾驶员辅助系统(adas)的设置，使得例如载具将较早地制动、与其他载具或障碍物保持较大的距离。此外，可以降低adas的警告阈值。
6、如果特征模式与驾驶员的睁眼动态相关，则困倦信号可以直接与睁眼动态的某些特征相关联。例如，可以确定眨眼频率和/或驾驶员眼睛的闭合状态的时间段，并且例如经由预定的查找表将其直接与困倦信号相关联。另选地或附加地，当确定困倦信号时，可以执行哈欠检测或驾驶员的某些头部运动的检测并将其视为特征模式。
7、因此，特征模式可能不仅与驾驶员的眼睛相关。因此，在无法监测驾驶员眼睛运动的情况下，也可以识别例如与驾驶员躯干相关的这种特征模式。由于困倦信号与特征模式的直接关联，从特征模式得出的困倦信号也可以被认为是测量的困倦信号。
8、为了增强困倦检测的可靠性，确定驾驶员的活动程度并将其视为用于检测驾驶员困倦的另一参数。活动程度可以表示驾驶员处于活动状况的概率。因此，可以为活动程度定义得分，如果可以检测到驾驶员的强烈活动，则该得分可以接近1，并且如果几乎不存在驾驶员的活动，则该得分可以接近0。
9、例如，如果可以从图像序列或从载具的传感器的输出信号得出驾驶员当前正在说话，则可以确定高活动程度。这种与说话相关联的活动可以从图像序列中可见的嘴部运动或从由载具的麦克风提供的信号得出。可以在由麦克风提供的音频信号中检测困倦，例如基于驾驶员的语言或语音模式。换言之，可以基于音频信号来确定驾驶员的活动程度，并且可以从其得出困倦信号。例如，如果确定驾驶员的高活动程度，则可以检测到低驾驶员困倦，并且如果存在驾驶员的低活动程度，则可以检测到高驾驶员困倦。此外，可以将困倦信号初始化为某个值(例如基于特征模式)，并且通过考虑活动程度来进行更新。
10、为了确定困倦信号，考虑特征模式或活动程度，或特征模式和活动程度两者。即，特征模式和活动程度可以被映射到相应信号或由相应信号表示，这些信号被加权以确定困倦信号。相应信号的权重可以依赖于摄像头系统的帧率以及分配给特征模式和活动程度的相应置信度。
11、所提取的特征模式和所确定的活动程度可以被映射到相应信号，该相应信号指示驾驶员的某一困倦并且被用于如上所述确定困倦信号。即，在特征模式在一方面与活动程度之间并且在另一方面与困倦信号之间可以存在预定关系。此外，可以使用机器学习算法来实现特征模式和/或活动程度到困倦信号的映射。
12、当提供图像序列时，摄像头系统可以以不同的帧率工作。例如，如果摄像头系统仅用于监测驾驶员而不执行其他任务，则图像序列可以具有高帧率。相反，如果摄像头系统同时还涉及不同的任务，则除了经由摄像头系统监测驾驶员之外，图像帧率可能由于(例如由信息娱乐系统)在载具中执行的附加任务而降低。例如，视频呼叫可以由信息娱乐系统发起，使得摄像头系统可以用于例如在载具的后视镜中投射视频。图像帧率降低的其他原因可以是例如功率节省或热退化。
13、如果摄像头系统以足够高的帧率工作，使得可以可靠地识别特征模式，则困倦信号可以主要地或单独地从特征模式得出。在这种情况下，选择特征模式作为确定困倦信号的主要基础。然而，如果帧率不足以高到可靠地提取或识别特征模式，则可以选择活动程度作为确定困倦信号的主要基础。在这种情况下，由于降低的帧率，分配给特征模式的置信度也可以具有低值。
14、分配给特征模式的置信度可以与评估识别图像序列内的特征模式的能力有关。可以对从图像序列中提取特征模式的模式识别过程应用标准误差计算。
15、类似地，分配给活动程度的置信度可以依赖于在图像本文档来自技高网...
【技术保护点】
1.一种用于确定载具中的驾驶员的困倦的由计算机实现的方法(300)，所述方法包括：
2.根据权利要求1所述的方法(300)，其中，
3.根据权利要求2所述的方法(300)，其中，
4.根据权利要求1至3中的任一项所述的方法(300)，其中，
5.根据权利要求1至4中的任一项所述的方法(300)，其中，
6.根据权利要求1至5中的任一项所述的方法(300)，其中，
7.根据权利要求1至6中的任一项所述的方法(300)，其中，
8.根据权利要求7所述的方法(300)，其中，
9.根据权利要求7或8所述的方法(300)，其中，
10.根据权利要求7至9中的任一项所述的方法(300)，其中，
11.根据权利要求10所述的方法(300)，其中，
12.根据权利要求10或11所述的方法(300)，其中，
13.根据权利要求7至12中的任一项所述的方法(300)，其中，
14.一种计算机系统，所述计算机系统被配置成执行根据权利要求1至13中
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求1至13中的任一项所述的由计算机实现的方法的指令。
...【技术特征摘要】
1.一种用于确定载具中的驾驶员的困倦的由计算机实现的方法(300)，所述方法包括：
2.根据权利要求1所述的方法(300)，其中，
3.根据权利要求2所述的方法(300)，其中，
4.根据权利要求1至3中的任一项所述的方法(300)，其中，
5.根据权利要求1至4中的任一项所述的方法(300)，其中，
6.根据权利要求1至5中的任一项所述的方法(300)，其中，
7.根据权利要求1至6中的任一项所述的方法(300)，其中，
8.根据权利要求7所述的方法(300)，其中，
9.根据权利要求...
【专利技术属性】
技术研发人员：A·巴尔特，T·雷费尔德，
申请(专利权)人：APTIV技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。