驾驶员疲劳预测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种驾驶员疲劳预测方法、装置、电子设备及存储介质，通过获取监控视频；根据监控视频得到脸部状态特征和疲劳分数；将脸部状态特征作为输入向量，疲劳分数作为目标结果对疲劳预测回归模型进行训练；从待检测图像或视频中提取将待检测驾驶员的脸部状态特征，并将所述待检测驾驶员的脸部状态特征输入训练好的疲劳预测回归模型，得到未来一段时间内每个时刻对应的疲劳分数，继而可以根据当前时刻和不同疲劳程度对应的时刻推断到达不同疲劳程度所需要的时间，实现提前预测驾驶员疲劳状况的目的，有助于提前预警，避免车辆事故发生，并且，同一个模型可以根据不同疲劳程度需求得到对应的预测时间，具有高扩展性。具有高扩展性。具有高扩展性。

【技术实现步骤摘要】
驾驶员疲劳预测方法、装置、电子设备及存储介质


[0001]本专利技术涉及驾驶员监控
，尤其涉及一种驾驶员疲劳预测方法、装置、电子设备及存储介质。

技术介绍

[0002]驾驶员监控系统(Driver Monitoring System,DMS)，是指在驾驶过程中，全程监控驾驶员行为状态并给出警示提醒功能的系统。由于较多交通事故中，因疲劳驾驶导致的交通事故占主要部分，因此，疲劳检测是DMS系统的重点监控内容。疲劳检测主要包括两种形式，一种是非侵入形式，即通过驾驶员前方放置的摄像头捕获的视觉图像分析驾驶员脸部头部和身体信息进行疲劳检测；另一种是侵入式形式，即通过佩戴穿戴式设备、粘贴电极等与驾驶员接触的方式，检测驾驶员的脑电、眼电、皮肤电活动、呼吸、心率等进行疲劳检测。以上两种检测形式往往检测到驾驶员疲劳时，车辆往往已经处于发生交通事故的边缘，检测结果具有滞后性，存在驾驶安全隐患。相关技术中，通过人工神经网络模型对到达预设疲劳阈值所需的时间进行预测，但由于疲劳阈值根据不同需求确定，因此不同用户需求需要对模型进行多次训练，模型扩展能力差。

技术实现思路

[0003]本专利技术提供一种驾驶员疲劳预测方法、装置、电子设备及存储介质，用以解决传统疲劳检测方法具有滞后性，存在驾驶安全隐患以及疲劳预测模型扩展能力差的缺陷。
[0004]本专利技术提供一种驾驶员疲劳预测方法，包括：
[0005]获取监控视频；
[0006]根据所述监控视频得到驾驶员的脸部状态特征和疲劳分数根据所述监控视频得到驾驶员的脸部状态特征和疲劳分数；
[0007]将所述脸部状态特征作为输入向量，所述疲劳分数作为目标结果对疲劳预测回归模型进行训练；
[0008]从待检测图像或视频中提取将待检测驾驶员的脸部状态特征，并将所述待检测驾驶员的脸部状态特征输入训练好的疲劳预测回归模型，得到未来一段时间内每个时刻对应的疲劳分数。
[0009]根据本专利技术提供的一种驾驶员疲劳预测方法，所述根据所述监控视频得到驾驶员的脸部状态特征和疲劳分数，包括：
[0010]从所述监控视频中提取出单帧图像对应的脸部关键点信息，所述脸部关键点信息包括上下眼距与左右眼角距离的比例和上下嘴距与左右嘴角距离的比例；
[0011]将多帧图像对应的脸部关键点信息进行统计分析，得到第一脸部状态特征；
[0012]将所述监控视频输入视频分类模型得到第二脸部状态特征和疲劳分数；
[0013]将所述第一脸部状态特征和所述第二脸部状态特征作为驾驶员的脸部状态特征。
[0014]根据本专利技术提供的一种驾驶员疲劳预测方法，所述第一脸部状态特征包括：
[0015]闭眼事件信息、张嘴事件信息、关联事件信息和第一统计信息；
[0016]所述闭眼事件信息包括闭眼事件发生次数和闭眼事件发生的时长，所述闭眼事件是否发生根据上下眼距与左右眼角距离的比例是否低于预设闭眼阈值判断；
[0017]所述张嘴事件信息包括张嘴事件发生次数和张嘴事件发生的时长，所述张嘴事件是否发生根据上下嘴距与左右嘴角距离的比例是否超过预设闭嘴阈值判断；
[0018]所述关联事件信息包括闭眼事件发生次数与张嘴事件发生次数比例关系；
[0019]所述第一统计信息包括闭眼事件信息、张嘴事件信息和关联事件信息对应的均值、方差、最大值和最小值。
[0020]根据本专利技术提供的一种驾驶员疲劳预测方法，所述第二脸部状态特征包括：
[0021]闭眼分数、打哈欠分数、向下看分数以及第二统计信息，所述第二统计信息包括所述闭眼分数、打哈欠分数、向下看分数对应的均值、方差、最大值和最小值。
[0022]根据本专利技术提供的一种驾驶员疲劳预测方法，还包括：
[0023]以时间作为自变量，基于每个时刻的打哈欠分数构造第一高斯分布函数；
[0024]根据所有时刻得到的高斯分布函数的最大值构造第二高斯分布函数；
[0025]将所述第二高斯分布函数在每个时刻的打哈欠分数与对应时刻的疲劳分数相乘，得到更新后疲劳分数；
[0026]以所述更新后疲劳分数作为目标结果对所述疲劳预测回归模型进行训练。
[0027]根据本专利技术提供的一种驾驶员疲劳预测方法，所述疲劳预测回归模型包括目标函数，所述目标函数根据梯度提升决策树模型和损失函数构造；
[0028]所述梯度提升决策树模型包括回归树对应的正则化项。
[0029]根据本专利技术提供的一种驾驶员疲劳预测方法，所述对疲劳预测回归模型进行训练，包括：
[0030]采用提升方法对所述疲劳预测回归模型进行增量训练，具体包括：
[0031]在进行第t轮训练时，计算第t轮之前根据输入向量x
i
得到的贡献值之和，以及第t轮根据输入向量x
i
得到的贡献值；
[0032]将第t轮之前根据输入向量x
i
得到的贡献值之和与第t轮步根据输入向量x
i
得到的贡献值之间的求和函数作为新的目标函数，直到满足训练结束条件，其中，为第t轮之前根据输入向量x
i
得到的贡献值之和，h
k
(x
i
)为第t轮根据输入向量x
i
得到的贡献值。
[0033]本专利技术还提供一种驾驶员疲劳预测装置，包括：
[0034]获取模块，用于获取监控视频；
[0035]计算模块，用于根据所述监控视频得到驾驶员的脸部状态特征和疲劳分数；
[0036]训练模块，用于将所述脸部状态特征作为输入向量，所述疲劳分数作为目标结果对疲劳预测回归模型进行训练；
[0037]预测模块，用于从待检测图像或视频中提取将待检测驾驶员的脸部状态特征，并将所述待检测驾驶员的脸部状态特征输入训练好的疲劳预测回归模型，得到未来一段时间内每个时刻对应的疲劳分数。
[0038]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的驾驶员疲劳预测方法。
[0039]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的驾驶员疲劳预测方法。
[0040]本专利技术提供的驾驶员疲劳预测方法、装置、电子设备及存储介质，通过获取监控视频；根据监控视频得到脸部状态特征和疲劳分数；将脸部状态特征作为输入向量，疲劳分数作为目标结果对疲劳预测回归模型进行训练；从待检测图像或视频中提取将待检测驾驶员的脸部状态特征，并将所述待检测驾驶员的脸部状态特征输入训练好的疲劳预测回归模型，得到未来一段时间内每个时刻对应的疲劳分数，继而可以根据当前时刻和不同疲劳程度对应的时刻推断到达不同疲劳程度所需要的时间，实现提前预测驾驶员疲劳状况的目的，有助于提前预警，避免车辆事故发生，并且，同一个模型可以根据不同疲劳程度需求得到对应的预测时间，具有高扩展性。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶员疲劳预测方法，其特征在于，包括：获取监控视频；根据所述监控视频得到驾驶员的脸部状态特征和疲劳分数；将所述脸部状态特征作为输入向量，所述疲劳分数作为目标结果对疲劳预测回归模型进行训练；从待检测图像或视频中提取待检测驾驶员的脸部状态特征，并将所述待检测驾驶员的脸部状态特征输入训练好的疲劳预测回归模型，得到未来一段时间内每个时刻对应的疲劳分数。2.根据权利要求1所述的驾驶员疲劳预测方法，其特征在于，所述根据所述监控视频得到驾驶员的脸部状态特征和疲劳分数，包括：从所述监控视频中提取出单帧图像对应的脸部关键点信息，所述脸部关键点信息包括上下眼距与左右眼角距离的比例和上下嘴距与左右嘴角距离的比例；将多帧图像对应的脸部关键点信息进行统计分析，得到第一脸部状态特征；将所述监控视频输入视频分类模型得到第二脸部状态特征和疲劳分数；将所述第一脸部状态特征和所述第二脸部状态特征作为驾驶员的脸部状态特征。3.根据权利要求2所述的驾驶员疲劳预测方法，其特征在于，所述第一脸部状态特征包括：闭眼事件信息、张嘴事件信息、关联事件信息和第一统计信息；所述闭眼事件信息包括闭眼事件发生次数和闭眼事件发生的时长，所述闭眼事件是否发生根据上下眼距与左右眼角距离的比例是否低于预设闭眼阈值判断；所述张嘴事件信息包括张嘴事件发生次数和张嘴事件发生的时长，所述张嘴事件是否发生根据上下嘴距与左右嘴角距离的比例是否超过预设闭嘴阈值判断；所述关联事件信息包括闭眼事件发生次数与张嘴事件发生次数比例关系；所述第一统计信息包括闭眼事件信息、张嘴事件信息和关联事件信息对应的均值、方差、最大值和最小值。4.根据权利要求3所述的驾驶员疲劳预测方法，其特征在于，所述第二脸部状态特征包括：闭眼分数、打哈欠分数、向下看分数以及第二统计信息，所述第二统计信息包括所述闭眼分数、打哈欠分数、向下看分数对应的均值、方差、最大值和最小值。5.根据权利要求4所述的驾驶员疲劳预测方法，其特征在于，还包括：以时间作为自变量，基于每个时刻的打哈欠分数构造第一高斯分布函数；根据所有时刻对应的高斯分布函数最大值构造第二高斯分布函数；将所述第二高斯分布函数在每个时刻的打哈欠分数与对应时刻的疲劳分数相乘，得到更新后疲劳...

【专利技术属性】
技术研发人员：蔺越檀，陈思乾，程新景，杨睿刚，
申请(专利权)人：际络科技上海有限公司，
类型：发明
国别省市：