一种疲劳驾驶的确定方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种疲劳驾驶的确定方法、装置及电子设备，应用于图像处理技术领域，该方法包括：获取指定时间段内，针对驾驶员所采集的多帧图像数据；针对每一图像数据，从图像数据中，获取包含驾驶员的眼睛的眼部图像；利用预先训练的睁闭眼模型，识别每一眼部图像中驾驶员的睁闭眼状态；其中，睁闭眼模型是利用样本眼部图像以及样本眼部图像对应的睁闭眼状态的真值训练得到的；基于各眼部图像中驾驶员的睁闭眼状态，确定驾驶员是否疲劳驾驶。通过本方案，能够提高疲劳驾驶确定的准确度。度。度。

【技术实现步骤摘要】
一种疲劳驾驶的确定方法、装置及电子设备


[0001]本专利技术涉及图像处理
，特别是涉及一种疲劳驾驶的确定方法、装置及电子设备。

技术介绍

[0002]随着公路交通事业逐渐繁荣，车辆数量不断上升，道路交通安全问题变得日益严重起来。由于疲劳驾驶导致的交通事故比一般交通事故要严重很多，因此，对驾驶员的疲劳程度进行实时确定与预警，对避免交通事故的发生具有重要的意义。
[0003]相关技术中，多通过确定眼睛是否频繁闭眼来确定驾驶员是否疲劳驾驶，具体的，通过识别驾驶员人脸图像上的人眼关键点，进而基于各人眼关键点之间的位置关系随时间的变化情况，来确定驾驶员是否频繁闭眼。
[0004]由于人眼关键点是标注在人脸图像中眼睛部位的像素点上，而人脸图像中眼部区域占比较小，使得眼部区域的像素点较少，导致所识别的人眼关键点容易出错，进而导致很难准确确定驾驶员是否频繁闭眼，从而使得疲劳驾驶的确定的准确度不高。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种疲劳驾驶的确定方法、装置及电子设备，用以提高疲劳驾驶确定的准确度。具体技术方案如下：
[0006]第一方面，本专利技术实施例提供了一种疲劳驾驶的确定方法，该方法包括：
[0007]获取指定时间段内，针对驾驶员所采集的多帧图像数据；
[0008]针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像；
[0009]利用预先训练的睁闭眼模型，识别每一所述眼部图像中所述驾驶员的睁闭眼状态；其中，所述睁闭眼模型为：利用样本眼部图像以及所述样本眼部图像对应的睁闭眼状态的真值训练得到的；
[0010]基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员是否疲劳驾驶。
[0011]可选地，在所述获取指定时间段内，针对驾驶中的驾驶员采集的多帧图像数据之后，所述方法还包括：
[0012]获取各图像数据中，所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态；
[0013]所述基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员是否疲劳驾驶，包括：
[0014]基于各眼部图像中所述驾驶员的睁闭眼状态、以及所述各图像数据中所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲劳驾驶。
[0015]可选地，所述基于各眼部图像中所述驾驶员的睁闭眼状态、以及所述各图像数据中所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲
劳驾驶，包括：
[0016]基于各眼部图像中所述驾驶员的睁闭眼状态，预估所述驾驶员是否疲劳驾驶，得到第一预估结果；
[0017]基于所述各图像数据中所述驾驶员的头部姿态信息，预估所述驾驶员是否疲劳驾驶，得到第二预估结果；和/或，基于所述各图像数据中所述驾驶员的嘴巴张合状态，预估所述驾驶员是否疲劳驾驶，得到第三预估结果；
[0018]基于所述第一预估结果，以及所述第二预估结果和/或所述第三预估结果，确定所述驾驶员是否疲劳驾驶。
[0019]可选地，所述基于各眼部图像中所述驾驶员的睁闭眼状态，预估所述驾驶员是否疲劳驾驶，包括：
[0020]基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员在所述指定时间段内的闭眼信息；其中，所述闭眼信息指示所述驾驶员的闭眼次数、闭眼时长、闭眼频率中的至少一者；
[0021]确定所述闭眼信息是否满足预设的闭眼疲劳检测条件；若满足，则确定所述驾驶员疲劳驾驶为第一预估结果，否则，确定所述驾驶员未疲劳驾驶为第一预估结果。
[0022]可选地，所述基于所述各图像数据中所述驾驶员的头部姿态信息，预估所述驾驶员是否疲劳驾驶，包括：
[0023]基于所述各图像数据中所述驾驶员的头部姿态信息，确定所述驾驶员在所述指定时间段内的头部晃动信息；其中，所述头部晃动信息指示所述驾驶员的点头次数、点头时长、点头频率中的至少一者；
[0024]确定所述头部晃动信息是否满足预设的头部疲劳检测条件；若满足，则确定所述驾驶员疲劳驾驶为第二预估结果，否则，确定所述驾驶员未疲劳驾驶为第二预估结果。
[0025]可选地，所述基于所述各图像数据中所述驾驶员的嘴巴张合状态，预估所述驾驶员是否疲劳驾驶，包括：
[0026]基于所述各图像数据中所述驾驶员的嘴巴张合状态，确定所述驾驶员在所述指定时间段内的张嘴信息；其中，所述张嘴信息指示所述驾驶员的张嘴次数、张嘴时长、张嘴频率中的至少一者；
[0027]确定所述张嘴信息是否满足预设的嘴部疲劳检测条件；若满足，则确定所述驾驶员疲劳驾驶为第三预估结果，否则，确定所述驾驶员未疲劳驾驶为第三预估结果。
[0028]可选地，所述基于所述第一预估结果，以及所述第二预估结果和/或所述第三预估结果，确定所述驾驶员是否疲劳驾驶，包括：
[0029]若所述第一预估结果，以及所述第二预估结果和/或所述第三预估结果中，指示所述驾驶员疲劳驾驶的占比大于指示所述驾驶员未疲劳驾驶的占比，则确定所述驾驶员疲劳驾驶，否则，确定所述驾驶员为未疲劳驾驶。
[0030]可选地，在所述获取各图像数据中，所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态之前，所述方法还包括：
[0031]确定所述指定时间段内所述驾驶员的嘴巴是否被遮挡；
[0032]所述获取各图像数据中，所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态，包括：
[0033]若在所述指定时间段内所述驾驶员的嘴巴被遮挡，获取各图像数据中，所述驾驶员的头部姿态信息；
[0034]若在所述指定时间段内所述驾驶员的嘴巴未被遮挡，获取各图像数据中，所述驾驶员的头部姿态信息以及所述驾驶员的嘴巴张合状态。
[0035]可选地，在所述针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像之前，所述方法还包括：
[0036]确定所述指定时间段内所述驾驶员的眼睛是否被遮挡；
[0037]若未被遮挡，则执行所述针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像的步骤。
[0038]若被遮挡，则基于所获取的所述驾驶员的头部姿态信息，和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲劳驾驶。
[0039]可选地，所述从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像，包括：
[0040]对所述图像数据进行头部检测，确定所述图像数据中包含的每一头部对应的头部区域，并对所述图像数据进行人脸检测，确定所述图像数据中包含的每一人脸对应的人脸区域；
[0041]基于各头部区域和各人脸区域的位置，对各头部区域和各人脸区域进行关联；
[0042]从各与头部区域关联的人脸区域中，确定处于所述图像数据中指定区域内，或所占面积最大的人脸区域，作为所述驾驶员的人脸区域；
[0043]从所述驾驶员的人脸区域中，提取眼睛部位所在区域的图像，作为所述驾驶员本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种疲劳驾驶的确定方法，其特征在于，所述方法包括：获取指定时间段内，针对驾驶员所采集的多帧图像数据；针对每一所述图像数据，从所述图像数据中，获取包含所述驾驶员的眼睛的眼部图像；利用预先训练的睁闭眼模型，识别每一所述眼部图像中所述驾驶员的睁闭眼状态；其中，所述睁闭眼模型为：利用样本眼部图像以及所述样本眼部图像对应的睁闭眼状态的真值训练得到的；基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员是否疲劳驾驶。2.根据权利要求1所述的方法，其特征在于，在所述获取指定时间段内，针对驾驶中的驾驶员采集的多帧图像数据之后，所述方法还包括：获取各图像数据中，所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态；所述基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员是否疲劳驾驶，包括：基于各眼部图像中所述驾驶员的睁闭眼状态、以及所述各图像数据中所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲劳驾驶。3.根据权利要求2所述的方法，其特征在于，所述基于各眼部图像中所述驾驶员的睁闭眼状态、以及所述各图像数据中所述驾驶员的头部姿态信息和/或所述驾驶员的嘴巴张合状态，确定所述驾驶员是否疲劳驾驶，包括：基于各眼部图像中所述驾驶员的睁闭眼状态，预估所述驾驶员是否疲劳驾驶，得到第一预估结果；基于所述各图像数据中所述驾驶员的头部姿态信息，预估所述驾驶员是否疲劳驾驶，得到第二预估结果；和/或，基于所述各图像数据中所述驾驶员的嘴巴张合状态，预估所述驾驶员是否疲劳驾驶，得到第三预估结果；基于所述第一预估结果，以及所述第二预估结果和/或所述第三预估结果，确定所述驾驶员是否疲劳驾驶。4.根据权利要求3所述的方法，其特征在于，所述基于各眼部图像中所述驾驶员的睁闭眼状态，预估所述驾驶员是否疲劳驾驶，包括：基于各眼部图像中所述驾驶员的睁闭眼状态，确定所述驾驶员在所述指定时间段内的闭眼信息；其中，所述闭眼信息指示所述驾驶员的闭眼次数、闭眼时长、闭眼频率中的至少一者；确定所述闭眼信息是否满足预设的闭眼疲劳检测条件；若满足，则确定所述驾驶员疲劳驾驶为第一预估结果，否则，确定所述驾驶员未疲劳驾驶为第一预估结果。5.根据权利要求3所述的方法，其特征在于，所述基于所述各图像数据中所述驾驶员的头部姿态信息，预估所述驾驶员是否疲劳驾驶，包括：基于所述各图像数据中所述驾驶员的头部姿态信息，确定所述驾驶员在所述指定时间段内的头部晃动信息；其中，所述头部晃动信息指示所述驾驶员的点头次数、点头时长、点头频率中的至少一者；确定所述头部晃动信息是否满足预设的头部疲劳检测条件；若满足，则确定所述驾驶员疲劳驾驶为第二预估结果，否则，确定所述驾驶员未疲劳驾驶为第二预估结果。6.根据权利要求3所述的方法，其特征在于，所述基于所述各图像数据中所述驾驶员的
嘴巴张合状态，预估所述驾驶员是否疲劳驾驶，包括：基于所述各图像数据中所述驾驶员的嘴巴张合状态，确定所述驾驶员在所述指定时间段内的张嘴信息；其中，所述张嘴信息指示所述驾驶员的张嘴次数、张嘴时长、张嘴频率中的至少一者；确定所述张嘴信息是否满足预设的嘴部疲劳检测条件；若满足，则确定所述驾驶员疲劳驾驶为第三预估结果，否则，确定所述驾驶员未疲劳驾驶为第三预估结果。7.根据权利...

【专利技术属性】
技术研发人员：孔繁昊，陈明轩，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：