一种疲劳驾驶的识别方法技术

本申请公开了一种疲劳驾驶的识别方法

【技术实现步骤摘要】
一种疲劳驾驶的识别方法、装置、存储介质和电子设备


[0001]本申请涉及智能交通领域技术，特别涉及一种疲劳驾驶的识别方法
、
装置
、
存储介质和电子设备
。

技术介绍

[0002]随着图像技术以及神经网络技术的不断进步，交通领域的智能识别技术得到了越来越广泛的应用
。
[0003]目前在智能交通领域中，疲劳驾驶的检测和识别成为一种有效的主动安全处理方式
。
目前的疲劳驾驶检测和识别方法，通常都是基于单帧图像的处理，即使对于利用多帧进行的疲劳驾驶检测中，也是对单帧图像进行独立的特征提取，再将多帧特征按照时间顺序直接拼接后用于进行是否疲劳驾驶的分类判定
。
这类疲劳驾驶的检测和识别方式，其对于疲劳驾驶的识别率较低
。

技术实现思路

[0004]本申请提供一种疲劳驾驶的识别方法
、
装置
、
存储介质和电子设备，能够有效提高疲劳驾驶的识别率
。
[0005]为实现上述目的，本申请采用如下技术方案：
[0006]一种疲劳驾驶的识别方法，包括：
[0007]获取目标视频中顺序且等间隔排列的
N
帧图像，并在所述
N
帧图像中提取包括驾驶员在内的感兴趣区域，得到
N
帧第一图像；其中，所述
N
为大于1的自然数；
[0008]将所述
N
帧第一图像输入预先训练好的分类模型，经过所述分类模型的处理后确定所述目标视频是否代表疲劳驾驶的分类结果；
[0009]其中，所述分类模型的处理包括：对所述
N
帧第一图像联合进行时空特征提取，得到第一图像特征，基于所述第一图像特征进行编码和解码处理，输出所述分类结果，所述分类结果与用于表征驾驶员疲劳程度的预设动作组相关
。
[0010]较佳地，使所述分类结果与所述预设动作组相关的方式为：
[0011]在所述分类模型的处理中进一步包括从所述
N
帧第一图像中提取驾驶员状态时序特征，用于确定所述分类结果；其中，所述驾驶员状态时序特征包括与所述预设动作组相关的
、
按照时间顺序排列的面部特征
。
[0012]较佳地，使所述分类结果与所述预设动作组相关的方式为：
[0013]在训练所述分类模型的过程中，进行解码处理时进一步预测所述
N
帧图像中按顺序发生的
、
用于表征驾驶员疲劳程度的第一动作组，基于所述第一动作组与实际动作组的比较确定第一损失函数，并将所述第一损失函数作为所述分类模型参数的更新依据；其中，所述第一动作组所包括的动作来源于所述预设动作组
。
[0014]较佳地，在所述进行编码和解码处理前，该方法进一步包括：基于所述
N
帧第一图像确定所述驾驶员状态时序特征；
[0015]所述基于所述第一图像特征进行编码，包括：将所述第一图像特征和所述驾驶员状态时序特征分别进行编码处理，再将编码处理结果进行融合后得到融合特征；
[0016]进行解码处理，包括：对所述融合特征进行所述解码处理
。
[0017]较佳地，该方法进一步包括：
[0018]在训练所述分类模型时，进行所述解码处理时进一步预测所述
N
帧图像中按顺序发生的
、
用于表征驾驶员疲劳程度的第一动作组，基于所述第一动作组与实际动作组的比较确定第一损失函数，并将所述第一损失函数作为所述分类模型参数的更新依据
。
[0019]较佳地，所述基于所述
N
帧第一图像确定所述驾驶员状态时序特征，包括：
[0020]对所述
N
帧第一图像中的每一帧，通过目标检测网络确定预设特征量的取值；
[0021]基于所述
N
帧第一图像的预设特征量取值，计算每个所述特征量在不同帧图像上的取值变化量；
[0022]将同一帧图像中每个所述特征量的取值和所述取值变化信息拼接在一起，并将
N
帧的拼接结果按照时间顺序排列，组成
N*M
维的所述驾驶员状态时序特征；
[0023]其中，所述预设特征量包括：驾驶员面部与表征驾驶员疲劳程度相关的预设关键区域的位置
、
头部姿态角度和由所述预设关键区域的位置确定的目标动作特征量，所述
M
为所述预设特征量及其取值变化量的数量总和
。
[0024]较佳地，所述预设关键区域包括：眼睛区域
、
嘴巴区域和鼻尖；
[0025]所述目标动作特征量包括：眼睛的张合程度和嘴巴的张合程度
。
[0026]较佳地，所述将所述编码结果进行融合后得到融合特征，包括：
[0027]将所述第一图像特征的编码结果和所述驾驶员状态时序特征的编码结果分别进行自注意力编码，得到第一编码特征和第二编码特征；
[0028]将所述第一图像特征的编码结果和所述驾驶员状态时序特征的编码结果，进行互注意力编码，得到联合编码特征；
[0029]将所述联合编码特征
、
所述第一编码特征和所述第二编码特征进行特征拼接，得到所述融合特征
。
[0030]较佳地，在进行所述互注意力编码时，将所述驾驶员状态时序特征的编码结果作为查询键，将所述第一图像特征的编码结果作为被查询键和值键计算加权系数
。
[0031]较佳地，该方法进一步包括：在训练所述分类模型时，在所述确定所述第一损失函数之后，将所述第一损失函数和第二损失函数的融合结果作为所述分类模型的损失函数；其中，所述第二损失函数为基于是否为疲劳驾驶的分类信息确定的损失函数
。
[0032]较佳地，所述第一损失函数为具有对齐功能的损失函数
。
[0033]一种疲劳驾驶的识别装置，包括：图像区域提取模块和分类处理模块；
[0034]所述图像区域提取单元，用于获取目标视频中顺序且等间隔排列的
N
帧图像，并在所述
N
帧图像中提取包括驾驶员在内的感兴趣区域，得到
N
帧第一图像；其中，所述
N
为大于1的自然数；
[0035]分类处理模块，用于将所述
N
帧第一图像输入预先训练好的分类模型，经过所述分类模型的处理后确定所述目标视频是否代表疲劳驾驶的分类结果；
[0036]其中，所述分类处理模块包括第一图像特征提取单元
、
编码单元和解码单元；
[0037]所述第一图像特征提取单元，用于对所述
N
帧第一图像联合进行时空特征提取，得
到第一图像特征；
[0038]所述编码单元，用于基于所述第一图像特征进行编码处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种疲劳驾驶的识别方法，其特征在于，包括：获取目标视频中顺序且等间隔排列的
N
帧图像，并在所述
N
帧图像中提取包括驾驶员在内的感兴趣区域，得到
N
帧第一图像；其中，所述
N
为大于1的自然数；将所述
N
帧第一图像输入预先训练好的分类模型，经过所述分类模型的处理后确定所述目标视频是否代表疲劳驾驶的分类结果；其中，所述分类模型的处理包括：对所述
N
帧第一图像联合进行时空特征提取，得到第一图像特征，基于所述第一图像特征进行编码和解码处理，输出所述分类结果，所述分类结果与用于表征驾驶员疲劳程度的预设动作组相关
。2.
根据权利要求1所述的方法，其特征在于，使所述分类结果与所述预设动作组相关的方式为：在所述分类模型的处理中进一步包括从所述
N
帧第一图像中提取驾驶员状态时序特征，用于确定所述分类结果；其中，所述驾驶员状态时序特征包括与所述预设动作组相关的
、
按照时间顺序排列的面部特征
。3.
根据权利要求1所述的方法，其特征在于，使所述分类结果与所述预设动作组相关的方式为：在训练所述分类模型的过程中，进行解码处理时进一步预测所述
N
帧图像中按顺序发生的
、
用于表征驾驶员疲劳程度的第一动作组，基于所述第一动作组与实际动作组的比较确定第一损失函数，并将所述第一损失函数作为所述分类模型参数的更新依据；其中，所述第一动作组所包括的动作来源于所述预设动作组
。4.
根据权利要求2所述的方法，其特征在于，在所述进行编码和解码处理前，该方法进一步包括：基于所述
N
帧第一图像确定所述驾驶员状态时序特征；所述基于所述第一图像特征进行编码，包括：将所述第一图像特征和所述驾驶员状态时序特征分别进行编码处理，再将编码处理结果进行融合后得到融合特征；进行解码处理，包括：对所述融合特征进行所述解码处理
。5.
根据权利要求4所述的方法，其特征在于，该方法进一步包括：在训练所述分类模型时，进行所述解码处理时进一步预测所述
N
帧图像中按顺序发生的
、
用于表征驾驶员疲劳程度的第一动作组，基于所述第一动作组与实际动作组的比较确定第一损失函数，并将所述第一损失函数作为所述分类模型参数的更新依据
。6.
根据权利要求4或5所述的方法，其特征在于，所述基于所述
N
帧第一图像确定所述驾驶员状态时序特征，包括：对所述
N
帧第一图像中的每一帧，通过目标检测网络确定预设特征量的取值；基于所述
N
帧第一图像的预设特征量取值，计算每个所述特征量在不同帧图像上的取值变化量；将同一帧图像中每个所述特征量的取值和所述取值变化信息拼接在一起，并将
N
帧的拼接结果按照时间顺序排列，组成
N*M
维的...

【专利技术属性】
技术研发人员：张彬，韦立庆，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：