本申请提供了一种驾驶员使用电子设备行为识别方法、装置及设备，其中，该方法包括：通过驾驶员正面和侧面的摄像头分别采集第一视频和第二视频，并得到正面识别结果和侧面识别结果，然后综合正面识别结果、侧面识别结果以及驾驶特征数据进行判断，得到最终的驾驶员的使用电子设备行为的识别结果。其中，第一视频可以表征驾驶员的面部特征变化，从而确定驾驶员是否持续和/或频繁目视电子设备，将驾驶员的正面面部特征与侧面摄像头对于是否手持电子设备的检测结果结合起来，可以在电子设备脱离正面摄像头范围时，也进行精准的识别。并且，将驾驶特征数据也作为驾驶员行为识别的依据，可以避免特殊情况的误识别，提高对于不同场景的适用性。的适用性。的适用性。
【技术实现步骤摘要】
驾驶员使用电子设备行为识别方法、装置及设备
[0001]本申请涉及机器视觉
，具体而言，涉及一种驾驶员使用电子设备行为识别方法、装置及设备。
技术介绍
[0002]随着货运行业的逐步发展，货运主对货运图中的安全问题越来越关注，然而在运输货物的过程中，驾驶员存在驾驶过程中使用手机的危险驾驶行为，提高了货运的事故发生率，因此在驾驶过程中，就需要对驾驶员使用手机的行为进行识别，当驾驶员在驾驶过程中使用手机时进行提醒。
[0003]现有技术中，针对驾驶员使用手机行为的识别主要是通过图像识别算法实现的。通过驾驶员正前方的摄像头进行视频采集，并检测视频图像中是否出现手机，实现对驾驶员使用手机行为的识别。
[0004]但是，使用现有技术的方法，当手机放置在前置摄像头无法捕捉的区域时，则无法实现对使用手机行为的识别，因此目前的使用手机行为识别方法存在识别准确率低的问题。
技术实现思路
[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种驾驶员使用电子设备行为识别方法、装置及设备，以解决现有技术中使用手机行为识别方法存在识别准确率低的问题。
[0006]为实现上述目的，本申请采用的技术方案如下：
[0007]第一方面，本申请提供了一种驾驶员使用电子设备行为识别方法，所述方法包括：
[0008]获取驾驶员的第一视频，所述第一视频为驾驶员的正面视角的摄像头采集的视频，所述第一视频包括多帧按照时间顺序排列的图像；
[0009]基于所述第一视频和预先训练得到的第一分类模型确定所述驾驶员的正面识别结果，所述正面识别结果用于指示所述驾驶员是否持续和/或频繁目视电子设备；
[0010]获取驾驶员的第二视频，所述第二视频为驾驶员的侧面视角的摄像头采集的视频，所述第二视频包括多帧按照时间顺序排列的图像；
[0011]基于所述第二视频和预先训练得到的第二分类模型确定所述驾驶员的侧面识别结果，所述侧面识别结果用于指示所述驾驶员是否手持电子设备；
[0012]根据所述正面识别结果、所述侧面识别结果以及驾驶特征数据确定所述驾驶员的使用电子设备行为的识别结果。
[0013]可选的，所述基于所述第一视频和预先训练得到的第一分类模型确定所述驾驶员的正面识别结果，包括：
[0014]由所述第一分类模型根据所述第一视频中的各帧图像确定所述第一视频的图像特征，所述图像特征用于表征所述驾驶员的面部参考信息；
[0015]由所述第一分类模型根据所述第一视频中的各帧图像确定所述第一视频的时序特征，所述时序特征用于表征所述驾驶员的面部变化信息；
[0016]由所述第一分类模型根据所述图像特征和所述时序特征，得到所述驾驶员的正面识别结果。
[0017]可选的，所述由所述第一分类模型根据所述第一视频中的各帧图像确定所述第一视频的时序特征，包括：
[0018]由所述第一分类模型确定各帧图像中的脸部特征点、眼部中心位置特征点、眼部闭合信息以及脸部内容信息；
[0019]基于各帧图像中的脸部特征点、眼部中心位置特征点、眼部闭合信息以及脸部内容信息对各帧图像进行向量化，得到各帧图像的图像向量；
[0020]对各所述图像向量依次进行特征提取，得到所述第一视频的时序特征。
[0021]可选的，所述对各所述图像向量依次进行特征提取，得到所述第一视频的时序特征，包括：
[0022]根据当前帧图像的图像向量以及所述当前帧图像的前一帧图像的隐含向量，确定所述当前帧图像的隐含向量；
[0023]将最后一帧图像的隐含向量作为所述第一视频的时序特征。
[0024]可选的，所述基于所述第二视频和预先训练得到的第二分类模型确定所述驾驶员的侧面识别结果，包括：
[0025]由所述第二分类模型对所述第二视频的各帧图片进行人体关键点识别，得到关键点识别结果；
[0026]由所述第二分类模型根据所述关键点识别结果，确定所述驾驶员的手部图片；
[0027]由所述第二分类模型对所述手部图片进行识别，得到所述驾驶员的侧面识别结果。
[0028]可选的，所述驾驶特征数据包括：所述第一视频的时间信息和所述第二视频的时间信息、所述驾驶员的驾驶信息以及道路信息；
[0029]所述根据所述正面识别结果、所述侧面识别结果以及驾驶特征数据确定所述驾驶员的使用电子设备行为的识别结果，包括：
[0030]将所述正面识别结果、所述侧面识别结果、所述第一视频的时间信息和所述第二视频的时间信息、所述驾驶员的驾驶信息以及道路信息输入预先训练得到的第三分类模型中，得到所述驾驶员使用电子设备行为的识别结果。
[0031]可选的，所述基于所述第一视频和预先训练得到的第一分类模型确定所述驾驶员的正面识别结果之前，包括：
[0032]将第一样本视频输入第一初始分类模型中，得到所述第一样本视频的图像特征以及所述时序特征；
[0033]根据所述第一样本视频的图像特征以及时序特征，确定所述第一样本视频的样本正面识别结果；
[0034]基于所述样本正面识别结果以及所述第一样本视频中的标注信息确定所述第一初始分类模型的损失值，并根据所述损失值对所述第一初始分类模型进行迭代优化，得到所述第一分类模型。
[0035]第二方面，本申请提供了一种驾驶员使用电子设备行为识别装置，所述装置包括：
[0036]第一获取模块，用于获取驾驶员的第一视频，所述第一视频为驾驶员的正面视角的摄像头采集的视频，所述第一视频包括多帧按照时间顺序排列的图像；
[0037]第一确定模块，用于基于所述第一视频和预先训练得到的第一分类模型确定所述驾驶员的正面识别结果，所述正面识别结果用于指示所述驾驶员是否持续和/或频繁目视电子设备；
[0038]第二获取模块，用于获取驾驶员的第二视频，所述第二视频为驾驶员的侧面视角的摄像头采集的视频，所述第二视频包括多帧按照时间顺序排列的图像；
[0039]第二确定模块，用于基于所述第二视频和预先训练得到的第二分类模型确定所述驾驶员的侧面识别结果，所述侧面识别结果用于指示所述驾驶员是否手持电子设备；
[0040]结果确定模块，用于根据所述正面识别结果、所述侧面识别结果以及驾驶特征数据确定所述驾驶员的使用电子设备行为的识别结果。
[0041]可选的，所述第一确定模块具体用于：
[0042]由所述第一分类模型根据所述第一视频中的各帧图像确定所述第一视频的图像特征，所述图像特征用于表征所述驾驶员的面部参考信息；
[0043]由所述第一分类模型根据所述第一视频中的各帧图像确定所述第一视频的时序特征，所述时序特征用于表征所述驾驶员的面部变化信息；
[0044]由所述第一分类模型根据所述图像特征和所述时序特征，得到所述驾驶员的正面识别结果。
[0045]可选的，所述第一确定模块还具体用于：
[0046]由所述第一分类模型确定各帧图像中的脸部特征点本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种驾驶员使用电子设备行为识别方法，其特征在于，包括：获取驾驶员的第一视频，所述第一视频为驾驶员的正面视角的摄像头采集的视频，所述第一视频包括多帧按照时间顺序排列的图像；基于所述第一视频和预先训练得到的第一分类模型确定所述驾驶员的正面识别结果，所述正面识别结果用于指示所述驾驶员是否持续和/或频繁目视电子设备；获取驾驶员的第二视频，所述第二视频为驾驶员的侧面视角的摄像头采集的视频，所述第二视频包括多帧按照时间顺序排列的图像；基于所述第二视频和预先训练得到的第二分类模型确定所述驾驶员的侧面识别结果，所述侧面识别结果用于指示所述驾驶员是否手持电子设备；根据所述正面识别结果、所述侧面识别结果以及驾驶特征数据确定所述驾驶员的使用电子设备行为的识别结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一视频和预先训练得到的第一分类模型确定所述驾驶员的正面识别结果，包括：由所述第一分类模型根据所述第一视频中的各帧图像确定所述第一视频的图像特征，所述图像特征用于表征所述驾驶员的面部参考信息；由所述第一分类模型根据所述第一视频中的各帧图像确定所述第一视频的时序特征，所述时序特征用于表征所述驾驶员的面部变化信息；由所述第一分类模型根据所述图像特征和所述时序特征，得到所述驾驶员的正面识别结果。3.根据权利要求2所述的方法，其特征在于，所述由所述第一分类模型根据所述第一视频中的各帧图像确定所述第一视频的时序特征，包括：由所述第一分类模型确定各帧图像中的脸部特征点、眼部中心位置特征点、眼部闭合信息以及脸部内容信息；基于各帧图像中的脸部特征点、眼部中心位置特征点、眼部闭合信息以及脸部内容信息对各帧图像进行向量化，得到各帧图像的图像向量；对各所述图像向量依次进行特征提取，得到所述第一视频的时序特征。4.根据权利要求3所述的方法，其特征在于，所述对各所述图像向量依次进行特征提取，得到所述第一视频的时序特征，包括：根据当前帧图像的图像向量以及所述当前帧图像的前一帧图像的隐含向量，确定所述当前帧图像的隐含向量；将最后一帧图像的隐含向量作为所述第一视频的时序特征。5.根据权利要求1所述的方法，其特征在于，所述基于所述第二视频和预先训练得到的第二分类模型确定所述驾驶员的侧面识别结果，包括：由所述第二分类模型对所述第二视频的各帧图片进行人体关键点识别，得到关键点识别结果；由所述第二分类模型根据所述关键点识别结果，确定所述驾驶员的手部图片；由所述第二分类模型对所述手部图片进行识别，得到所述驾驶员的侧面识别结果。6.根据权利要求1所述的方...
【专利技术属性】
技术研发人员：汪伟，曹桂锋，谭悦，
申请(专利权)人：北京汇通天下物联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。