驾驶员行为检测方法及装置、安全驾驶提醒方法及装置制造方法及图纸

本申请提供了一种驾驶员行为检测方法及装置、安全驾驶提醒方法及装置，涉及图像处理技术领域。该驾驶员行为检测方法包括：基于驾驶员的驾驶图像和驾驶图像对应的人体关键点数据，确定驾驶员的人体整体区域图像和人体面部区域图像；基于人体整体区域图像，确定驾驶员的第一行为识别信息；基于人体面部区域图像，确定驾驶员的第二行为识别信息；基于人体关键点数据、第一行为识别信息和第二行为识别信息，确定驾驶员的行为检测结果。本申请提供的驾驶员行为检测方法，实现了高召回率、高精准率的不良驾驶行为检测，提升了行为检测结果的鲁棒性，从而进一步提高了车辆行驶过程中的安全性。安全性。安全性。

【技术实现步骤摘要】
驾驶员行为检测方法及装置、安全驾驶提醒方法及装置


[0001]本申请涉及图像处理
，具体涉及一种驾驶员行为检测方法及装置、安全驾驶提醒方法及装置。

技术介绍

[0002]随着社会的不断发展，汽车越来越普及，驾驶安全也成为了人们很关心的问题。根据调查，有25％
‑
50％的车祸是由于驾驶员抽烟、打电话等不良驾驶行为造成；交通事故发生前10分钟内驾驶员存在抽烟、打电话等行为，导致车祸发生的概率比正常驾驶行为高出了4倍，因此在车载系统内加入不良驾驶行为检测以此提醒驾驶员安全驾驶很有必要。然而，如何准确而有效地检测出驾驶员是否存在不良驾驶行为是急需解决的热点问题。

技术实现思路

[0003]为了解决上述技术问题，提出了本申请。本申请实施例提供了一种驾驶员行为检测方法及装置、安全驾驶提醒方法及装置。
[0004]第一方面，本申请一实施例提供了一种驾驶员行为检测方法，包括：基于驾驶员的驾驶图像和驾驶图像对应的人体关键点数据，确定驾驶员的人体整体区域图像和人体面部区域图像；基于人体整体区域图像，确定驾驶员的第一行为识别信息；基于人体面部区域图像，确定驾驶员的第二行为识别信息；基于人体关键点数据、第一行为识别信息和第二行为识别信息，确定驾驶员的行为检测结果。
[0005]结合第一方面，在第一方面的某些实现方式中，人体关键点数据包括手部关键点数据。基于人体关键点数据、第一行为识别信息和第二行为识别信息，确定驾驶员的行为检测结果，包括：基于第一行为识别信息和第二行为识别信息，确定驾驶行为分数；若驾驶行为分数落入预设危险驾驶分数范围，基于手部关键点数据，确定驾驶员对应的手持物体检测信息；基于手持物体检测信息、第一行为识别信息和第二行为识别信息，确定行为检测结果。
[0006]结合第一方面，在第一方面的某些实现方式中，基于手部关键点数据，确定驾驶员对应的手持物体检测信息，包括：基于手部关键点数据，确定驾驶员的人体手部区域图像；基于驾驶员的人体手部区域图像，确定驾驶员对应的手持物体检测信息。
[0007]结合第一方面，在第一方面的某些实现方式中，基于人体整体区域图像，确定驾驶员的第一行为识别信息，包括：将人体整体区域图像输入人体姿态识别模型，得到第一行为识别信息；基于人体面部区域图像，确定驾驶员的第二行为识别信息，包括：将人体面部区域图像输入人体行为分类模型，得到第二行为识别信息。
[0008]结合第一方面，在第一方面的某些实现方式中，人体姿态识别模型用于：基于人体整体区域图像，确定右手关键点和右耳关键点之间的第一距离、右手关键点和左耳关键点之间的第二距离、左手关键点和左耳关键点之间的第三距离以及左手关键点和右耳关键点之间的第四距离；若第一距离、第二距离、第三距离以及第四距离中的至少一个满足预设打
电话距离阈值范围，则将第一行为识别信息确定为打电话行为信息。
[0009]结合第一方面，在第一方面的某些实现方式中，在将人体面部区域图像输入人体行为分类模型，得到第二行为识别信息之前，该方法还包括：获取多位样本驾驶员各自对应的驾驶图像序列；基于多位样本驾驶员各自对应的驾驶图像序列，生成第一危险驾驶图像集和第一安全驾驶图像集；删除第一安全驾驶图像集中的部分图像，得到第二安全驾驶图像集，以便提高第一危险驾驶图像集对应的样本比例；基于第一危险驾驶图像集和第二安全驾驶图像集训练初始网络模型，得到人体行为分类模型。
[0010]结合第一方面，在第一方面的某些实现方式中，在基于第一危险驾驶图像集和第二安全驾驶图像集训练初始网络模型，得到人体行为分类模型之后，该方法还包括：基于多位样本驾驶员各自对应的驾驶图像序列，生成测试图像集；利用人体行为分类模型对测试图像集进行测试，筛选出第一困难样本集和第二困难样本集，其中，第一困难样本集包括图像标签为危险驾驶行为且驾驶行为分数落入预设安全驾驶分数范围的多帧测试图像，第二困难样本集包括图像标签为安全驾驶行为且驾驶行为分数落入预设危险驾驶分数范围的多帧测试图像；将第一困难样本集加入第一危险驾驶图像集，生成第二危险驾驶图像集；将第二困难样本集加入第二安全驾驶图像集，生成第三安全驾驶图像集；基于第二危险驾驶图像集和第三安全驾驶图像集训练人体行为分类模型，以便提升人体行为分类模型的精度。
[0011]结合第一方面，在第一方面的某些实现方式中，在基于第一行为识别信息和第二行为识别信息，确定驾驶行为分数之后，该方法还包括：若驾驶行为分数落入预设安全驾驶分数范围，确定行为检测结果为安全驾驶。
[0012]结合第一方面，在第一方面的某些实现方式中，在基于驾驶员的驾驶图像和驾驶图像对应的人体关键点数据，确定驾驶员的人体整体区域图像和人体面部区域图像之前，该方法还包括：获取驾驶图像；利用人体关键点检测模型，基于驾驶图像，确定人体关键点数据。
[0013]第二方面，本申请一实施例提供了一种安全驾驶提醒方法，该方法包括：获取在驾驶员的驾驶过程中拍摄的多帧驾驶图像；确定多帧驾驶图像各自对应的行为检测结果，其中，行为检测结果基于上述第一方面提及的驾驶员行为检测方法确定；若基于多帧驾驶图像各自对应的驾驶员的行为检测结果确定，符合危险驾驶检测结果的图像数量落入预设危险驾驶数量范围，则发出预警信息，以便提醒驾驶员安全驾驶。
[0014]第三方面，本申请一实施例提供了一种驾驶员行为检测装置，该检测装置包括：第一确定模块，用于基于驾驶员的驾驶图像和驾驶图像对应的人体关键点数据，确定驾驶员的人体整体区域图像和人体面部区域图像；第二确定模块，用于基于人体整体区域图像，确定驾驶员的第一行为识别信息；第三确定模块，用于基于人体面部区域图像，确定驾驶员的第二行为识别信息；第四确定模块，用于基于人体关键点数据、第一行为识别信息和第二行为识别信息，确定驾驶员的行为检测结果。
[0015]第四方面，本申请一实施例提供了一种安全驾驶提醒装置，该提醒装置包括：获取模块，用于获取在驾驶员的驾驶过程中拍摄的多帧驾驶图像；第五确定模块，用于确定多帧驾驶图像各自对应的行为检测结果，其中，行为检测结果基于上述第一方面提及的驾驶员行为检测方法确定；提醒模块，用于若基于多帧驾驶图像各自对应的驾驶员的行为检测结
果确定，符合危险驾驶检测结果的图像数量落入预设危险驾驶数量范围，则发出预警信息，以便提醒驾驶员安全驾驶。
[0016]第五方面，本申请一实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序用于执行上述第一方面和/或第二方面提及的方法。
[0017]第六方面，本申请一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于执行上述第一方面和/或第二方面提及的方法。
[0018]本申请实施例提供的驾驶员行为检测方法，基于人体关键点数据、第一行为识别信息和第二行为识别信息，确定驾驶员的行为检测结果，实现了高召回率、高精准率的不良驾驶行为检测，提升了行为检测结果的鲁棒性，而且生成的行为检测结果更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶员行为检测方法，其特征在于，包括：基于驾驶员的驾驶图像和所述驾驶图像对应的人体关键点数据，确定所述驾驶员的人体整体区域图像和人体面部区域图像；基于所述人体整体区域图像，确定所述驾驶员的第一行为识别信息；基于所述人体面部区域图像，确定所述驾驶员的第二行为识别信息；基于所述人体关键点数据、所述第一行为识别信息和所述第二行为识别信息，确定所述驾驶员的行为检测结果。2.根据权利要求1所述的驾驶员行为检测方法，其特征在于，所述人体关键点数据包括手部关键点数据，所述基于所述人体关键点数据、所述第一行为识别信息和所述第二行为识别信息，确定所述驾驶员的行为检测结果，包括：基于所述第一行为识别信息和所述第二行为识别信息，确定驾驶行为分数；若所述驾驶行为分数落入预设危险驾驶分数范围，基于所述手部关键点数据，确定所述驾驶员对应的手持物体检测信息；基于所述手持物体检测信息、所述第一行为识别信息和所述第二行为识别信息，确定所述行为检测结果。3.根据权利要求2所述的驾驶员行为检测方法，其特征在于，所述基于所述手部关键点数据，确定所述驾驶员对应的手持物体检测信息，包括：基于所述手部关键点数据，确定所述驾驶员的人体手部区域图像；基于所述驾驶员的人体手部区域图像，确定所述驾驶员对应的手持物体检测信息。4.根据权利要求3所述的驾驶员行为检测方法，其特征在于，所述基于所述人体整体区域图像，确定所述驾驶员的第一行为识别信息，包括：将所述人体整体区域图像输入人体姿态识别模型，得到所述第一行为识别信息；所述基于所述人体面部区域图像，确定所述驾驶员的第二行为识别信息，包括：将所述人体面部区域图像输入人体行为分类模型，得到所述第二行为识别信息。5.根据权利要求4所述的驾驶员行为检测方法，其特征在于，所述人体姿态识别模型用于：基于所述人体整体区域图像，确定右手关键点和右耳关键点之间的第一距离、右手关键点和左耳关键点之间的第二距离、左手关键点和左耳关键点之间的第三距离以及左手关键点和右耳关键点之间的第四距离；若所述第一距离、所述第二距离、所述第三距离以及所述第四距离中的至少一个满足预设打电话距离阈值范围，则将所述第一行为识别信息确定为打电话行为信息。6.根据权利要求4所述的驾驶员行为检测方法，其特征在于，在将所述人体面部区域图像输入人体行为分类模型，得到所述第二行为识别信息之前，还包括：获取多位样本驾驶员各自对应的驾驶图像序列；基于所述多位样本驾驶员各自对应的驾驶图像序列，生成第一危险驾驶图像集和第一安全驾驶图像集；删除所述第一安全驾驶图像集中的部分图像，得到第二安全驾驶图像集，以便提高所述第一危险驾驶图像集对应的样本比例；基于所述第一危险驾驶图像集和所述第二安全驾驶图像集训练初始网络模型，得到所
述人体行为分类模型。7.根据权利要求6所述的驾驶员行为检测方法，其特征在于，在所述基于所述第一危险驾驶图像集和所述第二安全驾驶图像集训练初始网络模型，得到所述人体行为分类模型之后，还包括：基于所述多位样本驾驶员各自对应的驾驶图像序列，生成测试图像集；利用所述人体行...

【专利技术属性】
技术研发人员：李超龙，罗鹏飞，吴子扬，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：