一种危险驾驶行为的识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种危险驾驶行为的识别方法、装置、设备及存储介质，用于识别驾驶员存在的危险驾驶行为，保障司乘安全。所述危险驾驶行为的识别方法，该方法应用于网约车系统中的智能感知终端，网约车系统，还包括：与智能感知终端连接的视频录制模块和服务器，该方法包括：获取视频录制模块采集的包含驾驶员的视频数据；对视频数据中的一帧或多帧图像数据进行分析，确定驾驶员存在危险驾驶行为，向服务器发送通知消息。

【技术实现步骤摘要】
一种危险驾驶行为的识别方法、装置、设备及存储介质
本专利技术涉及通信
，尤其涉及一种危险驾驶行为的识别方法、装置、设备及存储介质。
技术介绍
随着互联网技术的发展，网约车服务为人们的出行带来了越来越多的便利，但是也伴随着一系列交通风险以及社会风险。目前市面上的网约车服务，缺少对于驾驶员驾驶行为的规范约束，现实中存在着驾驶员在驾驶过程中存在危险驾驶行为的情况，比如抽烟行为、分神行为、接打电话行为、疲劳驾驶行为等，这些危险驾驶行为会干扰驾驶员驾驶车辆，无法保障司乘安全，对驾驶员及其乘客的健康造成威胁。综上可知，现有网约车服务并不能识别驾驶员存在的危险驾驶行为，从而无法保障司乘安全。
技术实现思路
本专利技术实施例提供一种危险驾驶行为的识别方法、装置、设备及存储介质，用于识别驾驶员存在的危险驾驶行为，保障司乘安全。根据本专利技术实施例的第一方面，提供一种危险驾驶行为的识别方法，该方法应用于网约车系统中的智能感知终端，网约车系统，还包括：与智能感知终端连接的视频录制模块和服务器，该方法包括：获取视频录制本文档来自技高网...

【技术保护点】
1.一种危险驾驶行为的识别方法，其特征在于，应用于网约车系统中的智能感知终端，所述网约车系统，还包括：与所述智能感知终端连接的视频录制模块和服务器，所述方法包括：/n获取所述视频录制模块采集的包含驾驶员的视频数据；/n对所述视频数据中的一帧或多帧图像数据进行分析，确定所述驾驶员存在危险驾驶行为，向所述服务器发送通知消息。/n

【技术特征摘要】
1.一种危险驾驶行为的识别方法，其特征在于，应用于网约车系统中的智能感知终端，所述网约车系统，还包括：与所述智能感知终端连接的视频录制模块和服务器，所述方法包括：
获取所述视频录制模块采集的包含驾驶员的视频数据；
对所述视频数据中的一帧或多帧图像数据进行分析，确定所述驾驶员存在危险驾驶行为，向所述服务器发送通知消息。


2.根据权利要求1所述的方法，其特征在于，所述危险驾驶行为包括以下一种或多种：抽烟行为、分神行为、接打电话行为、疲劳驾驶行为。


3.根据权利要求2所述的方法，其特征在于，所述危险驾驶行为包括抽烟时，所述对所述视频数据中的一帧或多帧图像数据进行分析，确定所述驾驶员存在危险驾驶行为，包括：
在所述视频数据中抽取出第一预设数量帧的图像；
确定每一帧图像中驾驶员是否存在抽烟行为；
在确定存在抽烟行为的图像帧数大于第一预设帧数阈值时，确定驾驶员存在抽烟行为，其中，所述第一预设数量大于或者等于所述第一预设帧数阈值。


4.根据权利要求3所述的方法，其特征在于，所述确定每一帧图像中驾驶员是否存在抽烟行为，包括：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，并利用预先训练的异常行为检测模型对所述人脸区域中驾驶员的行为进行检测，确定驾驶员存在异常行为的第一概率；
在所述第一概率小于或等于第一预设概率阈值时，确定该帧图像中驾驶员不存在抽烟行为；
在所述第一概率大于或等于第二预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为；
在所述第一概率大于所述第一预设概率阈值且小于所述第二预设概率阈值时，利用预先训练的神经网络模型确定驾驶员的多个吸烟指标，并利用预先设置的每个吸烟指标的权重确定驾驶员存在抽烟行为的第二概率，在所述第二概率大于第三预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为，其中，所述吸烟指标包括以下一种或多种：嘴型、脸部是否存在烟雾、人脸区域中是否存在香烟。


5.根据权利要求2所述的方法，其特征在于，所述危险驾驶行为包括接打电话行为时，所述对所述视频数据中的一帧或多帧进行分析，确定所述驾驶员存在危险驾驶行为，包括：
在所述视频数据中抽取出第二预设数量帧的图像；
确定每一帧图像中驾驶员是否存在接打电话行为；
在确定存在接打电话行为的图像帧数大于第二预设帧数阈值时，确定驾驶员存在接打电话行为，其中，所述第二预设数量大于或者等于所述第二预设帧数阈值。


6.根据权利要求5所述的方法，其特征在于，所述确定每一帧图像中驾驶员是否存在接打电话行为，包括：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，并利用预先训练的异常对象检测模型在所述人脸区域中检测包含手部的第一区域和包含手持终端的第二区域；
利用预先训练的嘴型识别模型对所述人脸区域进行识别，确定驾驶员的嘴型为说话的第三概率，利用预先训练的手势识别模型对所述第一区域进行识别，确定驾驶员的手势为握持的第四概率，利用预先训练的手持终端识别模型对所述第二区域进行识别，确定所述第二区域中包含手持终端的第五概率；
若所述第五概率大于第四预设概率阈值，或者所述第五概率大于第五预设概率阈值且小于或等于所述第四预设概率阈值、且所述第三概率大于第六预设概率阈值，或者所述第五概率大于第七预设概率阈值且小于或等于所述第五预设概率阈值、且所述第四概率大于第八预设概率阈值时，确定该帧图像中驾驶员存在接打电话行为；
若所述第五概率小于或等于所述第七预设概率阈值、或者所述第五概率大于第五预设概率阈值且小于或等于所述第四预设概率阈值、且所述第三概率小于或等于所述第六预设概率阈值，或者所述第五概率大于第七预设概率阈值且小于或等于所述第五预设概率阈值、且所述第四概率小于或等于所述第八预设概率阈值时，确定该帧图像中驾驶员无接打电话行为。


7.根据权利要求2所述的方法，其特征在于，所述危险驾驶行为包括疲劳驾驶行为时，所述对所述视频数据中的一帧或多帧图像数据进行分析，确定所述驾驶员存在危险驾驶行为，包括：
在所述视频数据中抽取出任意一帧图像，确定该帧图像中驾驶员存在疲劳驾驶行为的第六概率；
在所述第六概率大于第九预设概率阈值时，抽取包含该帧的视频片段，并利用预先训练的神经网络模型检测所述视频片段中疲劳驾驶参数的时间序列对应的分类结果，所述疲劳驾驶参数包括以下一种或多种：闭眼动作、张嘴动作、点头动作；
利用预先训练的疲劳驾驶识别模型对多个视频片段的对应的分类结果进行识别，确定驾驶员是否存在疲劳驾驶行为。


8.根据权利要求7所述的方法，其特征在于，所述确定该帧图像中驾驶员存在疲劳驾驶行为的第六概率，包括：
利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，利用预先训练的嘴型识别模型确定该帧图像中驾驶员嘴型为张嘴的概率，利用预先训练的眯眼识别模型确定该帧图像中驾驶员眯眼的概率；
基于该帧图像中驾驶员嘴型为张嘴的概率和驾驶员眯眼的概率，确定所述第六概率。


9.根据权利要求2所述的方法，其特征在于，所述危险驾驶行为包括分神行为时，所述对所述视频数据中的一帧或多帧图像数据进行分析，确定所述驾驶员存在危险驾驶行为，包括：
在所述视频数据中抽取出第三预设数量帧的图像；
确定每一帧图像中驾驶员是否存在关注点异常行为；
在确定存在关注点异常行为的图像帧数大于第三预设帧数阈值时，确定驾驶员存在分神行为，其中，所述第三预设数量大于或者等于所述第三预设帧数阈值。


10.根据权利要求9所述的方法，其特征在于，所述确定每一帧图像中驾驶员是否存在关注点异常行为，包括：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中识别驾驶员的人脸关键点，基于所述识别出的人脸关键点，确定驾驶员关注位置的俯仰角、偏航角和翻滚角；
获取车辆前方的道路信息，利用所述道路信息对预先训练的人眼关注点模型进行调整，并利用调整后的人眼关注点模型确定该帧图像数据中驾驶员关注点在预先建立的坐标系下的横坐标和纵坐标；
若所述俯仰角、所述偏航角、所述翻滚角、所述横坐标和所述纵坐标中任意一个未处于预先设置的区间范围，确定该帧图像中驾驶员存在关注点异常行为。


11.一种危险驾驶行为的识别装置，其特征在于，应用于网约车系统中的智能感知终端，所...

【专利技术属性】
技术研发人员：王博，左凯，王小刚，
申请(专利权)人：南京领行科技股份有限公司，
类型：发明
国别省市：江苏;32