驾驶员的行为识别方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种驾驶员的行为识别方法、装置、设备及存储介质，属于智能交通技术领域。所述方法包括：获取目标图像，从目标图像中获取第一区域图像，第一区域图像包括驾驶员的预设行为，在目标图像中，按照第一比例阈值对第一区域图像的四周区域进行缩减处理，得到第二区域图像，以及按照第二比例阈值对第一区域图像的四周区域进行扩充处理，得到第三区域图像，基于第一区域图像、第二区域图像和第三区域图像，识别出驾驶员的行为。本申请对该第一区域图像进行内截和外扩后，使得得到的第二区域图像和第三区域图像能够包括与预设行为相关的周边物体的更多信息，因此，基于该三个区域图像对驾驶员的行为进行识别，可以提高识别的准确性。

【技术实现步骤摘要】
驾驶员的行为识别方法、装置、设备及存储介质
本申请涉及智能交通
，特别涉及一种驾驶员的行为识别方法、装置、设备及存储介质。
技术介绍
随着智能交通技术的快速发展，人们越来越多关注如何通过智能手段解决由于驾驶员分心导致的行车安全问题。在一些场景中，可以对驾驶员的人脸部分进行拍摄，基于拍摄得到的图像对驾驶员的行为进行分析，当确定存在违规行为时，进行报警提示，从而提醒驾驶员安全驾驶。目前，可以采用经过深度学习后的网络模型对驾驶员的行为进行检测。也就是说，可以预先基于一些训练样本对待训练的网络模型进行深度训练，该训练样本可以包括图像样本以及图像样本中的行为所在区域的位置信息和行为类别，使得训练后的网络模型可以基于拍摄的图像识别出一些诸如打电话、抽烟之类的手势。然而，由于驾驶员在驾驶过程中可能存在与违规行为类似的手势，譬如，摸耳朵，摸下巴、捂嘴等，在该种情况下，上述提供的驾驶员的行为识别方法可能导致误判。
技术实现思路
本申请实施例提供了一种驾驶员的行为识别方法、装置、设备及存储介质，可以解决相关技术中驾驶员的行为识别方法可能导致误判的问题。所述技术方案如下：第一方面，提供了一种驾驶员的行为识别方法，所述方法包括：获取目标图像，所述目标图像包括驾驶员的人脸；从所述目标图像中获取第一区域图像，所述第一区域图像包括所述驾驶员的预设行为，所述预设行为是指与违规行为之间的相似度大于预设阈值的行为；在所述目标图像中，按照第一比例阈值对所述第一区域图像的四周区域进行缩减处理，得到第二区域图像，以及按照第二比例阈值对所述第一区域图像的四周区域进行扩充处理，得到第三区域图像；基于所述第一区域图像、所述第二区域图像和所述第三区域图像，识别出所述驾驶员的行为。可选地，所述基于所述第一区域图像、所述第二区域图像和所述第三区域图像，识别出所述驾驶员的行为之前，还包括：将所述第一区域图像、所述第二区域图像和所述第三区域图像调整为相同尺寸的区域图像；相应地，所述基于所述第一区域图像、所述第二区域图像和所述第三区域图像，检测出所述驾驶员的行为，包括：调用目标网络模型，所述目标网络模型用于基于任一行为对应的一组区域图像确定所述行为的行为类别；基于尺寸调整后的第一区域图像、第二区域图像和第三区域图像，通过所述目标网络模型识别出所述驾驶员的行为。可选地，所述目标网络模型包括输入层、中间层、拼接层、全连接层和输出层；所述基于尺寸调整后的第一区域图像、第二区域图像和第三区域图像，通过所述目标网络模型识别出所述驾驶员的行为，包括：通过所述输入层基于尺寸调整后的区域图像的分辨率和通道数量，将所述尺寸调整后的第一区域图像、第二区域图像和第三区域图像中的图像数据进行通道叠加处理，得到第一特征图；通过所述中间层对所述第一特征图进行卷积采样处理，得到多个第二特征图，所述多个第二特征图的尺寸相同且通道数不同；通过所述拼接层将所述多个第二特征图进行通道叠加处理，并通过网络深层的卷积层对通道叠加后的特征图进行特征融合，得到第三特征图；通过所述全连接层基于所述第三特征图，确定所述驾驶员的行为；通过所述输出层输出所述行为。可选地，所述中间层包括N组卷积层和N组采样层，每组卷积层与每组采样层一一对应；所述通过所述中间层对所述第一特征图进行卷积采样处理，得到多个第二特征图，包括：令i＝1，将所述第一特征图确定为目标特征图；通过第i组卷积层对所述目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到2i倍特征图和第i个参考尺寸的第二特征图，将所述2i倍特征图获取为所述目标特征图，所述参考尺寸大于或等于所述2i倍特征图的尺寸；当i小于所述N时，令i＝i+1，返回所述通过第i组卷积层对所述目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到2i倍特征图和第i个参考尺寸的第二特征图，将所述2i倍特征图获取为所述目标特征图的操作；当i等于所述N时，通过第N组卷积层对所述目标特征图进行卷积处理，通过第N组采样层按照对得到的特征图进行一次采样处理，得到第N个参考尺寸的第二特征图，结束操作。可选地，所述调用目标网络模型之前，还包括：获取多个训练样本，所述多个训练样本包括多组图像和每组图像中的行为类别，每组图像包括行为的区域图像、对所述区域图像进行缩减处理后确定的缩减区域图像，以及对所述区域图像进行扩充处理后确定的扩充区域图像；基于所述多个训练样本对待训练的网络模型进行训练后得到所述目标网络模型。可选地，所述从所述目标图像中获取第一区域图像，包括：调用目标检测模型，将所述目标图像输入至所述目标检测模型中，输出人脸检测框和预设行为检测框，所述目标检测模型用于基于任一图像对所述图像中的人脸和预设行为进行识别；当所述人脸检测框的数量为一个时，将所述人脸检测框确定为目标人脸检测框；当所述人脸检测框的数量为多个时，从多个人脸检测框中获取最大面积的人脸检测框，将获取的人脸检测框确定为目标人脸检测框；基于所述目标人脸检测框，确定所述第一区域图像。可选地，所述基于所述目标人脸检测框，确定所述第一区域图像，包括：将所述预设行为检测框中未与所述目标人脸检测框重叠，或与所述目标人脸检测框之间的距离大于预设距离阈值的预设行为检测框过滤掉；从所述目标图像中切割出过滤后剩余的预设行为检测框对应的区域，得到所述第一区域图像。可选地，所述获取目标图像，包括：检测用于对所述驾驶员的人脸进行拍摄的摄像头的工作模式；当所述摄像头的工作模式为红外拍摄模式时，获取拍摄得到的灰度图像；调用图像伪彩转换模型，将所述灰度图像输入至所述图像伪彩转换模型中，输出所述灰度图像对应的三通道彩色图像，所述图像伪彩转换模型用于将任一灰度图像转换为所述灰度图像对应的三通道彩色图像；将输出的三通道彩色图像获取为所述目标图像。可选地，所述检测用于对所述驾驶员的人脸进行拍摄的摄像头的工作模式之前，还包括：获取当前的车速和光照强度；当所述车速大于预设车速阈值且所述光照强度低于光照强度阈值时，将所述摄像头的工作模式切换为所述红外拍摄模式。可选地，所述基于所述第一区域图像、所述第二区域图像和所述第三区域图像，检测出所述驾驶员的行为之后，还包括：当所述驾驶员的行为属于违规行为时，统计所述驾驶员在预设时长内的违规行为次数；当在所述预设时长内所述驾驶员的违规行为次数达到预设次数阈值时，进行违规驾驶报警提示。第二方面，提供了一种驾驶员的行为识别装置，所述装置包括：第一获取模块，用于获取目标图像，所述目标图像包括驾驶员的人脸；第二获取模块，用于从所述目标图像中获取第一区域图像，所述第一区域图像包括所述驾驶员的预设行为，所述预设行为是指与违规行为本文档来自技高网...

【技术保护点】
1.一种驾驶员的行为识别方法，其特征在于，所述方法包括：/n获取目标图像，所述目标图像包括驾驶员的人脸；/n从所述目标图像中获取第一区域图像，所述第一区域图像包括所述驾驶员的预设行为，所述预设行为是指与违规行为之间的相似度大于预设阈值的行为；/n在所述目标图像中，按照第一比例阈值对所述第一区域图像的四周区域进行缩减处理，得到第二区域图像，以及按照第二比例阈值对所述第一区域图像的四周区域进行扩充处理，得到第三区域图像；/n基于所述第一区域图像、所述第二区域图像和所述第三区域图像，识别出所述驾驶员的行为。/n

【技术特征摘要】
1.一种驾驶员的行为识别方法，其特征在于，所述方法包括：
获取目标图像，所述目标图像包括驾驶员的人脸；
从所述目标图像中获取第一区域图像，所述第一区域图像包括所述驾驶员的预设行为，所述预设行为是指与违规行为之间的相似度大于预设阈值的行为；
在所述目标图像中，按照第一比例阈值对所述第一区域图像的四周区域进行缩减处理，得到第二区域图像，以及按照第二比例阈值对所述第一区域图像的四周区域进行扩充处理，得到第三区域图像；
基于所述第一区域图像、所述第二区域图像和所述第三区域图像，识别出所述驾驶员的行为。


2.如权利要求1所述的方法，其特征在于，所述基于所述第一区域图像、所述第二区域图像和所述第三区域图像，识别出所述驾驶员的行为之前，还包括：
将所述第一区域图像、所述第二区域图像和所述第三区域图像调整为相同尺寸的区域图像；
相应地，所述基于所述第一区域图像、所述第二区域图像和所述第三区域图像，识别出所述驾驶员的行为，包括：
调用目标网络模型，所述目标网络模型用于基于任一行为对应的一组区域图像确定所述行为的行为类别；
基于尺寸调整后的第一区域图像、第二区域图像和第三区域图像，通过所述目标网络模型识别出所述驾驶员的行为。


3.如权利要求2所述的方法，其特征在于，所述目标网络模型包括输入层、中间层、拼接层、全连接层和输出层；
所述基于尺寸调整后的第一区域图像、第二区域图像和第三区域图像，通过所述目标网络模型识别出所述驾驶员的行为，包括：
通过所述输入层基于尺寸调整后的区域图像的分辨率和通道数量，将所述尺寸调整后的第一区域图像、第二区域图像和第三区域图像中的图像数据进行通道叠加处理，得到第一特征图；
通过所述中间层对所述第一特征图进行卷积采样处理，得到多个第二特征图，所述多个第二特征图的尺寸相同且通道数不同；
通过所述拼接层将所述多个第二特征图进行通道叠加处理，并通过网络深层的卷积层对通道叠加后的特征图进行特征融合，得到第三特征图；
通过所述全连接层基于所述第三特征图，确定所述驾驶员的行为；
通过所述输出层输出所述行为。


4.如权利要求3所述的方法，其特征在于，所述中间层包括N组卷积层和N组采样层，每组卷积层与每组采样层一一对应；
所述通过所述中间层对所述第一特征图进行卷积采样处理，得到多个第二特征图，包括：
令i＝1，将所述第一特征图确定为目标特征图；通过第i组卷积层对所述目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到2i倍特征图和第i个参考尺寸的第二特征图，将所述2i倍特征图获取为所述目标特征图，所述参考尺寸大于或等于所述2i倍特征图的尺寸；
当i小于所述N时，令i＝i+1，返回所述通过第i组卷积层对所述目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到2i倍特征图和第i个参考尺寸的第二特征图，将所述2i倍特征图获取为所述目标特征图的操作；
当i等于所述N时，通过第N组卷积层对所述目标特征图进行卷积处理，通过第N组采样层按照对得到的特征图进行一次采样处理，得到第N个参考尺寸的第二特征图，结束操作。


5.如权利要求2所述的方法，其特征在于，所述调用目标网络模型之前，还包括：
获取多个训练样本，所述多个训练样本包括多组图像和每组图像中的行为类别，每组图像包括行为的区域图像、对所述区域图像进行缩减处理后确定的缩减区域图像，以及对所...

【专利技术属性】
技术研发人员：乔梁，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33