驾驶员注意力监测方法和装置及电子设备制造方法及图纸

本申请公开了一种驾驶员注意力监测方法及装置。该方法包括：经车上设置的摄像头针对所述车的驾驶区域采集视频；根据所述视频包括的多帧位于所述驾驶区域的驾驶员的脸部图像，分别确定每帧脸部图像中所述驾驶员的注视区域的类别，其中，每帧脸部图像的注视区域属于预先对所述车进行空间区域划分得到的多类定义注视区域之一；根据所述视频中至少一滑动时间窗内所包括的各帧脸部图像的各所述注视区域的类别分布，确定所述驾驶员的注意力监测结果。

【技术实现步骤摘要】
驾驶员注意力监测方法和装置及电子设备
本申请涉及图像处理
，尤其涉及一种驾驶员注意力监测方法和装置、电子设备和存储介质。
技术介绍
随着道路上的车辆越来越多，如何预防道路交通事故也越来越受关注，其中，人为因素在道路交通事故成因方面占很大的比例，包括由驾驶员注意力不集中、注意力下降等原因引起的分心驾驶。通过对驾驶员视线和/或头部姿态进行检测，确定驾驶员的视线相对于正视时的视线的偏离角度，再根据视线的偏离角度以及预先设定的视线偏离角度的范围，可识别驾驶员是否分心驾驶，但这种方式识别精度较低，为此，本申请提出一种基于注视区域的驾驶员注意力监控方案。
技术实现思路
本申请提供一种驾驶员注意力监测技术方案。第一方面，提供了一种驾驶员注意力监测方法，包括：经车上设置的摄像头针对所述车的驾驶区域采集视频；根据所述视频包括的多帧位于所述驾驶区域的驾驶员的脸部图像，分别确定每帧脸部图像中所述驾驶员的注视区域的类别，其中，每帧脸部图像的注视区域属于预先对所述车进行空间区域划分得到的多类定义注视区域之一；根据所述视频中至少一滑动时间窗内所包括的各帧脸部图像的各所述注视区域的类别分布，确定所述驾驶员的注意力监测结果。在一种可能实现的方式中，所述预先对所述车进行空间区域划分得到的多类定义注视区域，包括以下二类或二类以上：左前挡风玻璃区域、右前挡风玻璃区域、仪表盘区域、车内后视镜区域、中控台区域、左后视镜区域、右后视镜区域、遮光板区域、换挡杆区域、方向盘下方区域、副驾驶区域、副驾驶前方的杂物箱区域。在另一种可能实现的方式中，所述根据所述视频中至少一滑动时间窗内所包括的各帧脸部图像的各所述注视区域的类别分布，确定所述驾驶员的注意力监测结果，包括：根据所述视频中至少一滑动时间窗内所包括的各帧脸部图像的各所述注视区域的类别分布，确定所述至少一滑动时间窗内各类所述注视区域的注视累计时长；根据所述至少一滑动时间窗内各类所述注视区域的注视累计时长与预定的时间阈值的比较结果，确定所述驾驶员的注意力监测结果，所述注意力监测结果包括是否分心驾驶和/或分心驾驶等级。在又一种可能实现的方式中，所述时间阈值包括：与各类所述定义注视区域分别对应的多个时间阈值，其中，所述多类定义注视区域中至少二个不同类的定义注视区域所对应的时间阈值不同；根据所述至少一滑动时间窗内各类所述注视区域的注视累计时长与预定的时间阈值的比较结果，确定所述驾驶员的注意力监测结果，包括：根据所述至少一滑动时间窗内各类所述注视区域的注视累计时长和相应类别的定义注视区域的时间阈值的比较结果，确定所述驾驶员的注意力监测结果。在又一种可能实现的方式中，所述根据所述视频包括的多帧位于所述驾驶区域的驾驶员的脸部图像，分别确定每帧脸部图像中所述驾驶员的注视区域的类别，包括：对所述视频包括的多帧位于所述驾驶区域的驾驶员的脸部图像进行视线和/或头部姿态检测；根据每帧脸部图像的视线和/或头部姿态的检测结果，确定每帧脸部图像中所述驾驶员的注视区域的类别。在又一种可能实现的方式中，所述根据所述视频包括的多帧位于所述驾驶区域的驾驶员的脸部图像，分别确定每帧脸部图像中所述驾驶员的注视区域的类别，包括：将多帧所述脸部图像分别输入神经网络并经所述神经网络分别输出每帧脸部图像中所述驾驶员的注视区域的类别，其中：所述神经网络预先采用包括有注视区域类别标注信息的人脸图像集预先训练完成，或者，所述神经网络预先采用包括有注视区域类别标注信息的人脸图像集以及基于所述人脸图像集中各人脸图像截取的眼部图像预先训练完成；所述注视区域类别标注信息包括所述多类定义注视区域之一。在又一种可能实现的方式中，所述神经网络的训练方法包括：获取所述人脸图像集中包括有注视区域类别标注信息的人脸图像；截取所述人脸图像中的至少一眼的眼部图像，所述至少一眼包括左眼和/或右眼；分别提取所述人脸图像的第一特征和至少一眼的眼部图像的第二特征；融合所述第一特征和所述第二特征，得到第三特征；根据所述第三特征确定所述人脸图像的注视区域类别检测结果；根据所述注视区域类别检测结果和所述注视区域类别标注信息的差异，调整所述神经网络的网络参数。在又一种可能实现的方式中，所述方法还包括：在所述驾驶员的注意力监测结果为分心驾驶的情况下，对所述驾驶员进行分心驾驶提示，所述分心驾驶提示包括以下至少之一：文字提示、语音提示、气味提示、低电流刺激提示；或者，在所述驾驶员的注意力监测结果为分心驾驶的情况下，根据预先设定的分心驾驶等级与注意监测结果的映射关系、所述驾驶员的注意力监测结果，确定所述驾驶员的分心驾驶等级；根据预先设定的分心驾驶等级与分心驾驶提示的映射关系、所述驾驶员的分心驾驶等级，从所述分心驾驶提示中确定一种提示对所述驾驶员进行分心驾驶提示。在又一种可能实现的方式中，所述预先设定的分心驾驶等级与注意监测结果的映射关系包括：在多个连续滑动时间窗的监测结果均为分心驾驶的情况下，所述分心驾驶等级与滑动时间窗的数量成正相关。在又一种可能实现的方式中，所述经车上设置的摄像头针对所述车的驾驶区域采集视频，包括：经在车上多个区域分别部署的多个摄像头从不同角度分别采集驾驶区域的视频；根据所述视频包括的多帧位于所述驾驶区域的驾驶员的脸部图像，分别确定每帧脸部图像中所述驾驶员的注视区域的类别，包括：根据图像质量评价指标，分别确定采集到的多个视频各自包括的多帧位于所述驾驶区域的驾驶员的脸部图像中各帧脸部图像的图像质量评分；分别确定所述多个视频时刻对齐的各帧脸部图像中图像质量评分最高的脸部图像；分别确定各图像质量评分最高的脸部图像中所述驾驶员的注视区域的类别。在又一种可能实现的方式中，所述图像质量评价指标包括以下至少之一：图像中是否包括有眼部图像、图像中眼部区域的清晰度、图像中眼部区域的遮挡情况、图像中眼部区域的睁闭眼情况。在又一种可能实现的方式中，所述经车上设置的摄像头针对所述车的驾驶区域采集视频，包括：经在车上多个区域分别部署的多个摄像头从不同角度分别采集驾驶区域的视频；所述根据所述视频包括的多帧位于所述驾驶区域的驾驶员的脸部图像，分别确定每帧脸部图像中所述驾驶员的注视区域的类别，包括：针对采集到的多个视频各自包括的多帧位于所述驾驶区域的驾驶员的脸部图像，分别检测时刻对齐的各帧脸部图像中所述驾驶员的注视区域类别；将得到的各注视区域类别中多数结果确定为该时刻的脸部图像的注视区域类别。在又一种可能是实现的方式中，所述方法还包括：向与所述车辆通信连接的服务器或终端发送所述驾驶员的注意力监测结果；和/或，对所述驾驶员的注意力监测结果进行统计分析。在又一种可能是实现的方式中，在向与所述车辆通信连接的服务器或终端发送所述驾驶员的注意力监测结果之后，还包括：在接收到所述服务器或所述终端发送的控制指令的情况下，根据所述控制指令控制所述车辆。第二方面，提供了一种驾驶员注意力监测装置，包括：第一控制单元，用于经车上设置的摄像头针对所述车的驾驶区域采集视频；第一确定单元，用于根据所述视频包括的多帧位于所述驾驶区域的驾本文档来自技高网...

【技术保护点】
1.一种驾驶员注意力监测方法，其特征在于，包括：/n经车上设置的摄像头针对所述车的驾驶区域采集视频；/n根据所述视频包括的多帧位于所述驾驶区域的驾驶员的脸部图像，分别确定每帧脸部图像中所述驾驶员的注视区域的类别，其中，每帧脸部图像的注视区域属于预先对所述车进行空间区域划分得到的多类定义注视区域之一；/n根据所述视频中至少一滑动时间窗内所包括的各帧脸部图像的各所述注视区域的类别分布，确定所述驾驶员的注意力监测结果。/n

【技术特征摘要】
1.一种驾驶员注意力监测方法，其特征在于，包括：
经车上设置的摄像头针对所述车的驾驶区域采集视频；
根据所述视频包括的多帧位于所述驾驶区域的驾驶员的脸部图像，分别确定每帧脸部图像中所述驾驶员的注视区域的类别，其中，每帧脸部图像的注视区域属于预先对所述车进行空间区域划分得到的多类定义注视区域之一；
根据所述视频中至少一滑动时间窗内所包括的各帧脸部图像的各所述注视区域的类别分布，确定所述驾驶员的注意力监测结果。


2.根据权利要求1所述的方法，其特征在于，所述预先对所述车进行空间区域划分得到的多类定义注视区域，包括以下二类或二类以上：左前挡风玻璃区域、右前挡风玻璃区域、仪表盘区域、车内后视镜区域、中控台区域、左后视镜区域、右后视镜区域、遮光板区域、换挡杆区域、方向盘下方区域、副驾驶区域、副驾驶前方的杂物箱区域。


3.根据权利要求1或2所述的方法，其特征在于，所述根据所述视频中至少一滑动时间窗内所包括的各帧脸部图像的各所述注视区域的类别分布，确定所述驾驶员的注意力监测结果，包括：
根据所述视频中至少一滑动时间窗内所包括的各帧脸部图像的各所述注视区域的类别分布，确定所述至少一滑动时间窗内各类所述注视区域的注视累计时长；
根据所述至少一滑动时间窗内各类所述注视区域的注视累计时长与预定的时间阈值的比较结果，确定所述驾驶员的注意力监测结果，所述注意力监测结果包括是否分心驾驶和/或分心驾驶等级。


4.根据权利要求3所述的方法，其特征在于，所述时间阈值包括：与各类所述定义注视区域分别对应的多个时间阈值，其中，所述多类定义注视区域中至少二个不同类的定义注视区域所对应的时间阈值不同；
根据所述至少一滑动时间窗内各类所述注视区域的注视累计时长与预定的时间阈值的比较结果，确定所述驾驶员的注意力监测结果，包括：根据所述至少一滑动时间窗内各类所述注视区域的注视累计时长和相应类别的定义注视区域的时间阈值的比较结果，确定所述驾驶员的注意力监测结果。


5.根据权利要求1至4任意一项所述的方法，其特征在于，所述根据所述视频包括的多帧位于所述驾驶区域的驾驶员的脸部图像，分别确定每帧脸部图像中所述驾驶员的注视区域的类别，包括：
对所述视频包括的多帧位于所述驾驶区域的驾驶员的脸部图像进行视线和/或头部姿态检测；...

【专利技术属性】
技术研发人员：王飞，黄诗尧，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11