一种基于驾驶室近红外相机的分神驾驶行为预警方法技术

本发明专利技术涉及一种基于驾驶室近红外相机的分神驾驶行为预警方法，包括下列步骤：①驾驶员人脸检测，通过车载近红外相机离线采集驾驶室场景近红外图像数据，对图像数据人脸区域进行标注，离线训练Adaboost分类器作为人脸检测分类器，利用人脸检测分类器搜索人脸感兴趣区域；②危险驾驶行为检测，基于人脸感兴趣区域，增加背景区域，利用深度卷积神经网络进行危险驾驶行为检测；③危险驾驶行为预警，利用时序数据对危险驾驶行为进行多帧确认，如达到设定的连续帧数阈值，则发出视觉预警信号和/或听觉预警信号。本发明专利技术能对驾驶员的分神类危险驾驶行为进行识别与预警，以提示驾驶员立即改变分神行为，保持到正常规范驾驶状态，从而提高行车安全性。

An early warning method of distracted driving behavior based on near infrared camera of cab

The invention relates to a distracted driving behavior early warning method based on cab near infrared camera, which includes the following steps: (1) driver face detection, off-line acquisition of near infrared image data of cab scene by car near infrared camera, tagging of image data face area, off-line training of Adaboost classifier as face detection; Detection classifier, using face detection classifier to search the region of interest of face; 2) dangerous driving behavior detection, based on the region of interest of face, adding background area, using deep convolution neural network to detect dangerous driving behavior; 3) dangerous driving behavior early warning, using time series data to multi-frame dangerous driving behavior. Confirm that visual and/or auditory early warning signals are emitted if the set threshold for the number of consecutive frames is reached. The invention can recognize and warn the driver's distracted dangerous driving behavior to prompt the driver to change the distracted behavior immediately and maintain the normal driving state, thereby improving the driving safety.

【技术实现步骤摘要】
一种基于驾驶室近红外相机的分神驾驶行为预警方法
本专利技术涉及车辆控制领域，尤其涉及一种基于驾驶室近红外相机的分神驾驶行为预警方法。
技术介绍
据道路交通事故数据统计，有超过半数的交通事故是由汽车驾驶员的危险行为或错误车辆操作所导致的，然而，此类人为事故中大部分是由于疲劳驾驶或驾驶员的分神行为造成的。现有乘用车以及商用车的主动安全系统很少有涉及驾驶员行为分析与提醒功能，尤其是对于商业运输车辆而言，长时间驾驶以及长途驾驶使上述危险驾驶情况的发生概率更高。现有大部分商用营运车辆不具备功能完善的驾驶员行为监测系统，有些虽具备车载录像以及操作记录功能，但不具备疲劳驾驶或危险驾驶行为预警功能，因而无法有效保障行车安全。
技术实现思路
本专利技术为了解决上述技术问题，提供一种基于驾驶室近红外相机的分神驾驶行为预警方法，利用驾驶室近红外视觉数据，对驾驶员在驾驶过程中的危险分神驾驶行为进行智能分析，能对分神的危险驾驶行为进行识别与预警，以提示驾驶员立即改变分神行为，保持到正常规范驾驶行为，从而提高行车安全性。本专利技术的上述技术问题主要是通过下述技术方案得以解决的：本专利技术一种基于驾驶室近红外相机的分神驾驶行为预警方法，包括下列步骤：驾驶员人脸检测：通过车载近红外相机离线采集驾驶室场景近红外图像数据，对图像数据人脸区域进行标注，离线训练Adaboost分类器作为人脸检测分类器，利用人脸检测分类器搜索人脸感兴趣(ROI)区域；②危险驾驶行为检测：基于人脸感兴趣区域，增加背景区域，利用深度卷积神经网络进行危险驾驶行为检测；③危险驾驶行为预警：利用时序数据对危险驾驶行为进行多帧确认，如达到设定的连续帧数阈值，则发出视觉预警信号和/或听觉预警信号。本专利技术中的危险驾驶行为指驾驶员在驾车过程中发生的吸烟行为和接打电话行为。本专利技术利用驾驶室近红外视觉数据，对驾驶员在驾驶过程中的危险驾驶行为进行智能分析，能对分神的危险驾驶行为进行识别与预警，以提示驾驶员立即改变分神行为，保持到正常规范驾驶行为，从而提高行车安全性。本专利技术可集成于基于视觉的驾驶室系统，形成疲劳驾驶与分神行为联合检测预警系统，具有延展性。作为优选，所述的步骤①包括下列步骤：(1.1)通过车载近红外相机离线采集驾驶室场景近红外图像数据，对图像数据人脸区域进行标注，生成正样本图像12000张，负样本图像20000张，离线训练级联Haar特征或LBP特征的Adaboost分类器作为人脸检测分类器；(1.2)利用人脸检测分类器，在驾驶室感兴趣区域内按设定步长以及设定尺度滑窗搜索人脸感兴趣区域，对于每个滑窗，计算离线训练时所应用的Haar特征算子或LBP特征算子，并将所得特征向量送入Soft-Cascade分类器进行二分类，利用NMS对分类结果一致的重合滑窗区域进行合并，在线获得驾驶员人脸感兴趣区域；(1.3)根据在线检测获得的驾驶员人脸感兴趣区域，提取角点计算，利用Lucas-Kanade光流方法计算角点特征的运动信息，并且更新角点特征位置，基于相似性投影关系假设，利用RANSAC方法计算当前帧人脸的位置更新，并与当前帧人脸检测结果进行融合，获得最终人脸感兴趣区域。本技术方案中，正、负样本图像张数根据需要可以改变。训练人脸检测分类器时，还可利用难例挖掘和主动学习等方法提升训练效果，分类器级联层数为可配置参数。驾驶室感兴趣区域范围以及滑窗步长与尺度为可配置参数，应根据不同的相机安装参数进行调整。作为优选，所述的步骤②为：基于获得的最终人脸感兴趣区域，按1.2的比例系数，增加背景区域，生成用于分析危险驾驶行为的吸烟感兴趣区域和接打电话感兴趣区域，利用深度卷积神经网络进行危险驾驶行为检测，检测方法包括下列步骤：(2.1)深度卷积神经网络设计：采用深度卷积神经网络设计行为检测网络结构，包括区域建议网络结构和区域回归网络结构；(2.2)离线训练深度卷积神经网络结构：分别训练吸烟和接打电话两种行为的检测网络，检测网络的训练分为两个步骤，第一步训练区域建议网络结构，第二步训练区域回归网络结构；(2.3)前端应用深度卷积神经网络结构：在吸烟感兴趣区域和接打电话感兴趣区域内进行危险驾驶行为检测。作为优选，所述的步骤(2.1)中，所述的区域建议网络结构由卷积层构成，输入为16×16×3图像数据，输出为区域建议框的置信度以及粗略顶点位置；所述的区域回归网络结构由卷积层和全连接层构成，输入为32×32×3图像数据，输出为危险驾驶行为的置信度以及精确顶点位置。作为优选，所述的步骤(2.2)离线训练深度卷积神经网络结构包括：采集包含吸烟行为的图像样本及包含接打电话行为的图像样本各50000张，人工标注生成相应训练标签，分别训练吸烟行为检测网络和接打电话行为检测网络，每个检测网络的训练分为两个步骤，分类损失函数L_cls设置为交叉熵，回归损失函数L_reg设置为边界框顶点的欧式距离；第一步训练区域建议网络结构，训练样本根据标签生成，训练损失函数设置如下：Loss1＝α1×L_cls+β1×L_reg，α1、β1均为可配置参数；第二步训练区域回归网络结构，训练样本根据区域建议网络结构在原始训练样本集输出结果生成，训练损失函数设置如下：Loss2＝α2×L_cls+β2×L_reg，α2、β2为可配置参数；采用随机梯度下降的方式进行训练。学习率、batchsize等为可配置参数(默认值为64)。采集的图像样本的张数根据需要可以改变。利用图像色域、几何等变换，还可对图像样本进行扩充。如果采集的图像样本数量足够大，则可省略通过变换进行扩充的步骤。考虑到吸烟行为和接打电话行为之间存在特征差异性，以及前向应用时两种行为感兴趣区域的独立性，故需要分别训练吸烟行为检测网络和接打电话行为检测网络。α1、β1的默认值分别为0.6和0.4，α2、β2的默认值分别为0.4和0.6。作为优选，所述的步骤(2.3)前端应用深度卷积神经网络结构包括：对步骤(2.2)中离线训练获得的吸烟行为检测网络和接打电话行为检测网络进行稀疏化与量化压缩操作，验证压缩后的检测网络精度，在吸烟感兴趣区域内进行吸烟的危险驾驶行为检测，在接打电话感兴趣区域内进行接打电话的危险驾驶行为检测。作为优选，所述的步骤③为：定义当前时刻驾驶员接打电话状态S1的值，正常驾驶时S1＝0，接打电话时S1＝1；定义当前时刻驾驶员吸烟状态S2的值，正常驾驶时S2＝0，吸烟时S2＝1；利用时序数据对危险驾驶行为进行多帧确认，包括下列步骤：(3.1)接打电话危险行为置信度变量为C1，吸烟危险行为置信度变量为C2，计算方式如下：C1t+1＝max(0，C1t+(S2-1)*K1+S2*K2)C2t+1＝max(0，C2t+(S2-1)*K1′+S2*K2′)其中，t为离散采样周期数，实际应用中t的取值与近红外相机采集频率有关；K1、K2和K1’、K2’均为可配置阈值参数；例如接打电话时，默认值为：K1＝0.8×K2＝0.3×T1；(3.2)设定接打电话危险行为置信度预警阈值T1和吸烟危险行为置信度预警阈值T2，如果C1≥T1或C2≥T2，则通过事件触发的方式发出视觉预警信号和/或听觉预警信号。区分不同分神行为对应的预警信号的图标类型、提示音以及提示频率。即C1≥T1时，发出接打电话预警；本文档来自技高网...

【技术保护点】
1.一种基于驾驶室近红外相机的分神驾驶行为预警方法，其特征在于包括下列步骤：①驾驶员人脸检测：通过车载近红外相机离线采集驾驶室场景近红外图像数据，对图像数据人脸区域进行标注，离线训练Adaboost分类器作为人脸检测分类器，利用人脸检测分类器搜索人脸感兴趣区域；②危险驾驶行为检测：基于人脸感兴趣区域，增加背景区域，利用深度卷积神经网络进行危险驾驶行为检测；③危险驾驶行为预警：利用时序数据对危险驾驶行为进行多帧确认，如达到设定的连续帧数阈值，则发出视觉预警信号和/或听觉预警信号。

【技术特征摘要】
1.一种基于驾驶室近红外相机的分神驾驶行为预警方法，其特征在于包括下列步骤：①驾驶员人脸检测：通过车载近红外相机离线采集驾驶室场景近红外图像数据，对图像数据人脸区域进行标注，离线训练Adaboost分类器作为人脸检测分类器，利用人脸检测分类器搜索人脸感兴趣区域；②危险驾驶行为检测：基于人脸感兴趣区域，增加背景区域，利用深度卷积神经网络进行危险驾驶行为检测；③危险驾驶行为预警：利用时序数据对危险驾驶行为进行多帧确认，如达到设定的连续帧数阈值，则发出视觉预警信号和/或听觉预警信号。2.根据权利要求1所述的一种基于驾驶室近红外相机的分神驾驶行为预警方法，其特征在于所述的步骤①包括下列步骤：(1.1)通过车载近红外相机离线采集驾驶室场景近红外图像数据，对图像数据人脸区域进行标注，生成正样本图像12000张，负样本图像20000张，离线训练级联Haar特征或LBP特征的Adaboost分类器作为人脸检测分类器；(1.2)利用人脸检测分类器，在驾驶室感兴趣区域内按设定步长以及设定尺度滑窗搜索人脸感兴趣区域，对于每个滑窗，计算离线训练时所应用的Haar特征算子或LBP特征算子，并将所得特征向量送入Soft-Cascade分类器进行二分类，利用NMS对分类结果一致的重合滑窗区域进行合并，在线获得驾驶员人脸感兴趣区域；(1.3)根据在线检测获得的驾驶员人脸感兴趣区域，提取角点计算，利用Lucas-Kanade光流方法计算角点特征的运动信息，并且更新角点特征位置，基于相似性投影关系假设，利用RANSAC方法计算当前帧人脸的位置更新，并与当前帧人脸检测结果进行融合，获得最终人脸感兴趣区域。3.根据权利要求1所述的一种基于驾驶室近红外相机的分神驾驶行为预警方法，其特征在于所述的步骤②为：基于获得的最终人脸感兴趣区域，按1.2的比例系数，增加背景区域，生成用于分析危险驾驶行为的吸烟感兴趣区域和接打电话感兴趣区域，利用深度卷积神经网络进行危险驾驶行为检测，检测方法包括下列步骤：(2.1)深度卷积神经网络设计：采用深度卷积神经网络设计行为检测网络结构，包括区域建议网络结构和区域回归网络结构；(2.2)离线训练深度卷积神经网络结构：分别训练吸烟和接打电话两种行为的检测网络，检测网络的训练分为两个步骤，第一步训练区域建议网络结构，第二步训练区域回归网络结构；(2.3)前端应用深度卷积神经网络结构：在吸烟感兴趣区域和接打电话感兴趣区域内进行危险驾驶行为检测。4.根据权利要求3所述的一种基于驾驶室近红外相机的分神驾驶行为预警方法，其特征在于所述的步骤(2.1)中，所述的区域建议网络结构由卷积层构成，输入为16×16×3图像数据，输出为区域建议框的置信度以及粗略顶点位置；所述的区域回归网络结构由卷积层和全连接层构成，输入为32×32×3图像数据，输出为危险驾驶行为的置信度以及精确顶点位置。5.根据权...

【专利技术属性】
技术研发人员：缪其恒，陈淑君，王江明，许炜，
申请(专利权)人：浙江零跑科技有限公司，
类型：发明
国别省市：浙江,33