基于深度融合神经网络的驾驶员视觉分散检测方法技术

基于深度融合神经网络的驾驶员视觉分散检测方法，用于实时检测驾驶员的视线注意力。它包括以下步骤：(1)获取驾驶员面部图像，采用局部二值特征(LBF)跟踪驾驶员的面部特征点；(2)根据眼部区域的面部特征点的位置，定位并提取眼睛区域的图像；(3)根据面部特征点位置，采用N点透视(PnP)算法估计头部姿态，获取驾驶员三个方向的头部姿态参数；(4)基于深度混合神经网络的驾驶员视线方向估计。本发明专利技术可有效实现对驾驶员注意力的检测。

Driver Vision Decentralized Detection Method Based on Deep Fusion Neural Network

Driver's visual distraction detection method based on deep fusion neural network is used to detect driver's attention in real time. It includes the following steps: (1) acquiring the driver's facial image and tracking the driver's facial feature points with local binary feature (LBF); (2) locating and extracting the image of the eye region according to the position of the facial feature points in the eye region; (3) estimating the head pose using N-point perspective (PnP) algorithm according to the position of the facial feature points, and obtaining the driver's head pose parameters in three directions; (4) Driver's LOS estimation based on deep hybrid neural network. The invention can effectively realize the detection of driver's attention.

【技术实现步骤摘要】
基于深度融合神经网络的驾驶员视觉分散检测方法
本专利技术涉及车辆驾驶
，具体地说是一种基于深度融合神经网络的驾驶员视觉分散检测方法。
技术介绍
目前，驾驶员视觉分散驾驶是导致交通事故发生的主要因素。根据国家公路交通安全管理局的研究表明，驾驶员注意力分散引起的交通事故占比在百分之七十以上。驾驶员视觉分散驾驶是指驾驶员的视觉注意力从专注于道路和驾驶操作转移到其他的行为上，比如看手机、看文件、打电话、吃饭和操作车载电子设备等。有研究表明，在驾驶过程中进行其他与驾驶无关的任务时会加重驾驶员的认知负荷，而且随着手机和汽车电子设备的功能越来越多，这种现象愈加频繁，也就导致了分心驾驶出现的频率越来越高。当驾驶员认知负荷增加时会体现在驾驶员的视觉行为和驾驶行为上。因此通过监视驾驶员的视线方向能够有效的对驾驶员注意力进行监控。避免驾驶员视觉分散导致的危险。采用机器视觉的技术手段实时监测复杂驾驶环境下的驾驶员视觉状态是非常具有挑战性的。难点主要包括：(1)白天和黑夜等复杂的光照条件；(2)驾驶员的头部姿态和表情的多样性；(3)人种，年龄和性别的差异性；(4)驾驶员头发遮挡和穿戴眼镜对检测精度的影响本文档来自技高网...

【技术保护点】
1.基于深度融合神经网络的驾驶员视觉分散检测方法，其特征是，它包括以下步骤：(1)获取驾驶员面部图像，采用局部二值特征(LBF)跟踪驾驶员的面部特征点；(2)根据眼部区域的面部特征点的位置，定位并提取眼睛区域的图像；(3)根据面部特征点位置，采用N点透视(PnP)算法估计头部姿态，获取驾驶员三个方向的头部姿态参数；(4)首先，以驾驶员眼睛区域的RGB图像作为输入，构建卷积神经网络层、池化层和全连接层；然后，以头部姿态作为输入构建两层全连接神经网络，并将隐藏层与深度卷积神经网络的全连接层融合作为输出特征；在融合模型的顶层加入Softmax分类器，输出视线方向参数。

【技术特征摘要】
1.基于深度融合神经网络的驾驶员视觉分散检测方法，其特征是，它包括以下步骤：(1)获取驾驶员面部图像，采用局部二值特征(LBF)跟踪驾驶员的面部特征点；(2)根据眼部区域的面部特征点的位置，定位并提取眼睛区域的图像；(3)根据面部特征点位置，采用N点透视(PnP)算法估计头部姿态，获取驾驶员三个方向的头部姿态参数；(4)首先，以驾驶员眼睛区域的RGB图像作为输入，构建卷积神经网络层、池化层和全连接层；然后，以头部姿态作为输入构建两层全连接神经网络，并将隐藏层与深度卷积神经网络的全连接层融合作为输出特征；在融合模型的顶层加入Softmax分类器，输出视线方向参数。2.根据权利要求1所述的基于深度融合神经网络的驾驶员视觉分散检测方法，其特征是，在步骤(1)中，首先获取面部特征点的初始位置坐标，在训练阶段通过标定点和初始点的位置构建目标函数式中，i表示遍历所有的训练样本，操作符πl从中提取分量(2l-1,2l)，表示第i个训练数据的第l个特征(共n个)点从初始坐标到真实标定坐标位置的2D偏移量，表示l个特征点局部位置的局部纹理特征，即LBF特征，LBF特征通过训练随机森林模型获得。3.根据权利要求1所述的基于深度融合神经网络的驾驶员视觉分散检测方法，其特征是，步骤(1)中，在特征提取时，每个特征点都对应一个随机森林模型，输入到随机森林中的参数为形状索引特征，即在特征点位置区域中两个点的像素之差，在训练随机森林时，输入为X＝{Im,S}，预测目标是Y＝ΔS，从随机选取的形状索引特征集合中提取其中一部分样本，将样本点分配到左右子树中；针对每个节点，训练数据被分为两个部分，我们期望左右子树中的样本具有相同的模式，即使方差的减少量最大(最大方差衰减)，即argmax(Var-VarR-VarL)，其中，Var表示决策树节点分裂前样本方差总和，VarR和VarL分别表...

【专利技术属性】
技术研发人员：赵磊，罗映，
申请(专利权)人：山东派蒙机电技术有限公司，
类型：发明
国别省市：山东,37