一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统技术方案

本发明专利技术涉及一种基于并行交叉卷积神经网络的疲劳驾驶检测系统，包括疲劳驾驶样本图像的采集、样本图像的划分以及构建并行交叉的卷积神经网络模型对采集的驾驶状态样本进行训练，并将训练得到的模型应用于疲劳驾驶检测。本发明专利技术的并行交叉卷积神经网络模型能够有效提取图像特征，满足实时性要求。同时，本发明专利技术提供了基于并行交叉卷积神经网络的疲劳驾驶的检测系统功能组件，包括摄像头、语音提示模块、计时器等，本发明专利技术详细说明了疲劳驾驶检测系统的运行流程，该系统能够对驾驶员状态进行实时监测，有效防止意外事故的发生。

【技术实现步骤摘要】
一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统
本专利技术涉及一种基于卷积神经网络的疲劳驾驶行为检测系统，属于汽车安全驾驶

技术介绍
随着社会的高速发展，人们出行方式变得丰富，汽车成为我们生活中最常见的代步工具和运输工具；可随之而来的是道路的交通秩序和安全状况也变得十分复杂，交通事故的发生也越来越频繁。据统计，在全世界范围内每年由交通事故造成的死亡人数有至少60万之多；而发生交通事故90％左右是由司机人为原因造成的，其中绝大部分原因是疲劳驾驶。若能监控驾驶员是否处于疲劳驾驶状态，一旦发现立刻报警提醒，便能大幅度减少这类交通事故的发生率。因此，开发一种疲劳驾驶行为检测系统具有重要的意义。疲劳驾驶是指驾驶员在较长时间不停歇行车后，因生理和心理机能的失调而引起驾驶技能下降的现象。目前疲劳驾驶行为按检测的类别可大致分为基于车辆状态的检测、基于驾驶员生理信号的检测和基于驾驶员生理反应特征的检测等方法。基于车辆状态(行驶轨迹变化和车道线偏离)的检测方法是通过安装能够检测出车辆状态的各类传感器，通过车辆状态分析驾驶员行为判断疲劳驾驶情况，此种方法对硬件要求高，价格昂贵，且也易受行驶环境和驾驶员习惯的影响，误差较大。基于生理信号(脑电信号、心电信号等)判别疲劳驾驶的准确性较高，但这种采集方式需要驾驶员佩戴一些传感器，操作复杂佩戴不便，给实际应用带来不便和局限性。基于驾驶员生理反应特征(眼睛特性、嘴部运动等面部表情)的检测方法目前主要是通过在车内安装摄像头，采用传统机器学习方法进行检测分析，这种方法相比前两种方法受干扰因素小，使用方便，价格便宜，但易受到光照、驾驶员姿态等因素的影响，造成准确率不高的问题。申请人结合现有技术和实际驾驶员的驾驶状态研究发现，对于判断疲劳状态而言，采用卷积神经网络的方法可以实现高效、高准确率的检测。但是如何将卷积神经网络技术引入到驾驶疲劳检测技术中来，以提高驾驶员疲劳检测的准确性和实时性，成为亟待解决的问题。
技术实现思路
本专利技术的目的是克服现有技术的不足，提供一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，可以有效地提高疲劳驾驶行为的检测精度，并在驾驶员疲劳驾驶时，可以发出实时状态预警，防止意外事故的发生。本专利技术公开了一种基于并行交叉卷积神经网络的疲劳驾驶检测系统，所述方法包括以下步骤：S1，建立疲劳驾驶图像数据集：在实际驾驶条件下，采集驾驶员在正常行驶状态和疲劳驾驶状态的图像作为样本，并将样本图像划分成6种常见的疲劳驾驶行为和1种正常驾驶行为；S2，划分疲劳驾驶图像数据集：根据卷积神经网络的训练方法，将每类疲劳驾驶状态的图像样本按照8:2的比例划分为训练图像、测试图像，同时对7个类别的驾驶样本图像按照1～7的顺序进行标注；S3，构建卷积神经网络模型：所构建的卷积神经网络包括两个并行通路，两个通路均包含5层卷积层(Conv1～Conv5)和2层池化层(pool1～pool2)，当两个通道的特征提取结束后，两个通路的特征融合采用级联方式，并输入到全局平均池化层以及全连接层中，进而由Softmax分类器输出结果。S4，卷积神经网络模型的训练：将S2所述的训练图像、测试图像作为S3所构建的卷积神经网络数据层的输入，利用前向传播算法和反向传播算法对所述卷积神经网络进行迭代训练、优化训练全局参数，最终使卷积神经网络输出的损失函数值下降并收敛，生成可用于识别疲劳驾驶状态的分类模型；S5，模型的移植：将S4训练得到的疲劳驾驶分类模型移植到嵌入式平台，嵌入式平台通过固定在车身驾驶位前方的两个摄像头获取司机驾驶状态图像，并对图像信息通过调用模型判断当前司机驾驶状态；S6，疲劳驾驶报警：将S5获得的驾驶状态信息进行显示，若判断为安全驾驶，则不报警；若连续5帧判断为疲劳驾驶，则发出语音报警。进一步地，上述本专利技术提出的基于并行交叉卷积神经网络的疲劳驾驶检测系统中，所述S1中驾驶行为包括：正常驾驶、抽烟、打哈欠、点头、闭眼、左顾右盼、打电话。进一步地，上述本专利技术提出的基于并行交叉卷积神经网络的疲劳驾驶检测系统中，S3所述卷积神经网络的网络结构包括如下：数据层：该层是网络的第一层，存储着疲劳驾驶样本图像及对应样本类别的标签数据；卷积层：网络包含两个并行的卷积层，卷积的层次相等，除了第一个卷积层的卷积核尺寸不同，其余设置保持相同，详细如下；第一卷积层：该层是网络的第二层，两个并行通路分别采用不同的卷积核进行特征提取，卷积核尺寸分别为11×11和7×7，步长为4，输出的特征图数量为96，图像卷积后作为下一层的输入；第一池化层：该层是网络的第三层，卷积核为3×3，步长为2，是对第一卷积层的下采样；第二卷积层：该层是网络的第四层，卷积核为5×5，步长为为1，输出特征图数量为128，是对图像卷积后作为下一层的输入；第二池化层：该层是网络的第五层，卷积核为3×3，步长为2，是对第二卷积层的下采样；第三卷积层：该层是网络的第六层，卷积核为3×3，步长为为1，输出特征图数量为192，是对图像卷积后作为下一层的输入；第四卷积层：该层是网络的第七层，卷积核为3×3，步长为为1，输出特征图数量为192，是对图像卷积后作为下一层的输入；第五卷积层：该层是网络的第八层，卷积核为3×3，步长为为1，输出特征图数量为128，是对图像卷积后作为下一层的输入；特征融合层：该层是网络的第九层，是对并行输出的特征进行特征融合，采用级联融合；全局池化层：该层是网络的第十层，是对特征融合层的特征图进行全局下采样；全连接层：该层是网络的第十一层，输出的是一维特征；分类层：该层是网络的最后一层，输出概率分布向量P，即属于第j类的概率值Pi，并在Pi中寻找最大值，将概率最大的i所对应的类别作为检测结果，i＝1，2，…，n，n为分类类别数。进一步地，上述本专利技术提出的基于并行交叉卷积神经网络的疲劳驾驶检测系统中，S4所述损失函数定义如下：其中，F(θ)为损失函数，m为待训练图像的总数，n为类别数，1{y(i)＝j}为指示函数，x(i)为全连接层输出节点所构成的向量，θ1，θ2，…θn表示模型参数，T表示矩阵的装置。进一步地，模型采用平均准确率对模型性能进行评价，定义如下：其中，ncl为样本类别总数，i为类别标签(1～7)，ni为类别i的样本总数，nii为类别i预测为第i类的样本数。进一步地，上述本专利技术提出的基于并行交叉卷积神经网络的疲劳驾驶检测系统中，S6语音报警提示根据卷积神经网络判断的6种疲劳驾驶状态，播出“您正在处于某种驾驶状态，请注意”的语音报警。进一步地，上述本专利技术提出的基于并行交叉卷积神经网络的疲劳驾驶检测系统中，S6语音报警提示除了根据卷积神经网络判断的6种疲劳驾驶状态进行语音报警，当行车时间超过4小时时，会播出“您驾驶时间已经超过4小时，请停车休息”的语音报警。本专利技术的有益效本文档来自技高网...

【技术保护点】
1.一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：包括如下步骤：/nS1，建立疲劳驾驶图像数据集：在实际驾驶条件下，采集驾驶员在正常行驶状态和疲劳驾驶状态的图像作为样本，并将样本图像划分成6种常见的疲劳驾驶行为和1种正常驾驶行为；/nS2，划分疲劳驾驶图像数据集：根据卷积神经网络的训练方法，将每种疲劳驾驶状态的图像样本按照8:2的比例划分为训练图像与测试图像，同时对7个类别的驾驶状态样本图像按照1～7的顺序进行标注；/nS3，构建卷积神经网络模型：所构建的卷积神经网络包括两个并行通路，两个通路均包含5层卷积层，即Conv1～Conv5和2层池化层，即pool1～pool2，当两个通道的特征提取结束后，两个通路的特征融合采用级联方式，并输入到全局平均池化层以及全连接层中，进而由Softmax分类器输出结果；/nS4，卷积神经网络模型的训练：将S2所述的训练图像与测试图像作为S3所构建的卷积神经网络数据层的输入，利用前向传播算法和反向传播算法对所述卷积神经网络进行迭代训练、优化训练全局参数，最终使卷积神经网络输出的损失函数值下降并收敛，生成可用于识别疲劳驾驶状态的分类模型；/nS5，模型的移植：将S4训练得到的疲劳驾驶分类模型移植到嵌入式平台，嵌入式平台通过固定在车身驾驶位前方的两个摄像头获取司机驾驶状态图像，并对图像信息通过调用模型判断当前司机驾驶状态；/nS6，疲劳驾驶报警：将S5获得的驾驶状态信息进行显示，若判断为安全驾驶，则不报警；若连续5帧判断为疲劳驾驶，则发出语音报警。/n...

【技术特征摘要】
1.一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：包括如下步骤：
S1，建立疲劳驾驶图像数据集：在实际驾驶条件下，采集驾驶员在正常行驶状态和疲劳驾驶状态的图像作为样本，并将样本图像划分成6种常见的疲劳驾驶行为和1种正常驾驶行为；
S2，划分疲劳驾驶图像数据集：根据卷积神经网络的训练方法，将每种疲劳驾驶状态的图像样本按照8:2的比例划分为训练图像与测试图像，同时对7个类别的驾驶状态样本图像按照1～7的顺序进行标注；
S3，构建卷积神经网络模型：所构建的卷积神经网络包括两个并行通路，两个通路均包含5层卷积层，即Conv1～Conv5和2层池化层，即pool1～pool2，当两个通道的特征提取结束后，两个通路的特征融合采用级联方式，并输入到全局平均池化层以及全连接层中，进而由Softmax分类器输出结果；
S4，卷积神经网络模型的训练：将S2所述的训练图像与测试图像作为S3所构建的卷积神经网络数据层的输入，利用前向传播算法和反向传播算法对所述卷积神经网络进行迭代训练、优化训练全局参数，最终使卷积神经网络输出的损失函数值下降并收敛，生成可用于识别疲劳驾驶状态的分类模型；
S5，模型的移植：将S4训练得到的疲劳驾驶分类模型移植到嵌入式平台，嵌入式平台通过固定在车身驾驶位前方的两个摄像头获取司机驾驶状态图像，并对图像信息通过调用模型判断当前司机驾驶状态；
S6，疲劳驾驶报警：将S5获得的驾驶状态信息进行显示，若判断为安全驾驶，则不报警；若连续5帧判断为疲劳驾驶，则发出语音报警。


2.根据权利要求1所述的基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：所述S1中驾驶行为包括：正常驾驶、抽烟、打哈欠、点头、闭眼、左顾右盼、打电话。


3.根据权利要求1所述的基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：所述S3所述卷积神经网络的网络结构包括如下：
数据层：数据层为网络的第一层，存储着疲劳驾驶样本图像及对应样本类别的标签数据；
卷积层：网络包含两个并行的卷积层，卷积的层次相等，除了第一个卷积层的卷积核尺寸不同，其余设置保持相同，详细如下；
第一卷积层：该层是网络的第二层，两个并行通路分别采用不同的卷积核进行特征提取，卷积核尺寸分别为11×11和7×7，步长为4，输出的特征图数量为96，图像卷积后作为下一层的输入；
第一池化层：该层是网络的第三层，卷积核为3×3，步长为2，是对第一卷积层的下采样；
第二卷积层：该层是网络的第四层，卷积核为5×5，步长为为1，输出特征图数量为128，是对图像卷积后作为下一层的输入；
第二池化层：该层是网络的第五层，卷积核为3×3，步长为2，是对第二卷积层的下采样；
第三卷积层：该层是网络的第六层，卷积核为3×3，步长为为1，输出特征图数量为192，是对图像卷积后作为下一层的输入；
第四卷积层：该层是网络的第七层，卷积核为3×3，步长为为1，输出特征图数量为192，是对图像卷积后作为下一层的输入；
第五卷积层：该层是网络的第八层，卷积核为3×3，步长为为1，输出特征图数量为128，是对图像卷积后作为下一层的输入；
特征融合层：该层是网络的第九层，是对并行输出的特征...

【专利技术属性】
技术研发人员：范瑞，苗斌，张林，吴凡，肖瑶，何冬琴，
申请(专利权)人：南京汽车集团有限公司，上汽大通汽车有限公司南京分公司，
类型：发明
国别省市：江苏;32