驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备技术方案

本公开提供了一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备，采集驾驶员驾驶视频；对视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果，投入成本低且不需要复杂的模型参数，具有非常好的应用前景。

Driver Eye Movement Behavior Detection Method, System, Media and Equipment in Driving Scene

【技术实现步骤摘要】
驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备
本公开属于汽车自动控制处理领域，具体涉及一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。随着经济的发展，汽车的数量越来越多，这就使得道路拥挤变得越来越严重，交通事故发生率越来越高，中国每年大约发生数十万起交通事故，伤亡人数达百万，驾驶员注意力不集中是导致交通事故发生的主要原因，比如在驾驶过程中使用智能手机、操作汽车中央控制系统、与乘客交谈等任何使驾驶员的注意力从驾驶任务转移的活动都会导致驾驶员注意力不集中。而这些活动有一个共同点就是使驾驶员的眼睛从驾驶任务中转移，因此，如果我们能够在驾驶场景下检测出驾驶员的眼动行为，并根据驾驶员的眼动行为分析出驾驶员注意力的状态，对驾驶员注意力不集中的行为及时做出警示，那么就可以避免交通事故的发生，减少伤亡人数。据专利技术人了解，目前，国内外学者已经提出的眼动行为检测方法大致分为两种，一种是基于特征的方法，即在分析瞳孔中心与角膜上的光线反射点之间的关系来检测眼动行为，这种方法，依赖于用户校准和手动初始化，并对阳光等可见光非常敏感，而在驾驶场景下，阳光等可见光对车内照明的影响又不可避免，头戴式眼动仪大多采用这种方法，头戴式眼动仪在眼动行为检测中能够准确识别出人的注视点，但是它成本高，使用过程中需要佩戴相关硬件设施，在一定程度上会影响驾驶员的驾驶行为，所以这种方法应用于驾驶环境下的眼动行为检测存在局限性。另一种是基于外观的方法，基于外观的眼动行为检测方法是采用深度学习算法获取相关图片的特征，来建立图片与注视点之间的关联，深度学习的优点在于能够通过自我学习来提取特征，并以较高的准确率识别目标。这种方法不依赖于用户校准以及手动初始化，受阳光等可见光的影响较小，并且成本较低，比较适合应用在驾驶环境下的眼动行为检测。虽然，深度学习在大多数计算机视觉任务中发挥着重要的作用，但是实际运用在驾驶场景下眼动行为检测方向的情况少之又少，已经提出的驾驶场景下驾驶员眼动行为检测模型的大部分是用已有网络训练得出，不具有针对性，并且模型参数过于复杂。
技术实现思路
本公开为了解决上述问题，提出了一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备，本公开的投入成本低且不需要复杂的模型参数，具有非常好的应用前景。根据一些实施例，本公开采用如下技术方案：一种驾驶场景下驾驶员眼动行为检测方法，包括以下步骤：采集驾驶过程视频；对视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。作为可能的实施方式，利用放置在驾驶舱内后视镜附近的普通RGB摄像头采集驾驶员驾驶视频。作为可能的实施方式，截取目标区域并以图片的形式保存，对图片进行灰度化处理，将左右眼两张图片拼接成一张图片并保存。作为可能的实施方式，将得到的脸部图片、左右眼图片按照适当比例划分训练集、验证集，作为训练网络以及优化网络模型的输入数据。作为可能的实施方式，通过分析数据集的特征以及应用的具体场景，构建双通道卷积神经网络，其中一个通道提取脸部数据的特征，另一通道提取眼部数据的特征，最后在全连接层完成特征的融合。作为可能的实施方式，对构建的双通道卷积神经网络进行优化，用两层卷积核大小为3*3的卷积层来代替卷积核大小为5*5的卷积层，卷积层之间使用SELU激活函数，使用最大池化实现降采样处理。作为可能的实施方式，利用优化后的卷积神经网络的反向传播优化网络整体参数。一种驾驶场景下驾驶员眼动行为检测系统，包括：数据处理模块，被配置为对驾驶员驾驶视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；模型构建模块，被配置为构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；识别结果输出模块，被配置为将两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种驾驶场景下驾驶员眼动行为检测方法。一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种驾驶场景下驾驶员眼动行为检测方法。与现有技术相比，本公开的有益效果为：本公开利用车内已有的RGB摄像头拍摄实际驾驶场景下驾驶员的驾驶视频即可实现原始数据的处理，投入成本低，且不需要复杂的模型参数，具有非常好的应用前景。本公开对卷积神经网络进行改进，用两层卷积核大小为3*3的卷积层来代替卷积核大小为5*5的卷积层，来减少网络模型的参数量，卷积层之间使用SELU激活函数，可以更好地归一化数据集，并减少梯度爆炸或者消失，使用最大池化实现降采样处理，应用dropout函数，降低过拟合。附图说明构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。图1为驾驶场景下驾驶员眼动行为检测的总体框图，虚线框图内为本实施例内容；图2(a)-(d)为原始图像截取目标区域：(a)原始图像；(b)驾驶员脸部图像；(c)驾驶员右眼图像；(d)驾驶员左眼图像。图3为左右眼两张图像拼接后的图像。图4为驾驶场景下驾驶员眼动行为检测的卷积神经网络模型；具体实施方式：下面结合附图与实施例对本公开作进一步说明。应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。一种基于卷积神经网络的驾驶场景下驾驶员眼动行为检测方法。首先，利用普通RGB摄像头拍摄实际驾驶场景下驾驶员的驾驶视频，将视频帧保存为图片；然后对这些原始图片进行预处理得到驾驶员脸部、左右眼图片，并且灰度化处理脸部、左右眼图片，另外将左右眼图片拼接成一张图片，预处理后的脸部图像以及左右眼图片作为卷积神经网络的输入数据集；最后，对于卷积神经网络，包括两个通道，一个通道提取脸部图片的特征信息，另一个通道提取左右眼图片信息，两个通道提取的特征信息在全连接层进行融合，利用损失函数计算卷积神经网络输出值与图像原本标签数值之前的差值，根据卷积神经网络反向传播的原理，优化网络参数，提高卷积神经网络的正确率，优化网络模型。如图1是驾驶场景下驾驶员眼动行为检测的总体框图，虚线框图内为本实施例内容，即基于卷积神经网络的驾驶场景下驾驶员眼动行为检测的方法，具体实施方式如下：(1)利用放置在驾本文档来自技高网...

【技术保护点】
1.一种驾驶场景下驾驶员眼动行为检测方法，其特征是：包括以下步骤：采集驾驶过程视频；对视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。

【技术特征摘要】
1.一种驾驶场景下驾驶员眼动行为检测方法，其特征是：包括以下步骤：采集驾驶过程视频；对视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果。2.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：利用放置在驾驶舱内后视镜附近的普通RGB摄像头采集驾驶员驾驶视频。3.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：截取目标区域并以图片的形式保存，对图片进行灰度化处理，将左右眼两张图片拼接成一张图片并保存。4.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：将得到的脸部图片、左右眼图片按照适当比例划分训练集、验证集，作为训练网络以及优化网络模型的输入数据。5.如权利要求1所述的一种驾驶场景下驾驶员眼动行为检测方法，其特征是：通过分析数据集的特征以及应用的具体场景，构建双通道卷积神经网络，其中一个通道提取脸部数据的特征，另一通道提取眼部数据的特征，最后在全连接层完成特征的融合。6.如权利要求1所述的一种驾驶场景下驾驶员眼动行...

【专利技术属性】
技术研发人员：杨晓晖，察晓磊，冯志全，周劲，徐涛，韩士元，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东,37