基于深度学习的车载人脸识别方法技术

一种基于深度学习的车载人脸识别方法：获取图像，构建驾驶员数据集；构建模型，包括提取视觉特征和语义特征以及构成特征处理模型；训练特征处理模型；根据测试结果优化实验结果，将优化后的特征处理模型传送到总控制端；在车上安装警示灯和摄像头，实时将驾驶员的操作情况上传到总控制端，总控制端根据优化后的特征处理模型判断驾驶员是否有违规驾驶，当有违规驾驶，总控制端发出信号，激发警示灯，提醒驾驶员文明行驶。本发明专利技术通过实时分析人脸变化，提取人脸特征，检测其是否有违规操作，与数据集进行分析对比，一旦发现有违法违规行为，如发现疲劳驾驶和接听电话，看手机等现象，会自动发出警报，及时制止驾驶员的不良行为。减少交通事故发生的可能性。

【技术实现步骤摘要】
基于深度学习的车载人脸识别方法
本专利技术涉及一种人脸识别方法。特别是涉及一种基于深度学习的车载人脸识别方法。
技术介绍
随着信息获取和信息处理技术的快速发展,计算机视觉,即如何利用计算机技术高效准确地从环境图像或者视频中获取相关信息,进而对客观世界中的事物及发生的现象进行分析、判断和决策,已经成为一个非常重要的研究课题。随着深度学习的快速发展，计算机视觉在近几年发展迅速，深层卷积神经网络对进行计算机视觉方面的研究发展起到了非常重要的作用。随着计算机视觉的快速发展，人脸识别技术发展势头良好，人脸识别的应用也越来越广泛，人脸识别是基于人脸的面部特征进行识别的一种生物识别技术，通过摄像机等图像采集设备采集含有人脸的图像或者视频流，然后在图像中进行人脸检测和人脸跟踪，进而对检测到的人脸进行脸部相关的一系列相关技术。目前人脸识别技术主要包括(1)几何特征的人脸识别方法；(2)基于特征脸(PCA)的人脸识别方法(3)神经网络的人脸识别方法(4)弹性图匹配的人脸识别方法(5)线段Hausdorff距离(LHD)的人脸识别方法(6)支持向量机(SVM)的人脸识别方法。目前交通事故频发，除了自然原因外，有很大一部分是驾驶员自身的问题，主要包括疲劳驾驶、接听电话、开车时看手机分心等，以上原因造成的意外不计其数。目前我国的车载摄像头虽然有一定的发展，但是主要集中于车速测试、目标跟踪、行人检测、障碍物检测等领域，针对驾驶员的安全文明驾驶没有过多的研究，以前由于技术的限制，如何判断驾驶员是否违规行驶缺乏实时高效的判断方法。基于深度学习的人脸识别技术，能够对驾驶员的实时操作进行监督和判断，能够有效减少驾驶员违规操作而造成交通事故。
技术实现思路
本专利技术所要解决的技术问题是，提供一种能够通过实时分析人脸变化，判断司机是否有疲劳驾驶等现象，并给出及时提醒的基于深度学习的车载人脸识别方法。本专利技术所采用的技术方案是：一种基于深度学习的车载人脸识别方法，包括如下步骤：1)获取图像，构建驾驶员数据集；2)构建模型，包括：(1)通过卷积神经网络和LSTM网络，分别从驾驶员数据集中提取视觉特征和语义特征；(2)将提取的视觉特征和语义特征输入到带有attention机制的LSTM网络中构成特征处理模型；3)训练特征处理模型，将驾驶员数据集中的60％的图像用于训练，20％的图像用于验证，20％的图像用于测试；4)根据测试结果分别对参数Wz、Wr、W进行微调，优化实验结果，将优化后的特征处理模型传送到总控制端；5)在车上安装警示灯和摄像头，实时将驾驶员的操作情况上传到总控制端，总控制端根据优化后的特征处理模型判断驾驶员是否有违规驾驶，当有违规驾驶，总控制端发出信号，激发警示灯，提醒驾驶员文明行驶。步骤1)包括利用基于python的网络图片获取脚本，通过互联网获取不同驾驶员图像，对图像制作标签，标签详细注明图像内容，然后汇总，作为驾驶员数据集，所述的图像内容包括：驾驶员正常驾驶、低头看手机、四处观看、闲聊及疲劳驾驶。步骤2)中的第(1)包括：利用卷积神经网络中的VGG-19网络的conv5_3层提取驾驶员数据集的14×14×512维视觉特征，得到特征向量ai，通过attention机制产生视觉信息上下文向量zvt；通过LSTM网络提取驾驶员数据集的语义特征，并获得语义上下文向量zst。步骤2)中的第(2)步包括：(1)将视觉信息上下文向量zvt和语义上下文向量zst通过仿射变换形成能够更加充分的表达图像信息的上下文向量zt；(2)将得到的上下文向量zt输入到带有attention机制的LSTM网络，分析驾驶员的行为。所述的特征处理模型，如下：et＝fatt(ai,ht-1)zt＝σ(Wz·[ht-1,xt])rt＝σ(Wr·[ht-1,xt])其中，zvt表示视觉信息上下文向量，ai表示视觉特征向量，αt表示权重，zt表示上下文向量，xt表示当前时刻的输入，ht和ht-1分别表示当前时刻和上一时刻的隐藏层状态，为当前时刻隐藏层的候选状态，Wz、Wr、W为参数。本专利技术的基于深度学习的车载人脸识别方法，在驾车过程中通过车载摄像头获取驾驶员实时信息，通过实时分析人脸变化，提取人脸特征，通过卷积神经网络检测其是否有违规操作，与数据集进行分析对比，一旦发现有违法违规行为，如发现疲劳驾驶和接听电话，看手机等现象，会自动发出警报，及时制止驾驶员的不良行为。减少交通事故发生的可能性。附图说明图1是本专利技术基于深度学习的车载人脸识别方法的流程图。具体实施方式下面结合实施例和附图对本专利技术的基于深度学习的车载人脸识别方法做出详细说明。如图1所示，本专利技术的基于深度学习的车载人脸识别方法，包括如下步骤：1)获取图像，构建驾驶员数据集，包括：利用基于python的网络图片获取脚本，通过互联网获取不同驾驶员图像，对图像制作标签，标签详细注明图像内容，然后汇总，作为驾驶员数据集，所述的图像内容包括：驾驶员正常驾驶、低头看手机、四处观看、闲聊及疲劳驾驶。2)构建模型，包括：(1)为了能够更好的分辨驾驶员的行为，本专利技术提取视觉特征和语义特征。通过卷积神经网络和LSTM网络，分别从驾驶员数据集中提取视觉特征和语义特征；包括：利用卷积神经网络中的VGG-19网络的conv5_3层提取驾驶员数据集的14×14×512维视觉特征，得到特征向量ai，通过attention机制产生视觉信息上下文向量zvt；通过LSTM网络提取驾驶员数据集的语义特征，并获得语义上下文向量zst。(2)将提取的视觉特征和语义特征输入到带有attention机制的LSTM网络中构成特征处理模型；包括：(2.1)将视觉信息上下文向量zvt和语义上下文向量zst通过仿射变换形成能够更加充分的表达图像信息的上下文向量zt；(2.2)将得到的上下文向量zt输入到带有attention机制的LSTM网络，分析驾驶员的行为。例如：聊天时嘴型变化，疲劳时的眼睛的变化。LSTM(LongShortTerm)是一种特殊的RNN模型，可以学习长期依赖信息。LSTM能够通过一个忘记门来选择性的记住或者遗忘之前的信息。Attention机制是当前非常流行的一种图像处理的方法，它是通过计算图像相关区域的权重来分配关注程度。所述的特征处理模型，如下：et＝fatt(ai,ht-1)zt＝σ(Wz·[ht-1,xt])rt＝σ(Wr·[ht-1,xt])其中，zvt表示视觉信息上下文向量，ai表示视觉特征向量，αt表示权重，zt表示上下文向量，xt表示当前时刻的输入，ht和ht-1分别表示当前时刻和上一时刻的隐藏层状态，为当前时刻隐藏层的候选状态，Wz、Wr、W为参数。3)训练特征处理模型，将驾驶员数据集中的60％的图像用于训练，20％的图像用于验证，20％的图像用于测试；4)根据测试结果分别对参数Wz、Wr、W进行微调，优化实验结果，将优化后的特征处理模型传送到总控制端；5)在车上安装警示灯和摄像头，实时将驾驶员的操作情况上传到总控制端，总控制端根据优化后的特征处理模型判断驾驶员是否有违规驾驶，当有违规驾驶，总控制端发出信号，激发警示灯，提醒驾驶员文明行驶。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的车载人脸识别方法，其特征在于，包括如下步骤：1)获取图像，构建驾驶员数据集；2)构建模型，包括：(1)通过卷积神经网络和LSTM网络，分别从驾驶员数据集中提取视觉特征和语义特征；(2)将提取的视觉特征和语义特征输入到带有attention机制的LSTM网络中构成特征处理模型；3)训练特征处理模型，将驾驶员数据集中的60％的图像用于训练，20％的图像用于验证，20％的图像用于测试；4)根据测试结果分别对参数Wz、Wr、W进行微调，优化实验结果，将优化后的特征处理模型传送到总控制端；5)在车上安装警示灯和摄像头，实时将驾驶员的操作情况上传到总控制端，总控制端根据优化后的特征处理模型判断驾驶员是否有违规驾驶，当有违规驾驶，总控制端发出信号，激发警示灯，提醒驾驶员文明行驶。

【技术特征摘要】
1.一种基于深度学习的车载人脸识别方法，其特征在于，包括如下步骤：1)获取图像，构建驾驶员数据集；2)构建模型，包括：(1)通过卷积神经网络和LSTM网络，分别从驾驶员数据集中提取视觉特征和语义特征；(2)将提取的视觉特征和语义特征输入到带有attention机制的LSTM网络中构成特征处理模型；3)训练特征处理模型，将驾驶员数据集中的60％的图像用于训练，20％的图像用于验证，20％的图像用于测试；4)根据测试结果分别对参数Wz、Wr、W进行微调，优化实验结果，将优化后的特征处理模型传送到总控制端；5)在车上安装警示灯和摄像头，实时将驾驶员的操作情况上传到总控制端，总控制端根据优化后的特征处理模型判断驾驶员是否有违规驾驶，当有违规驾驶，总控制端发出信号，激发警示灯，提醒驾驶员文明行驶。2.根据权利要求1所述的基于深度学习的车载人脸识别方法，其特征在于，步骤1)包括利用基于python的网络图片获取脚本，通过互联网获取不同驾驶员图像，对图像制作标签，标签详细注明图像内容，然后汇总，作为驾驶员数据集，所述的图像内容包括：驾驶员正常驾驶、低头看手机、四处观看、闲聊及疲劳驾驶。3.根据权利要求1所述的基于深度学习的...

【专利技术属性】
技术研发人员：冀中，贺二路，庞彦伟，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12