一种基于数据融合的疲劳驾驶识别方法技术

本发明专利技术公开了一种基于数据融合的疲劳驾驶识别方法，该方法包括：获取驾驶员的人脸图像，并根据所述人脸图像进行轮廓特征点提取；获取车辆操作数据，并对车辆操纵行为进行特征提取；根据提取的轮廓特征点进行人脸疲劳特征抽取，并得到对应的疲劳驾驶样本集；根据人脸疲劳特征和车辆操纵行为特征构建疲劳风险指数模型，该模型用于判断疲劳驾驶的可能性；本发明专利技术通过时变模型对疲劳驾驶程度进行估算以实现疲劳驾驶警示，基于成熟卷积神经网络获取人脸轮廓特征点，进而从中提取人脸疲劳特征，避免了对人脸疲劳特征训练样本的需求量，且保证了特征分析的准确率。

【技术实现步骤摘要】
一种基于数据融合的疲劳驾驶识别方法
本专利技术涉及安全驾驶
，具体涉及一种基于数据融合的疲劳驾驶识别方法。
技术介绍
现有市场化应用的疲劳驾驶警示技术主要分为两类，一类是基于对车辆运行状态的分析技术，该类方法一般通过分析转向角度、油门等数据来识别疲劳驾驶。其实现方式简单，但由于车辆行驶需求和驾驶环境的复杂性和多样性，导致该类方法的准确率较低。另一类是基于图像识别的驾驶员脸部生理状态分析技术，通过基于深度神经网络的机器视觉技术对驾驶员头部图像中的眼、嘴等状态进行分析来识别疲劳驾驶。该类方法其精度比第一类方法精度高，目前已经成为该领域应用研究热点。但该类方法存在几个主要问题：(1)基于机器视觉的疲劳驾驶识别效果容易受驾驶员人脸位置变化、生理习惯、穿戴物、照明光线等因素影响，此外，各种非疲劳因素引起的眨眼、交谈、唱歌等偶发事件也会对其造成干扰。(2)基于深度神经网络的疲劳驾驶建模需要大量高质量的疲劳驾驶训练样本做支撑，获取难度大、成本高。(3)疲劳是一种具有累积效应的时变过程，基于深度神经网络的机器视觉模型方法只能在离散的时间点识别眯眼、哈欠等行为，没有考虑其在时域上的结构信息。循环深度神经网络虽然在理论上可以记忆任意长的历史数据，但其存储能力在计算成本敏感的车载环境中受到较大约束，导致历史特征被弱化，影响疲劳驾驶的识别精度。
技术实现思路
专利技术目的：为了克服现有技术的不足，本专利技术公开基于数据融合的疲劳驾驶识别方法，其可以解决特征分析准确率低、识别精度低和误报率高的问题。技术方案：本专利技术所述的基于数据融合的疲劳驾驶识别方法，该方法包括：获取驾驶员的人脸图像，并根据所述人脸图像进行轮廓特征点提取；获取车辆操纵数据，对车辆操纵行为进行特征提取，并采用SVM对指定时间段内的车辆操纵行为的频度进行分析，以识别出清醒状态车辆操纵行为和疲劳状态车辆操纵行为，进而得到清醒状态车辆操纵行为特征集和疲劳状态车辆操纵行为特征集；根据提取的轮廓特征点进行人脸疲劳特征抽取，并得到对应的疲劳驾驶样本集；将人脸疲劳特征和车辆操纵行为特征融合，并构建疲劳风险指数模型，该模型的输出用于判断疲劳驾驶的可能性；判断驾驶员是否为危险驾驶，若是危险驾驶，则发出预警信号。进一步的，包括：所述疲劳风险指数模型表示为：δΔswp(t)＝swp(t)-swp(t*)其中，t为当前时刻，t*为t的上一个采样时刻，*为卷积运算符，swp(t)为t时刻的驾驶员睡醒指数，swp(t0)为基准时刻t0的swp值，δ为睡醒指数缩放因子；和为衰减函数，Fm(t)为眯眼行为特征函数，Fy(t)为哈欠行为特征函数。进一步的，包括：所述驾驶员睡醒指数表示为：swp(t)＝10.9-0.6(S+C+U)其中，该值用于表征驾驶员睡醒后到当前时间的清醒程度；该值为人的作息生理周期指数；该值为人体日节律指数；θ1为清醒状态图中渐进线对应横轴坐标2.4的纵轴坐标值，θ2为驾驶员的睡眠开始时刻，θ3为中位值，θ4为相位。进一步的，包括：提取的轮廓特征点进行人脸疲劳特征抽取，包括：首先，根据眯眼行为特征得到眯眼行为特征函数，具体的：设在时域(ts，te)内满足Rm为眯眼行为特征；令如令Tm＝te，Tm为眯眼时间变量参数；如令则在Tm时刻，当为1，即：车辆操纵行为为疲劳状态车辆操纵时，令眯眼特征值α是衰减系数；为0，即：车辆操纵行为为清醒状态车辆操纵行为时，令Fmv＝0；定义眯眼行为特征函数：其次，根据哈欠行为特征得到哈欠行为特征函数，具体的：设在时域(ts，te)内满足如令Ty＝te，Ty为哈欠时间变量参数；如令则在Ty时刻生成哈欠特征值β是衰减系数；定义哈欠行为特征函数：其中，参数值表示为：且基于疲劳驾驶样本集提取以下特征：计算其均值μrm；计算其均值μtm和方差σtm；计算其均值μry；计算其均值μty和方差σty；其中，为第i次眯眼时对应的行为特征，为第j次哈欠时对应的行为特征，Cm和Cy分别为疲劳驾驶样本集中眯眼和哈欠的次数。进一步的，包括：衰减函数和中的γm、γy和δ计算过程为：因为眯眼行为的发生间隔为随机变量，因此，设为驾驶员在疲劳状态下眯眼事件序列，为k次眯眼特征值的累积和，k＝1，2，3，…；令为眯眼特征值累加和大于Pym的最小眯眼行为次数，则τ(Pym)的期望值Pym为疲劳状态下眯眼次数的经验值，Inf为下确界，nm的值是眯眼特征值累加和大于Pym的最小眯眼行为次数；若在tms时刻发生眯眼行为，在tmo时间段内没有再次出现眯眼行为，则Fmv值应在tme时刻衰退至0，tme＝tms+tmo，则：其中，mnz(Fmv)为Fmv的最小非0值；同理，若在tys时刻发生眯眼行为，在tyo时间内没有再次出现眯眼行为，则Fyv值应在tye时刻衰退至0，tye＝tys+tyo；则进一步的，包括：衰减系数α、β表示为：进一步的，包括：所述采用SVM对指定时间段内的车辆操纵行为的频度进行分析，以识别出清醒状态车辆操纵行为和疲劳状态车辆操纵行为，其中，SVM判别函数表示为：其返回值Labt表示在t时刻车辆操纵行为是否异常，Labt＝1表示异常，即为疲劳状态车辆操纵行为，Labt＝0表示正常，即为清醒状态车辆操纵行为。进一步的，包括：参数ωp和bp的训练方法为：首先，表示清醒状态车辆操纵行为特征集和疲劳状态车辆操纵行为特征集：设清醒状态车辆操纵行为特征集：Nc为清醒状态车辆操纵行为特征集的样本数量；设疲劳状态车辆操纵行为特征集：Nf为疲劳状态车辆操纵行为特征集的样本数量；其中，CF为转向特征表示，EB为制动特征表示，Lab用来判断车辆操纵行为是否异常，Labt＝1表示异常，Labt＝0表示正常，上标c表示这是清醒状态下采集的样本，上标f表示这是疲劳状态下采集的样本；其次，通过输入的训练样本和Lab值，训练Fsvm的参数ωp和bp。有益效果：本专利技术与现有技术相比，其显著优点是：1、本专利技术提出一种融合驾驶员人脸疲劳特征和车辆操控状态特征的疲劳特征抽取方法，通过时变模型对疲劳驾驶程度进行估算以实现疲劳驾驶警示。基于成熟卷积神经网络获取人脸轮廓特征点，进而从中提取人脸疲劳特征，避免了对人脸疲劳特征训练样本的需求量，且保证了特征分析的准确率；2、融合基于车载网络采样的车辆运行参数中提取的车辆操控状态特征，有效降低非疲劳因素产生的人脸特征对整个模型的干扰。3、基于时域冲击模型能够记忆长时间的历史本文档来自技高网...

【技术保护点】
1.一种基于数据融合的疲劳驾驶识别方法，其特征在于，该方法包括：/n获取驾驶员的人脸图像，并根据所述人脸图像进行轮廓特征点提取；/n获取车辆操纵数据，对车辆操纵行为进行特征提取，并采用SVM对指定时间段内的车辆操纵行为的频度进行分析，以识别出清醒状态车辆操纵行为和疲劳状态车辆操纵行为，进而得到清醒状态车辆操纵行为特征集和疲劳状态车辆操纵行为特征集；/n根据提取的轮廓特征点进行人脸疲劳特征抽取，并得到对应的疲劳驾驶样本集；/n将人脸疲劳特征和车辆操纵行为特征融合，并构建疲劳风险指数模型，该模型的输出用于判断疲劳驾驶的可能性；/n判断驾驶员是否为危险驾驶，若是危险驾驶，则发出预警信号。/n

【技术特征摘要】
1.一种基于数据融合的疲劳驾驶识别方法，其特征在于，该方法包括：
获取驾驶员的人脸图像，并根据所述人脸图像进行轮廓特征点提取；
获取车辆操纵数据，对车辆操纵行为进行特征提取，并采用SVM对指定时间段内的车辆操纵行为的频度进行分析，以识别出清醒状态车辆操纵行为和疲劳状态车辆操纵行为，进而得到清醒状态车辆操纵行为特征集和疲劳状态车辆操纵行为特征集；
根据提取的轮廓特征点进行人脸疲劳特征抽取，并得到对应的疲劳驾驶样本集；
将人脸疲劳特征和车辆操纵行为特征融合，并构建疲劳风险指数模型，该模型的输出用于判断疲劳驾驶的可能性；
判断驾驶员是否为危险驾驶，若是危险驾驶，则发出预警信号。


2.根据权利要求1所述的基于数据融合的疲劳驾驶识别方法，其特征在于，所述疲劳风险指数模型表示为：



δΔswp(t)＝swp(t)-swp(t*)
其中，t为当前时刻，t*为t的上一个采样时刻，*为卷积运算符，swp(t)为t时刻的驾驶员睡醒指数，swp(t0)为基准时刻t0的swp值，δ为睡醒指数缩放因子；和为衰减函数，Fm(t)为眯眼行为特征函数，Fy(t)为哈欠行为特征函数。


3.根据权利要求2所述的基于数据融合的疲劳驾驶识别方法，其特征在于，所述驾驶员睡醒指数表示为：
swp(t)＝10.9-0.6(S+C+U)
其中，该值用于表征驾驶员睡醒后到当前时间的清醒程度；

该值为人的作息生理周期指数；

该值为人体日节律指数；θ1为清醒状态图中渐进线对应横轴坐标2.4的纵轴坐标值，θ2为驾驶员的睡眠开始时刻，θ3为中位值，θ4为相位。


4.根据权利要求3所述的基于数据融合的疲劳驾驶识别方法，其特征在于，提取的轮廓特征点进行人脸疲劳特征抽取，包括：
首先，根据眯眼行为特征得到眯眼行为特征函数，具体的：
设在时域(ts，te)内满足Rm为眯眼行为特征；
令
如令Tm＝te，Tm为眯眼时间变量参数；
如令
则在Tm时刻，当为1，即：车辆操纵行为为疲劳状态车辆操纵时，令眯眼特征值α是衰减系数；

为0，即：车辆操纵行为为清醒状态车辆操纵行为时，令Fmv＝0；
定义眯眼行为特征函数：



其次，根据哈欠行为特征得到哈欠行为特征函数，具体的：
设在时域(ts，te)内满足
如令Ty＝te，Ty为哈欠时间变量参数；
如令
则在Ty时刻生成哈欠特征值β是衰减系数；
定义哈欠行为特征函数：



其中，参数值表示为：




且基于疲劳驾驶样本集提取以下特征：...

【专利技术属性】
技术研发人员：吴士力，朱兰，林若玺，唐志桥，刘奕贯，刘静，孙周，万彤，刘同乐，郭伟东，
申请(专利权)人：南京交通职业技术学院，
类型：发明
国别省市：江苏;32