一种基于深度集成网络的视频驾驶员疲劳检测方法技术

本发明专利技术涉及了一种基于深度集成网络的视频驾驶员疲劳检测方法，框架包含风格迁移模块、人脸关键点检测模块和分类模块，风格迁移模块由一个编解码生成网络构成，用于复原输入红外视频帧的颜色信息，输出彩色视频帧；人脸关键点检测模块采用全卷积神经网络结构，以红外视频帧和风格迁移模块生成的彩色视频帧作为输入，对人脸关键点进行定位并输出掩膜特征图；分类模块由一个3D卷积神经网络组成，集成红外视频序列的时空信息、彩色视频序列的颜色信息、和掩膜特征序列的显著性信息，判定驾驶员疲劳状态。相比现有的疲劳驾驶检测算法，本发明专利技术检测率高，误报率低，可用于红外监控视频下的驾驶员疲劳检测。发明专利技术在智能交通领域有重要的应用价值。

【技术实现步骤摘要】
一种基于深度集成网络的视频驾驶员疲劳检测方法
本专利技术属于图像处理和模式识别领域，涉及一种基于深度集成网络的视频驾驶员疲劳检测方法。
技术介绍
疲劳驾驶是指驾驶员在长时间持续驾驶后所出现的生理机能下降现象，从而出现注意力下降并无法正常操控车辆。世界卫生组织的调研显示2018年有135万人死于交通事故，这其中疲劳驾驶是导致事故的重要因素之一，占总死亡的6％。因此驾驶员疲劳检测系统的开发在公共交通安全领域有十分重要的应用价值。在早期的监测系统中，汽车传感器通常可以用来监测汽车的速度，脚踏板压力，反向盘的握力等。然而汽车传感器对异常信号的检测通常滞后于驾驶员的实际疲劳状态。随着计算机视觉技术的发展，基于视频的驾驶员疲劳检测算法逐渐成为研发主流。在视频监测系统中，车载红外摄像头捕捉驾驶员脸部信息并通过视频处理技术自动分析驾驶员疲劳程度。现有的基于视频的驾驶员疲劳检测算法的主要问题包括：(1)驾驶员疲劳的表现呈现多样性，如闭眼、打哈欠、神态恍惚等，通用的人工设计特征难以克服较大的类内方差。(2)红外摄像头可以通过红外光捕捉夜间驾本文档来自技高网...

【技术保护点】
1.一种基于深度集成网络的视频驾驶员疲劳检测方法，其特征在于，包括下列步骤：/n步骤1：构建疲劳驾驶检测数据集，使用台湾交通大学公开的NTHU-DDD驾驶员疲劳检测数据集，将该数据集的360个训练视频全部用于训练深度集成网络，其余的20个视频用于模型测试；/n步骤2：设计人脸检测跟踪算法，结合人脸检测和目标跟踪获得视频帧每一帧的人脸区域，在视频的初始帧，MTCNN网络用于检测人脸，后续帧中，核相关滤波算法跟踪人脸区域；/n步骤3：构建风格迁移模块，该模块由一个编解码生成网络构成，用于复原输入红外视频帧的颜色信息，输出彩色视频帧；/n步骤301：使用CycleGAN模型在LFW人脸数据集上进行预...

【技术特征摘要】
1.一种基于深度集成网络的视频驾驶员疲劳检测方法，其特征在于，包括下列步骤：
步骤1：构建疲劳驾驶检测数据集，使用台湾交通大学公开的NTHU-DDD驾驶员疲劳检测数据集，将该数据集的360个训练视频全部用于训练深度集成网络，其余的20个视频用于模型测试；
步骤2：设计人脸检测跟踪算法，结合人脸检测和目标跟踪获得视频帧每一帧的人脸区域，在视频的初始帧，MTCNN网络用于检测人脸，后续帧中，核相关滤波算法跟踪人脸区域；
步骤3：构建风格迁移模块，该模块由一个编解码生成网络构成，用于复原输入红外视频帧的颜色信息，输出彩色视频帧；
步骤301：使用CycleGAN模型在LFW人脸数据集上进行预训练，获得灰度图像域X与彩色图像域Y之间的两个映射，分别记为：X→Y→X,Y→X→Y；CycleGAN模型包含两个编解码生成网络GXY,GYX,两个判别网络DX,DY；给定灰度图像x(x∈X)，生成网络GXY可以将灰度图像x映射为对应的彩色图像GXY(x)，而生成网络GYX对生成的彩色图像进行复原并输出重构图像GYX(GXY(x))，判别网络DY区分生成的彩色图像GXY(x)和真实彩色图像y(y∈Y)；给定彩色图像y(y∈Y)，生成网络GYX可以将彩色图像y映射为对应的灰度图像GYX(y)，而生成网络GXY对生成的灰度图像进行复原并输出重构图像GXY(GYX(y))，判别网络DX区分生成的灰度图像GYX(y)和真实灰度图像x(x∈X)；
步骤302：读取步骤301中预训练编解码生成网络模型GXY的参数，用于图像风格迁移。将红外人脸视频帧送入GXY中，输出生成的彩色人脸视频帧，该过程定义为：
IC＝GXY(II|θgen)(1)
其中II表示红外视频帧，θgen为编解码生成网络的相关参数，IC表示输出的彩色视频帧；
步骤4：构建人脸关键点检测模块，该模块采用全卷积神经网络结构，以红外视频帧和风格迁移模块生成的彩色视频帧作为输入，对人脸关键点进行定位并输出掩膜特征图；
步骤401：人脸关键点检测模块以MobileNet-V2作为骨架网络，输入包含红外视频帧II，彩色视频帧IC，该模型的第一层为基础卷积层，中间层结合深度可分离卷积和残差学习加速特征提取，最后一层对红外帧特征图和彩色帧特征图进行通道堆叠，并通过卷积运算得到人脸68个关键点对应的热区图该过程定义为：



其中II表示红外视频帧，IC表示输出的彩色视频帧，θmob为MobileNet-V2模型的相关参数，表示人脸关键点热区图的预测值；
步骤402：采用双线性插值对预测的关键点热区图进行上采样，接着通过argmax函数获得人脸关键点所对应的坐标值，该运算表示为：



其中表示第i个关键点所对应的热区图，为第i个关键点所对应的坐标；
步骤403：通过高斯核函数将人脸关键点映射为掩膜特征图，该运算表示为：



其中为第i个关键点所对应的坐标，G表示高斯核函数，σ2为其对应的方差，IM表示生成的掩膜特征图；
步骤5：构建分类模块，该模块由一个3D卷积神经网络组成，集成红外视频序列的时空信息、彩色视频序列的颜色信息、和掩膜特征序列的显著性信息，判定驾驶员疲劳状态，对于给定的连续相邻T帧红外人脸序列通过步骤3输出生成的彩色人脸序列通过步骤4输出掩膜特征序列分类模块的输入为VI，VC，VM，其中红外人脸序列VI和彩色人脸序列VC送入一个参数共享的时空卷积分支中提取时空信息和颜色信息，掩膜特征序列VM送入另一个单独的时空卷积分支中提取显著性信息，随后伪3D卷积分支对两个时空卷积分支的输出特征图进行级联和下采样操作，即分解3×3×3时空卷积为1×3×3的空间卷积和3×1×1的时间卷积，加速特征提取运算，So...

【专利技术属性】
技术研发人员：路小波，胡耀聪，陆明琦，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32