基于细微面部动作识别的驾驶员打哈欠检测方法技术

本发明专利技术提供了基于细微面部动作识别的驾驶员打哈欠检测方法，包括以下步骤：步骤1，对车载摄像机捕捉到的驾驶员驾驶视频进行预处理，进行人脸检测和分割，图像大小归一化和去噪；步骤2，提出关键帧提取算法，通过图片直方图相似度阈值筛选以及离群相似度图片剔除相结合的方法，来提取细微动作序列中的关键帧；步骤3，根据选择的关键帧，建立具有低时间采样率的3D深度学习网络(3D‑LTS)以检测各种打哈欠行为，本发明专利技术通过关键帧提取算法提取细微动作的关键帧，然后通过建立的3D‑LTS网络，提取时空特征和检测各种面部细微动作；在识别率和整体性能方面优于现有方法，能有效区分打哈欠和其他面部细微动作，有效降低了驾驶员打哈欠行为的误检率。

Driver yawn detection method based on micro facial movement recognition

The invention provides a driver yawning detection method based on fine facial action recognition, which comprises the following steps: Step 1, preprocessing the driver driving video captured by the vehicle camera, face detection and segmentation, image size normalization and denoising; step 2, proposing a key frame extraction algorithm, filtering through histogram similarity threshold and outlier similarity In step 3, according to the selected key frame, a 3D deep learning network (3D \u2011 LTS) with low time sampling rate is established to detect various yawning behaviors. In the invention, the key frame is extracted by the key frame extraction algorithm, and then the temporal and spatial characteristics and detection are extracted by the 3D \u2011 lts network It is superior to the existing methods in recognition rate and overall performance, which can effectively distinguish yawning and other facial movements, and effectively reduce the error detection rate of yawning behavior of drivers.

【技术实现步骤摘要】
基于细微面部动作识别的驾驶员打哈欠检测方法
本专利技术涉及计算机视觉
，具体为基于细微面部动作识别的驾驶员打哈欠检测方法。
技术介绍
智能驾驶包括提供预警信号，监控和协助车辆控制是近年来改善道路安全的热门研究话题。每年有数千人因驾驶员在车上睡着而死亡或严重受伤。道路安全受到驾驶员疲劳的严重威胁。美国国家公路交通安全管理局进行了调查，结果显示超过三分之一的受访者承认在驾驶时经历过疲劳。在疲劳驾驶事故中，10％的人承认他们在过去一个月和过去一年中发生过此类事故。研究人员发现，驾驶员疲劳导致了22％的交通事故。在没有任何警告的情况下，驾驶疲劳导致碰撞或接近碰撞的可能性是正常驾驶的六倍。因此，研究识别驾驶员疲劳的方法对于提高道路安全性非常重要。在过去的几十年中，提出了许多驾驶员疲劳检测方法，以帮助驾驶员安全驾驶并提高交通安全性。疲劳驾驶中驾驶员的行为特征包括眨眼，点头，闭眼和打哈欠。在这些行为中，打哈欠是疲劳表现的主要形式之一。因此，研究人员对打哈欠检测做了大量研究。与传统的全身动作识别相比，面部动作可以被视为细微的脸部动作。虽然许多研究人员提出了不同的方法来检测打哈欠，但他们仍然面临着巨大的挑战。由于在真实驾驶环境中复杂的驾驶员面部动作和表情，现有方法难以准确、稳健地检测打哈欠，特别是当有一些面部动作和表情的嘴部形变和打哈欠类似，极易发生错检。因此，面对驾驶环境的新特点、新挑战，如何快速而又准确的进行驾驶员打哈欠行为检测是我们需要研究的课题。
技术实现思路
本专利技术的目的为解决已存在的驾驶员打哈欠行为检测算法无法有效区分一些特殊的打哈欠和类打哈欠行为的问题，比如唱歌时打哈欠等特殊打哈欠行为，大声喊叫等类打哈欠行为，提出基于细微面部动作识别的驾驶员打哈欠检测方法。为实现上述目的，本专利技术提供如下技术方案：基于细微面部动作识别的驾驶员打哈欠检测方法，包括以下步骤：步骤1，对车载摄像机捕捉到的驾驶员驾驶视频进行预处理，进行人脸检测和分割，图像大小归一化和去噪；步骤2，提出关键帧提取算法，通过图片直方图相似度阈值筛选以及离群相似度图片剔除相结合的方法，来提取细微动作序列中的关键帧；步骤3，根据选择的关键帧，建立具有低时间采样率的3D深度学习网络(3D-LTS)以检测各种打哈欠行为。进一步的，所述对车载摄像机捕捉到的驾驶员驾驶视频进行预处理包括：采用Viola-Jones人脸检测算法进行驾驶员人脸区域的检测，分割出驾驶员面部区域，采用快速中值滤波法进行去噪处理。进一步的，所述关键帧提取算法从一系列原始的视频帧F＝{Fj，j＝1，…，N}中提取一系列关键帧K＝{Ki，i＝1，…，M}；其中M表示从原始帧中选择的关键帧的数量，N表示原始帧的数量，所述关键帧提取算法包括两个选择阶段：在第一选择阶段，计算每个视频帧的RGB颜色直方图；然后，利用欧氏距离计算两个连续帧的颜色直方图γj和γj+1之间的相似度：其中，1≤j≤N-1，n是图片颜色直方图的维度。通过公式(2)计算相似度阈值Ts：Ts＝μs(2)其中，μs为Mean(S)，S为Sj的集合，当Sj＞Ts时，认为Fj和Fj+1相似度较小，将Fj加入候选关键帧队列。在第二个选择阶段，剔除候选关键帧中那些具有离群特征的候选关键帧图片，来得到最终的关键帧，使用两种图像相似度度量指标：欧氏距离(ED)和均方根误差(RMSE)，使用中值绝对偏差(MAD)来检测具有离群特征的帧，根据式(3)计算MAD：MAD＝median(|Xi-median(X)|)(3)将连续的两个候选关键帧记为Ki，i+1，对于所有的Ki，i+1，计算它们的RMSE和ED值，对于计算出的每一个RMSE(Ki，i+1)和ED(Ki，i+1)，计算它们的MAD值，记作α＝MAD(RMSE)，β＝MAD(ED)，RMSE(Ki，i+1)的计算公式如公式(4)所示，ED(Ki，i+1)的计算公式如公式(5)所示，当RMSE(Ki，i+1)小于α而且ED(Ki，i+1)小于β时，认为Ki是具有离群特征的候选关键帧，并将Ki移除候选关键帧。这里n代表Ki的尺寸。这里m代表候选关键帧的图片颜色直方图维度。进一步的，所述3D-LTS网络，用于时空特征提取和细微动作的识别，所述3D-LTS网络使用8个非超帧帧作为输入，使用四个3D卷积层从连续帧中提取时空特征，所有的卷积滤波器都是3×3×3，步幅为1×1×1，所有池层都是最大池，第一和第二汇集层的内核大小为1×2×2，前四个卷积层的滤波器数量分别为32，64，128和256，第三个池内核层为2×4×4，卷积层后面是一个完全连接的层，用于映射特征，使用一个具有1024个输出的完全连接层，用于集成特征的分布。与现有技术相比，本专利技术的有益效果是：本专利技术提出了一种基于细微面部动作识别的驾驶员打哈欠检测方法，首先，提出了一种两阶段的关键帧提取算法，该算法具有计算速度快且可以有效地从原始帧序列中提取细微动作的关键帧的优点；其次，本专利技术还提出了一种基于三维卷积网络的细微动作识别网络，用于提取时空特征和检测各种面部细微动作；本专利技术提出的方法在识别率和整体性能方面优于现有方法，能有效区分打哈欠和其他面部细微动作，有效降低了驾驶员打哈欠行为的误检率。附图说明图1为本专利技术基于细微面部动作识别的驾驶员打哈欠检测框架图；图2为本专利技术关键帧提取结果演示图；图3为二维卷积和三维卷积的比较图；图4为本专利技术提出的3D-LTS网络的结构图；图5为来自YawDDR数据集的一些帧样本；图6为YawDDR数据集中两种动作的一些图像序列(a)说话(b)打呵欠；图7为本专利技术高清摄像机及驾驶员位置图；图8为本专利技术MFAY数据集中三个面部动作的图像序列(a)打哈欠(b)唱歌(c)喊叫；图9为本专利技术MFAY数据集中的视频序列数图；图10为本专利技术方法和四种先进的方法在MFAY数据集上的检测结果图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步的详细说明。此处所描述的具体实施例仅用于解释本专利技术技术方案，并不限于本专利技术。本专利技术提供一种技术方案：基于细微面部动作识别的驾驶员打哈欠检测方法，其整体框架如图1所示，包括以下步骤：步骤1，对车载摄像机捕捉到的驾驶员驾驶视频进行预处理，进行人脸检测和分割，图像大小归一化和去噪；步骤2，提出关键帧提取算法，通过图片直方图相似度阈值筛选以及离群相似度图片剔除相结合的方法，来提取细微动作序列中的关键帧；步骤3，根据选择的关键帧，建立具有低时间采样率的3D深度学习网络(3D-LTS)以检测各种打哈欠行为。视频预处理是我们研究内容中的重要一步，由于驾驶员打哈欠检测涉及到驾驶员的疲劳驾驶，所以必须具有实时性的要求。必须采用更快更好的视频处理技术来对本文档来自技高网...

【技术保护点】
1.基于细微面部动作识别的驾驶员打哈欠检测方法，其特征在于：包括以下步骤：/n步骤1，对车载摄像机捕捉到的驾驶员驾驶视频进行预处理，进行人脸检测和分割，图像大小归一化和去噪；/n步骤2，提出关键帧提取算法，通过图片直方图相似度阈值筛选以及离群相似度图片剔除相结合的方法，来提取细微动作序列中的关键帧；/n步骤3，根据选择的关键帧，建立具有低时间采样率的3D深度学习网络(3D-LTS)以检测各种打哈欠行为。/n

【技术特征摘要】
1.基于细微面部动作识别的驾驶员打哈欠检测方法，其特征在于：包括以下步骤：
步骤1，对车载摄像机捕捉到的驾驶员驾驶视频进行预处理，进行人脸检测和分割，图像大小归一化和去噪；
步骤2，提出关键帧提取算法，通过图片直方图相似度阈值筛选以及离群相似度图片剔除相结合的方法，来提取细微动作序列中的关键帧；
步骤3，根据选择的关键帧，建立具有低时间采样率的3D深度学习网络(3D-LTS)以检测各种打哈欠行为。


2.根据权利要求1所述的基于细微面部动作识别的驾驶员打哈欠检测方法，其特征在于：所述对车载摄像机捕捉到的驾驶员驾驶视频进行预处理包括：采用Viola-Jones人脸检测算法进行驾驶员人脸区域的检测，分割出驾驶员面部区域，采用快速中值滤波法进行去噪处理。


3.根据权利要求1所述的基于细微面部动作识别的驾驶员打哈欠检测方法，其特征在于：所述关键帧提取算法从一系列原始的视频帧F＝{Fj，j＝1，...，N}中提取一系列关键帧K＝{Ki，i＝1，...，M}；其中M表示从原始帧中选择的关键帧的数量，N表示原始帧的数量，所述关键帧提取算法包括两个选择阶段：
在第一选择阶段，计算每个视频帧的RGB颜色直方图；然后，利用欧氏距离计算两个连续帧的颜色直方图γj和γj+1之间的相似度：



其中，1≤j≤N-1，n是图片颜色直方图的维度；
通过公式(2)计算相似度阈值Ts：
Ts＝μs(2)
其中，μs为Mean(S)，S为Sj的集合，当Si＞Ts时，认为Fj和Fj+1相似度较小，将Fj加入候选关键帧队列；
在第...

【专利技术属性】
技术研发人员：闵卫东，杨浩，韩清，熊辛，张愚，汪琦，
申请(专利权)人：南昌大学，
类型：发明
国别省市：江西;36