The invention provides a driver yawning detection method based on fine facial action recognition, which comprises the following steps: Step 1, preprocessing the driver driving video captured by the vehicle camera, face detection and segmentation, image size normalization and denoising; step 2, proposing a key frame extraction algorithm, filtering through histogram similarity threshold and outlier similarity In step 3, according to the selected key frame, a 3D deep learning network (3D \u2011 LTS) with low time sampling rate is established to detect various yawning behaviors. In the invention, the key frame is extracted by the key frame extraction algorithm, and then the temporal and spatial characteristics and detection are extracted by the 3D \u2011 lts network It is superior to the existing methods in recognition rate and overall performance, which can effectively distinguish yawning and other facial movements, and effectively reduce the error detection rate of yawning behavior of drivers.
【技术实现步骤摘要】
基于细微面部动作识别的驾驶员打哈欠检测方法
本专利技术涉及计算机视觉
,具体为基于细微面部动作识别的驾驶员打哈欠检测方法。
技术介绍
智能驾驶包括提供预警信号,监控和协助车辆控制是近年来改善道路安全的热门研究话题。每年有数千人因驾驶员在车上睡着而死亡或严重受伤。道路安全受到驾驶员疲劳的严重威胁。美国国家公路交通安全管理局进行了调查,结果显示超过三分之一的受访者承认在驾驶时经历过疲劳。在疲劳驾驶事故中,10%的人承认他们在过去一个月和过去一年中发生过此类事故。研究人员发现,驾驶员疲劳导致了22%的交通事故。在没有任何警告的情况下,驾驶疲劳导致碰撞或接近碰撞的可能性是正常驾驶的六倍。因此,研究识别驾驶员疲劳的方法对于提高道路安全性非常重要。在过去的几十年中,提出了许多驾驶员疲劳检测方法,以帮助驾驶员安全驾驶并提高交通安全性。疲劳驾驶中驾驶员的行为特征包括眨眼,点头,闭眼和打哈欠。在这些行为中,打哈欠是疲劳表现的主要形式之一。因此,研究人员对打哈欠检测做了大量研究。与传统的全身动作识别相比,面部动作可以被视为细微的脸部动作。虽然许多研究人员提出了不同的方法来检测打哈欠,但他们仍然面临着巨大的挑战。由于在真实驾驶环境中复杂的驾驶员面部动作和表情,现有方法难以准确、稳健地检测打哈欠,特别是当有一些面部动作和表情的嘴部形变和打哈欠类似,极易发生错检。因此,面对驾驶环境的新特点、新挑战,如何快速而又准确的进行驾驶员打哈欠行为检测是我们需要研究的课题。
技术实现思路
本专利技术的目的为解决已存在的驾 ...
【技术保护点】
1.基于细微面部动作识别的驾驶员打哈欠检测方法,其特征在于:包括以下步骤:/n步骤1,对车载摄像机捕捉到的驾驶员驾驶视频进行预处理,进行人脸检测和分割,图像大小归一化和去噪;/n步骤2,提出关键帧提取算法,通过图片直方图相似度阈值筛选以及离群相似度图片剔除相结合的方法,来提取细微动作序列中的关键帧;/n步骤3,根据选择的关键帧,建立具有低时间采样率的3D深度学习网络(3D-LTS)以检测各种打哈欠行为。/n
【技术特征摘要】
1.基于细微面部动作识别的驾驶员打哈欠检测方法,其特征在于:包括以下步骤:
步骤1,对车载摄像机捕捉到的驾驶员驾驶视频进行预处理,进行人脸检测和分割,图像大小归一化和去噪;
步骤2,提出关键帧提取算法,通过图片直方图相似度阈值筛选以及离群相似度图片剔除相结合的方法,来提取细微动作序列中的关键帧;
步骤3,根据选择的关键帧,建立具有低时间采样率的3D深度学习网络(3D-LTS)以检测各种打哈欠行为。
2.根据权利要求1所述的基于细微面部动作识别的驾驶员打哈欠检测方法,其特征在于:所述对车载摄像机捕捉到的驾驶员驾驶视频进行预处理包括:采用Viola-Jones人脸检测算法进行驾驶员人脸区域的检测,分割出驾驶员面部区域,采用快速中值滤波法进行去噪处理。
3.根据权利要求1所述的基于细微面部动作识别的驾驶员打哈欠检测方法,其特征在于:所述关键帧提取算法从一系列原始的视频帧F={Fj,j=1,...,N}中提取一系列关键帧K={Ki,i=1,...,M};其中M表示从原始帧中选择的关键帧的数量,N表示原始帧的数量,所述关键帧提取算法包括两个选择阶段:
在第一选择阶段,计算每个视频帧的RGB颜色直方图;然后,利用欧氏距离计算两个连续帧的颜色直方图γj和γj+1之间的相似度:
其中,1≤j≤N-1,n是图片颜色直方图的维度;
通过公式(2)计算相似度阈值Ts:
Ts=μs(2)
其中,μs为Mean(S),S为Sj的集合,当Si>Ts时,认为Fj和Fj+1相似度较小,将Fj加入候选关键帧队列;
在第...
【专利技术属性】
技术研发人员:闵卫东,杨浩,韩清,熊辛,张愚,汪琦,
申请(专利权)人:南昌大学,
类型:发明
国别省市:江西;36
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。