基于面部骨架模型的疲劳检测系统、方法、介质、检测设备技术方案

本发明专利技术公开一种基于面部骨架模型的驾驶疲劳检测系统、方法、介质、检测设备，涉及图象识别技术领域利用人体姿态检测模型对获得的图像进行识别；通过针孔相机模型对获得的识别图像进行3D骨骼化，利用人脸检测模型进行头部姿态特征的提取、脸部特征的提取，利用提取到的头部和脸部的姿态特征，计算出疲劳特征；利用分类器对得到的疲劳特征进行检测，获取疲劳检测模型，利用所述疲劳检测模型对疲劳进行分级判定，并利用APP与用户进行交互。本发明专利技术对疲劳行为进行分析，提取疲劳识别的特征，利用随机森林算法，得到了融合多疲劳特征的疲劳检测模型。在树莓派上实现了整个系统，完成了后端和APP端的开发，整个疲劳检测系统有较高的完整性。整性。整性。

【技术实现步骤摘要】
完成了对于疲劳识别特征的提取，在比较了几种机器学习算法之后，利用随机森林训练出了 基于多疲劳特征融合的随机森林疲劳检测模型，最后为系统进行了后端的设计和前端APP 的开发，完成了整个疲劳检测系统的实现。

技术实现思路

[0010]为克服相关技术中存在的问题，本专利技术公开实施例提供了一种基于面部骨架模型的疲劳 检测系统、方法、介质、检测设备。
[0011]本专利技术的目的就是实现一个基于面部骨架模型的疲劳驾驶检测系统，用来检测驾驶人的 实时情况。当驾驶人在行驶过程中，若系统发现驾驶人有疲劳驾驶的行为，系统会经过判断 发出预警，给予驾驶人提醒。这样做的目的是可以防止交通事故的发生，有效降低交通事故 的发生率，保护驾驶人以及路人的交通安全。若事故一旦发生，交警可以利用此系统判断事 故的发生原因，有效的解决疲劳驾驶难以认定的问题，有助于通过法律的手段减少疲劳驾驶。
[0012]本专利技术目的还在于：(1)建立人体骨架模型。对人体的深度信息和关键点信息进行提取 结合，通过相机的内参和坐标转化公式，得到人体骨架模型，对人体骨架模型进行调整，完 成人体骨架模型的建立本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面部骨架模型的驾驶疲劳检测方法，其特征在于，所述基于面部骨架模型的驾驶疲劳检测方法包括：步骤一，通过摄像设备获取驾驶员实时的RGB图像和深度图像，利用OpenPose人体姿态检测模型对获得的图像进行识别；步骤二，通过针孔相机模型对获得的识别图像进行3D骨骼化，利用OpenFace人脸检测模型进行头部姿态特征的提取、脸部特征的提取，利用提取到的头部和脸部的姿态特征，计算出疲劳特征；步骤三，利用分类器对得到的疲劳特征进行检测，获取疲劳检测模型，利用所述疲劳检测模型对疲劳进行分级判定，并利用APP与用户进行交互、提醒。2.根据权利要求1所述基于面部骨架模型的驾驶疲劳检测方法，其特征在于，所述步骤一深度图像的获取包括：采用D435深度摄像头完成深度数据的采集，将配置好config并通过pipe进行流式传输获得采集到的深度图像和彩色图像，设置获得的图像像素比为480*640，fps为30，通过时间戳将深度图像和彩色图像进行对齐，对于丢失深度信息的帧进行补全和丢弃，完成数据的实时采集；利用OpenPose人体姿态检测模型对获得的图像进行识别包括：第一步，获取人体关键点坐标：基于caffe框架搭建的cnn卷积神经网络，对摄像头的视频流进行实时的检测得到人体的二维骨架化图象；第二步，对第一步得到人体的二维骨架化图象进行识别：(1)先识别出图像中可能存在的所有关键点，输出方式通过feature map，然后在输出各个关键点之间可能的连接情况，输出方式为关节亲和场PAFS；(2)利用VGGNet前10层进行特征的提取，经过heatmap和pafs预测网络，该网络总共有上下两个层次，每个层次都是6个阶段进行不断的微调，且每个阶段都会将feature maps进行生成和融合；(3)在完成融合后，confidence map为一个2D形式，如果图中只有一个人，confidence map只出现一个峰值，当图像中有多个人时，对于每一个人的每一个可见关键点在对应的confidence map都有一个峰值；进行多人姿态估计时，图中关键点之间存在的关系可能存在很多种可能，检测到的所有人体骨骼之间都存在着估计两个关节部位连接PAFS；(4)对于关键点，用PAFS的亲和场部件，结合人体的姿态形式，维持各个躯干之间的相对关系。3.根据权利要求1所述基于面部骨架模型的驾驶疲劳检测方法，其特征在于，所述步骤二所述3D骨骼化包括：利用OpenPose人体姿态检测模型识别出驾驶员上半身的特征点进行姿态的识别；利用D435深度摄像头进行检测时，同时得到一帧对齐的RGB和深度图像，利用深度摄像头检测到的深度信息，将OpenPose人体姿态检测模型识别出的人体关键点2D坐标和对应位置的深度信息进行结合，得到人体关键点的三元组，每一个三元组前两个元素代表人体关键点的x和y坐标，第三个元素代表此位置对应的深度信息；如果这个三元组的每个值均为
‑
1.00，则代表OpenPose检测这帧图像时，失去了对于此个关键点的检测，全部设为
‑
1.00进
行表示；将利用姿态识别模型得到的2D关键点坐标和深度摄像头采集到的深度信息进行保存，通过D435的相机内参，将数据转换成三维的坐标点，获得更为真实的人体姿态信息，相机的变化内参有：camera_factor、camera_cx、camera_cy、camera_fx以及camera_fy,变换使用针孔相机模型，通过深度和2D坐标将拍摄到的物体进行3D还原；将转化后的人体3D关键点坐标进行保存，获得转化后得到的多个人体3D关键点坐标信息；对得到的多个人体3D关键点坐标信息骨架图进行旋转，将3D骨架化的图形旋转到正面，具体包括：首先从人体的臀部和脖子之间的中心点开始，将中心点平移到原点上，在这个原点的基础上围绕着x、y、z三条轴进行旋转，绕轴旋转的旋转矩阵公式如下所示，分别是绕x轴、y轴、z轴逆时针旋转的公式；z轴逆时针旋转的公式；z轴逆时针旋转的公式；4.根据权利要求1所述基于面部骨架模型的驾驶疲劳检测方法，其特征在于，所述步骤二利用OpenFace人脸检测模型进行头部姿态特征的提取包括：定义1：前屈角α1定义为脖子和鼻子组成的向量与y轴法线组成的夹角，这个特征用来检测当疲劳时常常出现的频繁点头和长时间的低头动作，计算公式如：定义2：肩部角α2定义为脖子和左右肩部两个向量的夹角，当重度疲劳时常常会伴随着大幅度的左右歪头，这个特征用来检测疲劳时人的歪头的动作，计算公式如公式定义3：肩脖比RATE定义为肩膀的宽度与脖子长度的比值，检测到的肩膀的宽度不会发生较大的变化，而脖子的长度会由于低头动作发生较大的浮动，用这个比值来表示驾驶员在疲劳时的低头动作，计算公式如公式所述面部特征点的提取包括：根据OpenFace人脸检测模型得到人...

【专利技术属性】
技术研发人员：丁德琼，胡鑫，孟升亚，初佃辉，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：