基于模糊评价的多源信息融合驾驶安全预警方法技术

本发明专利技术涉及驾驶安全技术领域，公开了一种基于模糊评价的多源信息融合驾驶安全预警方法；采用

【技术实现步骤摘要】
基于模糊评价的多源信息融合驾驶安全预警方法


[0001]本专利技术涉及驾驶安全
，具体涉及一种基于模糊评价的多源信息融合驾驶安全预警方法
。

技术介绍

[0002]随着社会经济的快速增长，汽车已成为生活中必不可少的交通工具，近年来汽车的增长也给道路交通安全问题带来了极大的隐患，诱发交通事故有多方面原因，主要包含车辆故障
、
危险道路和危险驾驶行为，其中危险驾驶行为构成因数较多，如何将多源信息进行采集分析，得出精准的结构，是需要解决的问题
。
[0003]驾驶员疲劳特性除了通过生理参数和驾驶车辆特征数据外，在驾驶员的人脸疲劳特征和分心驾驶行为上具有重要体现
。
而目前在多源信息融合领域的危险驾驶行为检测，主要是局部地对人脸多特征进行融合，或者对分心多特征进行融合，融合信息量较为局限；疲劳驾驶具体的表现形式有打哈欠
、
眨眼
、
头部姿态变化和视线偏移等，严重影响驾驶安全
。
现有技术中，针对基于多源信息融合的危险驾驶检测，主要有：
...

【技术保护点】

【技术特征摘要】
1.
一种基于模糊评价的多源信息融合驾驶安全预警方法，其特征在于，具体步骤为：步骤一：通过正面人脸图像采集单元采集驾驶人员人脸疲劳特征信息；步骤二：对采集的图像数据进行预处理；步骤三：采用
OpenCV
和
Dlib
算法，提取人脸
68
个特征点；步骤四：检测出人眼位置信息，计算眼睛横纵比值
EAR
，并统计单位周期内眨眼次数，并将眨眼频率
BF
，周期内闭眼帧数占比
ECR
，最长闭眼持续时间
MECT
传输到步骤九；步骤五：根据人脸特征点计算嘴部特征，依据嘴部横纵比值
MAR
计算嘴巴开合度，根据开合度大小和频率识别出哈欠动作，并将打哈欠频率
YF
传输到步骤九；步骤六：根据人脸对齐检测头部姿态俯仰角度，统计单位周期内点头次数和频率
NF
，识别出视线偏移特征数据，并将数据传输到步骤九；步骤七：通过侧面分心驾驶图像采集单元采集驾驶人员分心驾驶行为图像数据；步骤八：采用深度卷积神经网络模型
CBAM
‑
G
‑
Ghost
‑
YOLOv5
分析识别分心驾驶行为，并将数据传输到步骤九；步骤九：将眨眼
、
哈欠和头部姿势的疲劳驾驶数据进行底层特征融合，再将分心驾驶行为数据与底层特征进行融合，构建顶层融合模型，该分心驾驶行为包括打电话
、
喝水
、
看手机
、
整理头发和化妆；步骤十：根据层次分析法对眨眼频率
BF、
周期内闭眼帧数占比
ECR、
最长闭眼持续时间
MECT、
打哈欠频率
YF
和点头次数和频率
NF
五项人脸疲劳特征子集求取权重系数，同时采用模糊综合评价分别对人脸特征子集和分心特征进行模糊化，对五项人脸疲劳特征构造隶属度函数，最后将人脸特征子集和分心特征通过
D
‑
S
融合算法进行决策层融合，根据融合结果划分危险等级，最终识别出危险驾驶行为
。2.
根据权利要求1所述基于模糊评价的多源信息融合驾驶安全预警方法，所述步骤二具体为：
2.1、
输入采集图像数据；
2.2、
采用高斯滤波对图像进行滤波处理；
2.3、
对图像进行灰度化处理；
2.4、
采用直方图均衡化对图像进行对比增强
。3.
根据权利要求1所述基于模糊评价的多源信息融合驾驶安全预警方法，所述步骤三具体为：
3.1、
调用
Dlib
库中的预测器对人脸轮廓外部特征的
68
个点进行标定；
3.2、
采用
OpenCV
对图像预处理，在单帧人脸图像描绘
68
个点，并标明序号
。4.
根据权利要求3所述基于模糊评价的多源信息融合驾驶安全预警方法，所述步骤四具体为：利用
PERCLOS
作为眨眼率的评价标准，通过
Dlib
库描绘的
68
个特征点，利用
OpenCV+Dlib
对视频流进行人脸特征提取，检测出人眼的位置信息，根据人眼特征点计算眼睛横纵比
EAR
，根据眼睛开合度进而统计眨眼频率
BF
，单位周期内眨眼次数占比
ECR
和最长闭眼时间
MECT
；其中眨眼特征检测具体为，采用公式计算眼睛长宽比，公式如下：
其中
P1
和
P4
为眼睛图像横向两端的点，
P2
和
P3
为眼睛图像上眼皮的点，
P5
和
P6
为眼睛下眼皮的点，并且
P2
和
P6
对应在一条直线上，
P3
和
P5
对应在一条直线上；通过将人眼开合度与时间维度进行关联，对单位周期内眨眼次数进行统计，得到闭眼
、
正常眨眼和疲劳性眨眼的数据
。5.
根据权利要求1所述基于模糊评价的多源信息融合驾驶安全预警方法，所述步骤五具体为：计算嘴部横纵比值
MAR
，具体公式如下；其中，
y
51
和
y
53
为上嘴唇最高点的纵坐标，
y
59
和
y
57
为下嘴唇的最低点纵坐标，
x
49
和
x
55
为嘴唇左右两边最外沿的横坐标；通过连续帧统计嘴部开合度对应的
MAR
值，连续采集一段有效值，对嘴部的不同开合度进行数据分析，统计单位周期内打哈欠频率
YF
，依据不同持续时间和开合度频率特征对嘴部说话检测和哈欠检测进行有效区分
。6.
根据权利要求1所述基于模糊评价的多源信息融合驾驶安全预警方法，所述步骤六具体为：在世界坐标系中，
P
点坐标为
(X
，
Y
，
Z)
，可以指定任意坐标轴；在相机坐标系中，由
X
c
、Y
c
、Z
c
构成相机坐标系，
Z
轴与径向轴重合；在图像坐标系中，由
x、y、z
构成图像坐标系，
xy
面与投影面重合，原点与成像小孔重合；在像素坐标系中，
uv
构成像素坐标系，其平面与投影面重合，原点位于左上角；相机在成像过程中其原理为小孔成像，各类坐标系的转换过程需要将相机参数融入其中，在图像处理过程中才能够得到真实的图像参数值，其中
M
为相机内参数矩阵，
R
为旋转矩阵，
t
为平移矩阵，
z
const
为目标点在世界坐标
Z
方向的值，
s
为缩放系数；展开可得：其中等式右侧第一个矩阵为相机内部参数，第二个矩阵为相机外部参数，
f
x
和
f
y
分别为像素描述的
x
和
y
轴方向焦距长度，
c
x
和
c
y
分别为
x
和
y
轴方向坐标主点相对原点的偏移，
r
和
t
分别为旋转矩阵和平移矩阵对应的内置参数，公式变换可得：
在头部姿态识别过程，经过四类坐标系相互转换，对头部姿态的三个维度进行转换计算，即
Yaw
为偏航角，
Roll
为翻滚角，
Pitch
为俯仰角，采用
3D
人脸匹配
(3DMM)
对人脸匹配定位和头部姿态检测，针对目标拟合成对应的
3D
模型，将旋转向量转换为欧拉角，先由旋转向量转化为旋转矩阵，再由旋转矩阵转化为欧拉角，欧拉角是驾驶员头部姿态估计的重要依据；通过连续帧统计头部姿态三个维度对应的偏移量，即
Pitch
‑
X、Yaw
‑
Y
和
Roll
‑
Z
，三个维度的偏移量以人脸初始位置为零点参照，头部姿态偏移量进行实验数据分析，俯仰角
Pitch
在驾驶员视线偏移上危险程度最高，头部俯仰时视线偏移最严重，也是最危险的驾驶行为，而偏航角
Yaw
和翻滚角
Roll
作为人脸检测的参照值，选择采集图像一整段有效值对应头部姿态变化的偏移量，生成以头部姿态偏移量为纵坐标，帧数为横坐标的头部姿态变化过程分析图，分析俯仰角对应参数值
Pitch
‑
X
，统计单位周期内点头频率
NF
，为多源信息融合提供参数依据
。7.
根据权利要求1所述基于模糊评价的多源信息融合驾驶安全预警方法，其特征在于：所述步骤八中采用深度卷积神经网络
CBAM
‑
G
‑
Ghost
‑
YOLOv5
分析识别分心驾驶行为的步骤为：在所述
G
‑
Ghost
模型结构中，骨干网络的卷积神经网络设定有
n
块结构，记为

【专利技术属性】
技术研发人员：柏俊杰，蔡剑锋，汪非同，柏俊波，唐德东，李佳洁，周涛琪，李飞，李力，廖旭，
申请(专利权)人：上海易咖智车科技有限公司，
类型：发明
国别省市：