L3制造技术

本发明专利技术涉及一种

【技术实现步骤摘要】
L3级自动驾驶车辆驾驶员非驾驶姿态识别方法与系统


[0001]本专利技术属于交通安全领域，具体涉及一种
L3
级自动驾驶车辆驾驶员非驾驶姿态识别方法与系统
。

技术介绍

[0002]自动驾驶技术的蓬勃发展有效缓解了驾驶员的驾驶压力，在
L3
级自动驾驶中，驾驶员可在车辆运行过程中执行非驾驶相关任务，处于不同的非驾驶姿态
。
然而，这也会影响驾驶员接管自动驾驶车辆，因此有必要对驾驶员的非驾驶姿态进行识别，以提高自动驾驶车辆的安全性和可靠性
。
[0003]现阶段针对驾驶员行为识别主要集中在非自动驾驶车辆驾驶状态识别，自动驾驶时驾驶员的姿态与非自动驾驶车辆驾驶员有很大不同
。
现有的驾驶员姿态识别多采用强化学习
、
深度学习以及图卷积神经网络等方法，实时性弱且精度有待提高
。

技术实现思路

[0004]本专利技术的目的在于解决上述问题，进而提出一种
L3
级自动驾驶车辆驾驶员非驾驶姿态识别方法与系统
...

【技术保护点】

【技术特征摘要】
1.
一种
L3
级自动驾驶车辆驾驶员非驾驶姿态识别方法，其特征在于，包括以下步骤：步骤一
、
实时监测并采集驾驶员的非驾驶姿态视频数据；步骤二
、
提取非驾驶姿态局部特征数据；步骤三
、
对非驾驶姿态全局特征进行分类；步骤四
、
对非驾驶姿态全局特征进行识别
。2.
根据权利要求1所述的
L3
级自动驾驶车辆驾驶员非驾驶姿态识别方法，其特征在于，步骤一中，对驾驶员非驾驶姿态进行实时记录，记录驾驶员的上半身姿态，以及记录驾驶员在车辆行驶过程中脚距离踏板的距离
。3.
根据权利要求1所述的
L3
级自动驾驶车辆驾驶员非驾驶姿态识别方法，其特征在于，步骤二中，根据采集到的数据进行非驾驶姿态局部特征提取，对头部姿态提取方法如下：首先进行面部关键点检测，选择人脸关键点作为研究对象；图像坐标系和世界坐标系的关系如式
(1)
所示：式中，
R
为旋转矩阵，
T
为平移矩阵，
(X,Y,Z)
为世界坐标系中的点，
(U,V,W)
为图像坐标系中的点，
s
为深度，为目标点在相机坐标系
Z
方向的值；相机坐标系转换到图像中心坐标系如式
(2)
所示：式中，
(X,Y,Z)
为相机坐标系中的点，
(u
，
v)
为图像坐标系中的点；图像中心坐标系转换到图像坐标系如式
(3)
所示：式中，
(x,y)
为图像中心坐标系中的点，
(u,v)
为图像坐标系中的点；利用
3D Morphable Model
拟合
3D
脸部模型，通过
OpenCV
得到旋转矩阵，利用罗德里格旋转公式求解出相应的旋转角度；绕
Y
轴旋转运动角度为
α
，绕
Z
轴旋转运动角度为
β
，绕
X
轴旋转运动角度为
γ
；将
(
α
:
‑3～0，
β
:
‑3～1，
γ
:
‑1～
1)
范围内的头部姿态归集为正前方；将
(
α
:
‑
10
～
‑5，
β
:
‑
15
～
‑5，
γ
:8
～
15)
范围内的头部姿态归集为朝向右下方；将
(
α
:5
～
15
，
β
:10
～
25
，
γ
:
‑2～
11)
范围内的头部姿态归集为左方
。4.
根据权利要求1所述的
L3
级自动驾驶车辆驾驶员非驾驶姿态识别方法，其特征在于，步骤二中，根据采集到的数据进行非驾驶姿态局部特征提取，对眼部特征提取方法如下：首先，连接相机源点与瞳孔中心，得到直线与眼球球面的交点；直线的表达方程如式
(4)
所示：
式中，相机源点为
O
c
，瞳孔中心为
T
，眼球中心点为
E
，眼球半径为
R
，中心凹为点
P
，眼睛特征点都可以由
3D
模型得到；中心凹点
P
的约束方程如式
(5)
所示：
(X
‑
X
E
)2+(Y
‑
Y
E
)2+(Z
‑
Z
E
)2＝
R
2 (5)
由中心凹发出的射线经过瞳孔中心就是视轴的估计方向；对眼睛的开合度进行检测，对检测到的眼睛关键节点进行高宽比计算；眼睛高宽比的计算公式如式
(6)
所示：
EAR
小于
80
％就算一次眼睛闭合，眨眼频率如式
(7)
所示：式中，
f
表示眨眼频率，
F
close
表示单位时间里面眨眼的帧数，
F
表示为单位时间里面的总帧数；计算判断眼睛闭合的眼睛纵横比阈值如式
(8)
所示：
EAR
close
＝
(EAR
max
‑
EAR
min
)
×
(1
‑
x)+EAR
min (8)
式中，
EAR
close
是判断眼睛闭合的眼睛纵横比阈值；
EAR
max
是最大张度；
EAR
min
是最小张度，
x
是眼睛睁开程度；根据检测到的
EAR
值可以判定连续3帧低于
0.18
则可以判定为一次眨眼
。5.
根据权利要求1所述的
L3
级自动驾驶车辆驾驶员非驾驶姿态识别方法，其特征在于，步骤二中，根据采集到的数据进行非驾驶姿态局部特征提取，手部姿态提取方法如下：在
OpenPose
中，将原始图像作为分支第一阶段输入的特征图
F
；第一阶段有两个分支，第一个分支会输出关键点置信图
S1＝
ρ1(F)
，第二分支输出关节矢量场集合
L1＝
φ1(F)
，输出如式
(9)
和式
(10)
所示：所示：式中，
ρ1和
φ1表示第一阶段的
CNN
网络，
t
为阶段数，输出关键点置信图
S
中包含
J
个置信图，代表
J
个关键点，关节矢量场集合
L
中包含
C
个矢量场，代表
C
个肢干；第
t
阶段的两个损失函数如式
(11)
和式
(12)
所示：
式中，
S
*j
、L
*c
分别表示两个分支中真实的关键点置信图和关键点连接向量，
W(p)
是布尔值，当位置
p
在图像中没有标注时，布尔值为0，否则为1；整个模型的损失函数
f
如式
(13)
所示：对于图像中每个像素点
p
，其真实的置信度
S
*j
，
k
(p)
如式
(14)
所示：式中，
x
j
，
k
为第
k
个人的第
j
个关节点的真实位置，
σ
是模型参数，设定置信度的峰值范围；当不同关节点的置信度峰值在像素点
p
上存在重复和交叉时，取最大的关键节点置信度值，如式
(15)
所示：式中，
S
*j
(p)
表示图像真实的置信度，维度为
W*H*j
，
W、H
为输入图像的大小；对于关节点
d
j2
和
d
j1
的相关性如式
(16)
和式
(17)
所示：
p(u)
＝
(1
‑
u)d
j1
+ud
j2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
式中，
p(u)
表示关节点
d
j1
和
d
j2
之间的点采样，
L
c
(p(u))
表示肢体
c
在
p(u)
的
PAF
值，
u
表示比例系数；当
L
c
(p(u))
和...

【专利技术属性】
技术研发人员：马艳丽，徐小鹏，郭蓥蓥，张议文，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：