一种基于多源信息融合的驾驶员行为识别方法技术

本发明专利技术提供了一种基于多源信息融合的驾驶员行为识别方法，其特征在于：包括：步骤1.获取从驾驶模拟器中记录的有关驾驶员行为的图像或视频以及车辆运动状态数据；步骤2.将处理后驾驶员行为数据输入到微调的Vision Transformer第一子模型中，输出四种驾驶行为类别的概率矩阵P1；步骤3.对同步记录的车辆运动状态数据进行预处理后，输入到训练好的Bi

【技术实现步骤摘要】
一种基于多源信息融合的驾驶员行为识别方法


[0001]本专利技术涉及一种人机共驾领域，具体涉及一种基于多源信息融合的驾驶员行为识别方法。

技术介绍

[0002]汽车是目前最常用的出行交通工具，随着汽车数量的增多，交通事故的发生更加频繁。其中，不规范的驾驶行为存在着严重的安全隐患，也是超过80％的交通事故发生的主要原因。因此对驾驶员的驾驶行为进行监测具有极其重要的应用价值，若能识别出驾驶员不安全驾驶行为，及时预警驾驶员在驾驶过程中潜在的危险，将进一步增强车辆安全的主动性。
[0003]此外，尽管汽车智能化技术正迅猛发展，但是真正意义上的全工况自动驾驶在短期内很难实现。因此，在未来很长一段时期内，智能汽车必然面对人机协同控制的局面，届时驾驶员行为识别将作为人机协同控制权分配的重要依据。公开的现有驾驶员意图识别方法多是使用Adaboost算法训练弱分类器或卷积神经网络相关变体的的视觉模型，如专利CN 106682602 B中公开的方法基于HOG特征，利用Adaboost算法级联弱分类器，难以适应复杂场景下的准确识别；专利CN 11252894本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源信息融合的驾驶员行为识别方法，其特征在于：包括以下步骤步骤1.获取从驾驶模拟器中记录的有关驾驶员行为动作的图像或视频，以及车辆运动状态数据；步骤2.对摄像头采集到的有关驾驶员行为动作的图像或视频进行预处理，将处理后驾驶员行为图像输入到微调的Vision Transformer模型中，输出第一子模型对t时刻的图像输入样本x
t
关于四种驾驶行为类别的概率输出矩阵P1[p
11
(x
t
) p
12
(x
t
) p
13
(x
t
) p
14
(x
t
)]；其中，p
11
(x
t
)、p
12
(x
t
)、p
13
(x
t
)、p
14
(x
t
)分别是是第一子模型判断当前样本x
t
为第一类驾驶行为、第二类驾驶行为、第三类驾驶行为和第四类驾驶行为的概率值；其中：第一类驾驶行为是正常驾驶，第二类驾驶行为是分心驾驶，第三类驾驶行为是疲劳驾驶，第四类驾驶行为是激进驾驶；步骤3.对驾驶模拟器中同步记录的车辆运动状态数据进行预处理后，输入到训练好的Bi
‑
LSTM模型中，输出第二子模型对t时刻的信号输入样本y
t
关于四种驾驶行为类别的概率输出矩阵P2[p
21
(y
t
) p
22
(y
t
) p
23
(y
t
) p
24
(y
t
)]；其中，p
21
(y
t
)、p
22
(y
t
)、p
23
(y
t
)、p
24
(y
t
)分别是是第二子模型判断当前样本y
t
为第一类驾驶行为、第二类驾驶行为、第三类驾驶行为和第四类驾驶行为的概率值；步骤4.对从步骤2和步骤3得到的概率输出矩阵P1和P2进行计算得到信息熵，进而实现对多源信息模型赋予自适应的融合权重，最后对不同子模型的Softmax函数输出概率值进行自适应熵加权决策融合，从而实现四种驾驶行为的最终分类。2.根据权利要求1所述的基于多源信息融合的驾驶员行为识别方法，其特征在于：步骤1通过以下方式实现：步骤1.1.布置好摄像头、显示屏，将摄像头置于驾驶员右前方；显示屏需不少于三块，以一定角度面向试验人员摆放，具体位置以试验人员驾驶体验为准进行调整，显示屏中需呈现驾驶室正面视野以及两侧后视镜的视野；步骤1.2.布置完硬件设备后，使用驾驶模拟器配套的场景建模软件依据行为识别种类的需求构建驾驶场景；步骤1.3.安排不少于5名拥有驾照的志愿者分别在驾驶模拟器上完成各个场景的驾驶任务，志愿者需根据不同场景做相应的操纵动作；步骤1.4.驾驶模拟器记录的车辆运动状态数据包括时间戳、车辆的行驶速度、三轴加速度、三轴旋转角以及航向和航向变化。3.根据权利要求1所述的基于多源信息融合的驾驶员行为识别方法，其特征在于：步骤2通过以下方式实现：步骤2.1.将当前t时刻记录的有关驾驶员行为视频进行抽帧，将多帧图像按照各帧图像的时间顺序组合后，以驾驶员为中心区域进行...

【专利技术属性】
技术研发人员：陈慧勤，刘昊，陈海龙，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：