一种基于多源信息融合的驾驶行为预测方法技术

本发明专利技术公开了一种基于多源信息融合的驾驶行为预测方法，通过有经验驾驶员获取交通场景图

【技术实现步骤摘要】
一种基于多源信息融合的驾驶行为预测方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于多源信息融合的驾驶行为预测方法
。

技术介绍

[0002]每年都有许多人因为交通事故死亡
。2015
年中国就有超过
22.6
万人死于交通事故，其中大部分事故是由于机动车驾驶策略不当造成的
。
驾驶行为预测是高级驾驶辅助系统
(Advanced Driver Assistance Systems)
中的重要任务，不仅可以有效提升驾驶安全问题，还可以促进城市交通管理和智慧出行的发展
。
比如高级驾驶辅助系统在司机做出危险动作前及时提醒他们，这样就可以避免许多这样的交通事故
。
[0003]现有模型中，有的模型利用位置
、GPS、
惯性测量单元
(Inertial Measurement Unit
，
IMU)
和里程计数据来了解司机的意图
。
有的模型使用了来自控制器局域网
(CAN)
总线的车辆速度测量和利用红绿灯感知数据预测制动行为
。
然而，预测未来的驾驶动作不仅是一个驾驶数据驱动的任务，而且也是一项重要的驾驶员认知驱动任务
。
仅依靠驾驶数据驱动的模型往往在训练集所包含的场景上表现良好，但是一旦遇到一个全新的或者稍有差异的场景，模型的预测性能往往会崩溃或大幅下降
。
还有的模型虽然也使用了驾驶员认知驱动数据，但是却是基于车内的记录仪视频进行预判，车内的记录仪视频不仅包含很多冗杂的信息，而且并不能真实地反映驾驶员的真正意图
。

技术实现思路

[0004]为解决上述技术问题，本专利技术提出了一种基于多源信息融合的驾驶行为预测方法，基于驾驶员的选择性注意及意图能够从认知角度对驾驶行为进行模拟预测，可以准确对直行
、
左转
、
右转
、
左变道和右变道五种驾驶行为进行预测，对辅助驾驶系统和自动驾驶系统等领域具有重要实际意义
。
[0005]本专利技术采用的技术方案为：一种基于多源信息融合的驾驶行为预测方法，具体步骤如下：
[0006]S1、
通过有经验驾驶员获取交通场景图
、
驾驶员眼动显著图和全局
GPS
信息；
[0007]S2、
建立融合时间信息的驾驶行为预测模型并进行训练优化，训练完成后进行驾驶行为预测
。
[0008]进一步地，所述步骤
S1
具体如下：
[0009]S11、
通过真实驾驶场景实验得到交通场景图；
[0010]通过行车记录仪实时记录驾驶过程中的外部环境，将记录的视频中的驾驶行为截取合适的长度作为驾驶行为预测交通场景子样本视频
。
[0011]其中，交通场景子样本视频的长度为
250
帧
(10s)。
[0012]然后将交通场景子样本视频每一帧图像提取出来，得到交通场景子样本图
。
[0013]最后汇总所有的交通场景子样本图获得交通场景图
。
[0014]S12、
通过真实驾驶场景实验得到驾驶员眼动显著图；
[0015]真实驾驶场景实验中，通过头戴式眼动仪实时记录被试在驾驶过程中的视野环境和眼动数据，头戴式眼动仪记录的视频和行车记录仪记录的视频在驾驶环境和时间上同步
。
将记录的头戴式眼动仪视频通过交通场景子样本视频截取相对应时间范围的长度作为眼动仪子样本视频，将眼动仪子样本视频的每一帧图像都提取出来，得到眼动仪子样本视频原图
。
[0016]然后将获得的眼动数据映射到相对应的眼动仪子样本视频原图上，眼动点的位置与眼动仪子样本视频原图的空间位置相对应，最后将眼动点的区域亮度增强为原来的两倍，得到驾驶员眼动显著子样本图，将驾驶员眼动显著子样本图转为视频得到驾驶员眼动显著子样本视频
。
[0017]最后汇总所有的驾驶员眼动显著子样本图获得驾驶员眼动显著图
。
[0018]S13、
通过真实驾驶场景实验得到全局
GPS
信息；
[0019]根据交通场景子样本视频的交通路况获得相对应的全局
GPS
信息
。
[0020]其中，全局
GPS
信息记录的是交通场景子样本视频起点位置的路况数据，全局
GPS
信息为1×3的一维特征向量，第一行特征表示被试车的左侧车道数量，第二行特征表示被试车的右侧车道数量，第三行特征表示被试车的前方是否有路口
。
[0021]进一步地，所述步骤
S2
中，驾驶行为预测模型包括显著性特征提取模块，局部驾驶环境特征提取模块，融合多种来源特征预测模块
。
[0022]进一步地，所述驾驶行为预测模型中，显著性特征提取模块包括显著性空间信息特征提取模块和显著性时间信息特征提取模块，具体如下：
[0023]所述显著性空间信息特征提取模块包括：两组卷积网络；每组卷积网络包含一个步长为2的3×3卷积
、
一个批处理规范化单元
、
一个
Leaky ReLU
单元和最大值池化
(
卷积核为3，步长为3，
padding
为
1)
；通过第一组卷积网络获得8×
84
×
84
的特征，通过第二组卷积网络获得
16
×
14
×
14
的特征
。
[0024]所述显著性时间信息特征提取模块包括：一个卷积长短期记忆网络与一组卷积网络；卷积长短期记忆网络包括2个隐藏层，隐藏层的节点数依次为
16、8
；卷积网络具体包括：一个步长为2的3×3卷积
、
一个批处理规范化单元
、
一个
Leaky ReLU
单元和最大值池化
(
卷积核为3，步长为3，
padding
为
1)
；通过卷积长短期记忆网络获得8×
14
×
14
的特征，通过卷积网络获得
16
×5×5的特征
。
[0025]进一步地，所述驾驶行为预测模型中，局部驾驶环境特征提取模块包括空间特征提取模块和时间信息特征提取模块，具体如下：
[0026]所述空间特征提取模块包括：两组卷积网络；每组卷积网络包含一个步长为2的3×3卷积
、
一个批处理规范化单元
、
一个
Leaky ReLU
单元和最大值池化
(
卷积核本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多源信息融合的驾驶行为预测方法，具体步骤如下：
S1、
通过有经验驾驶员获取交通场景图
、
驾驶员眼动显著图和全局
GPS
信息；
S2、
建立融合时间信息的驾驶行为预测模型并进行训练优化，训练完成后进行驾驶行为预测
。2.
根据权利要求1所述的一种基于多源信息融合的驾驶行为预测方法，其特征在于，所述步骤
S1
具体如下：
S11、
通过真实驾驶场景实验得到交通场景图；通过行车记录仪实时记录驾驶过程中的外部环境，将记录的视频中的驾驶行为截取合适的长度作为驾驶行为预测交通场景子样本视频；其中，交通场景子样本视频的长度为
250
帧
(10s)
；然后将交通场景子样本视频每一帧图像提取出来，得到交通场景子样本图；最后汇总所有的交通场景子样本图获得交通场景图；
S12、
通过真实驾驶场景实验得到驾驶员眼动显著图；真实驾驶场景实验中，通过头戴式眼动仪实时记录被试在驾驶过程中的视野环境和眼动数据，头戴式眼动仪记录的视频和行车记录仪记录的视频在驾驶环境和时间上同步；将记录的头戴式眼动仪视频通过交通场景子样本视频截取相对应时间范围的长度作为眼动仪子样本视频，将眼动仪子样本视频的每一帧图像都提取出来，得到眼动仪子样本视频原图；然后将获得的眼动数据映射到相对应的眼动仪子样本视频原图上，眼动点的位置与眼动仪子样本视频原图的空间位置相对应，最后将眼动点的区域亮度增强为原来的两倍，得到驾驶员眼动显著子样本图，将驾驶员眼动显著子样本图转为视频得到驾驶员眼动显著子样本视频；最后汇总所有的驾驶员眼动显著子样本图获得驾驶员眼动显著图；
S13、
通过真实驾驶场景实验得到全局
GPS
信息；根据交通场景子样本视频的交通路况获得相对应的全局
GPS
信息；其中，全局
GPS
信息记录的是交通场景子样本视频起点位置的路况数据，全局
GPS
信息为1×3的一维特征向量，第一行特征表示被试车的左侧车道数量，第二行特征表示被试车的右侧车道数量，第三行特征表示被试车的前方是否有路口
。3.
根据权利要求1所述的一种基于多源信息融合的驾驶行为预测方法，其特征在于，所述步骤
S2
中，驾驶行为预测模型包括显著性特征提取模块，局部驾驶环境特征提取模块，融合多种来源特征预测模块
。4.
根据权利要求3所述的一种基于多源信息融合的驾驶行为预测方法，其特征在于，所述驾驶行为预测模型中，显著性特征提取模块包括显著性空间信息特征提取模块和显著性时间信息特征提取模块，具体如下：所述显著性空间信息特征提取模块包括：两组卷积网络；每组卷积网络包含一个步长为2的3×3卷积
、
一个批处理规范化单元
、
一个
Leaky ReLU
单元和最大值池化
(
卷积核为3，步长为3，
padding
为
1)
；通过第一组卷积网络获得8×
84
×
84
的特征，通过第二组卷积网络获得
16
×
14
×
14
的特征；所述显著性时间信息特征提取模块包括：一个卷积长短期记忆网络与一组卷积网络；
卷积长短期记忆网络包括2个隐藏层，隐藏层的节点数依次为
16、8
；卷积网络具体包括：一个步长为2的3×3卷积
、
一个批处理规范化单元
、
一个
Leaky ReLU
单元和最大值池化
(
卷积核为3，步长为3，
padding
为
1)
；通过卷积长短期记忆网络获得8×
14
×
14
的特征，通过卷积网络获得
16
×5×5的特征
。5.
根据权利要求4所述的一种基于多源信息融合的驾驶行为预测方法，其特征在于，所述驾驶行为预测模型中，局部驾驶环境特征提取模块包括空间特征提取模块和时间信息特征提取模块，具体如下：所述空间特征提取模块包括：两组卷积网络；每组卷积网络包含一个步长为2的3×3卷积
、
一个批处理规范化单元
、
一个
Leaky ReLU
单元和最大值池化
(
卷积核为3，步长为3，
padding
为
1)
；通过第一组卷积网络获得8×
84
×
84
的特征，通过第二组卷积网络获得
16
×
14
×

【专利技术属性】
技术研发人员：秦龙，颜红梅，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：