数据驱动与知识引导相结合的车辆轨迹预测模型构建方法技术

数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，涉及智能驾驶

【技术实现步骤摘要】
数据驱动与知识引导相结合的车辆轨迹预测模型构建方法


[0001]本专利技术涉及智能驾驶
，特别是涉及一种数据驱动与知识引导相结合的车辆轨迹预测模型构建方法
。

技术介绍

[0002]近年来自动驾驶汽车作为改善交通安全
、
缓解智能交通系统能源和环境问题的有效途径，越来越受到人们的关注
。
自动驾驶汽车需要具有预测周围车辆未来移动的能力，以便能提前规划安全的驾驶路径，有效减少交通事故
。
在自动驾驶的背景下，对自动驾驶车辆周围车辆运动的早期预测是确保高水平道路安全的关键因素
。
车辆运动预测主要有两种类型：驾驶意图识别和轨迹预测
。
[0003]随着人工智能的快速发展，深度学习的最新进展为解决车辆运动预测问题提供强有力的工具，基于深度学习的车辆运动预测方法成为主流
。
文献
(Ding W,etc.Predicting Vehicle Behaviors Over An Extended Horizon Using Behavior Interaction Network,2019International Conference on Robotics and Automation(ICRA).2019,Montreal,Canada.)
提出一种基于循环神经网络
(RNN)
的新型车辆行为交互网络用于车辆交互建模，以预测周围车辆的切入意图，然而，意图识别无法得到明确的轨迹信息<br/>。
文献
(Deo N,Trivedi M M.Convolutional social pooling for vehicle trajectory prediction[C].Proceedings 2018IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(CVPRW),2018:1549
‑
1557.)
提出一种经典的
Convolution Social LSTM
预测算法，使用卷积社会池来学习车辆运动中的相互依赖性，虽然目前基于深度学习的轨迹预测方法已获得不错的效果，但种这种基于数据驱动的黑盒模型缺乏可解释性和透明度；另外，对车辆的运动预测单独考虑驾驶意图识别或轨迹预测，为后续主车提供的决策信息较为单一
。

技术实现思路

[0004]本专利技术的目的是针对上述
技术介绍
中存在的问题，提供一种实现数据驱动与知识引导相结合的车辆轨迹预测方法，该方法通过自动驾驶汽车配备的传感器采集的周车行驶信息，利用深度学习网络对周车的驾驶意图和行驶轨迹进行联合预测，为车辆提供丰富的决策信息以保证车辆的行驶安全
。
[0005]为达到上述目的，本专利技术采用的技术方案如下：
[0006]本专利技术包括以下步骤：
[0007]1)
数据的处理：将车辆配备的摄像头
、
毫米波雷达等车载传感器采集的周车行驶数据进行处理，设立规则定义周车的驾驶意图类型，为各个序列数据设置标签，获得实现车辆运动预测所需的数据；
[0008]2)
采用编码器
‑
解码器框架，提出一种基于意图感知时空注意网络的车辆轨迹预测模型；
[0009]第一步，构建基于
LSTM
的编码器
‑
解码器框架的轨迹预测模型；
[0010]第二步，构建基于
BiLSTM
的意图识别模型，对周车的驾驶意图进行识别；
[0011]第三步，引入一种意图注意力机制提升时序问题预测的效果；
[0012]第四步，基于意图注意机制计算获得的车辆特征编码向量，利用交互关系捕捉模块来捕获邻居车辆的重要性；
[0013]第五步，同时结合周车的位置信息
、
驾驶意图和交互关系对周车进行较长时域的轨迹预测；
[0014]第六步，从硬约束和软约束两个方面进行考虑，在提出的意图感知时空注意网络轨迹预测模型的基础上，添加运动学层和引入交通规则辅助损失函数，以提高该数据驱动模型的性能
。
[0015]3)
提供决策信息：根据联合预测的结果为主车的后续操纵提供丰富的信息依据；
[0016]在步骤
1)
中，所述将车辆配备的摄像头
、
毫米波雷达等车载传感器采集的周车行驶数据进行处理，具体方法为：
[0017]第一步，由车辆配备的摄像头
、
毫米波雷达等车载传感器采集到的周车行驶数据主要有：周车与主车的纵向距离
、
横向距离
、
纵向相对速度
、
横向相对速度
、
纵向相对加速度
、
横向相对加速度，周车相对于主车的方位角以及方位角变化率
。
[0018]第二步，对数据的缺失值进行填补，采用最近邻填补法对单个缺失值进行填充，采用插值法对连续多个的缺失值进行填充，使用3‑
σ
法则对数据的异常值进行去除，最后使用
Savitzky
‑
Golay
滤波器对数据进行滤波从而得到比较光滑的数据曲线
。
[0019]第三步，定义坐标系以方便描述车辆的位置，计算主车和周车各个时刻的位置坐标
。
[0020]第四步，将周车驾驶意图定义为向左换道
、
向右换道和直行，为每段行驶序列数据设置意图标签
。
[0021]在步骤
2)
中，所述基于意图感知时空注意网络的车辆轨迹预测模型，为了捕获轨迹中的时间依赖关系，采用基于
LSTM
的编码器
‑
解码器框架建立该模型，这是处理轨迹预测问题的最先进体系结构，具体步骤包括：
[0022]第一步，使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量，然后利用
LSTM
分别将不同车辆历史时刻的嵌入向量进行编码，对于目标车辆及其周围邻居车辆，将获得的相应特征向量
。
[0023]第二步，对周车驾驶意图进行预测的具体方法为：
[0024](1)
周车驾驶意图识别是一个分类问题，驾驶意图识别模型对输入的多特征多步长时间序列数据进行分类
。
[0025](2)
基于
BiLSTM
网络构建周车驾驶意图识别模型，
BiLSTM
网络是由前向
LSTM
与后向
LSTM
组合而成，它可以充分利用上下文的信息，来提高时间序列预测结果的准确性
。
[0026](3)
受
ResNet
的启发，在
Bi
‑...

【技术保护点】

【技术特征摘要】
1.
数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于包括以下步骤：
1)
数据的处理：将车辆配备的摄像头
、
毫米波雷达等车载传感器采集的周车行驶数据进行处理，对数据的缺失值进行填补，使用
Savitzky
‑
Golay
滤波器对数据进行滤波得到比较光滑的数据曲线；设立规则定义周车的驾驶意图类型，为各个序列数据设置标签，获得实现车辆运动预测所需的数据；所述周车行驶数据包括周车与主车的纵向距离
、
横向距离
、
纵向相对速度
、
横向相对速度
、
纵向相对加速度
、
横向相对加速度，周车相对于主车的方位角以及方位角变化率；
2)
采用编码器
‑
解码器框架，提出一种基于意图感知时空注意网络的车辆轨迹预测模型；第一步，构建基于
LSTM
的编码器
‑
解码器框架的轨迹预测模型；第二步，构建基于
BiLSTM
的意图识别模型，对周车的驾驶意图进行识别；第三步，引入一种意图注意力机制提升时序问题预测的效果；第四步，基于意图注意机制计算获得的车辆特征编码向量，利用交互关系捕捉模块捕获邻居车辆的重要性；第五步，结合周车的位置信息
、
驾驶意图和交互关系对周车进行较长时域的轨迹预测；第六步，从硬约束和软约束两个方面进行考虑，在提出的意图感知时空注意网络轨迹预测模型的基础上，添加运动学层和引入交通规则辅助损失函数，以提高该数据驱动模型的性能；
3)
提供决策信息：根据联合预测的结果为主车的后续操纵提供丰富的信息依据
。2.
如权利要求1所述数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于在步骤
1)
中，所述数据的处理，具体方法为：步骤
1.1
：获取由车辆配备的摄像头
、
毫米波雷达等车载传感器采集到的周车行驶数据；步骤
1.2
：对于数据中单个缺失值，采用最近邻填补法用其前一时间步或后一时间步的数据进行填充；对于连续多个的缺失值，采用插值法计算缺失值前一个值和后一个值的平均数进行填充；对于数据中存在的异常值，采用3‑
σ
准则对异常值进行去除，计算各个特征的标准差
σ
和均值
μ
，去除数值分布在
(
μ
‑3σ
,
μ
+3
σ
)
区间外的数据；最后采用
Savitzky
‑
Golay
滤波器对数据进行滤波，在原始数据
x(i)
附近取
M
个采样点，并在
x
周围构建一个
2M+1
个采样点的窗口来拟合
p
阶多项式
y(i)
，其表达式为：，其表达式为：，其表达式为：式中，
y(i)
是处理后的数据，
i
＝
‑
M,
…
,0,
…
,M
；
E
是总的误差平方和；
p≤2M
；步骤
1.3
：定义坐标系，将在目标车辆一定纵向范围
±
L
内的车辆定义为邻居车辆，椭圆
虚线内除目标车辆外的其他车辆为邻居车辆；在
t
时刻预测，原点固定在主车上，
x
轴指向高速公路的运动方向，
y
轴指向与之垂直的方向；使数据获取更好地与自动驾驶车辆上的车载传感器相匹配；步骤
1.4
：将周车驾驶意图定义为向左换道
、
向右换道和直行，为每段行驶序列数据设置意图标签
。3.
如权利要求1所述数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于在步骤
2)
中，所述基于意图感知时空注意网络的车辆轨迹预测模型，为了捕获轨迹中的时间依赖关系，采用基于
LSTM
的编码器
‑
解码器框架建立该模型，具体步骤包括：第一步，使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量，利用
LSTM
分别将不同车辆历史时刻的嵌入向量进行编码，对于目标车辆及其周围邻居车辆，将获得的相应特征向量；第二步，对周车驾驶意图进行预测：
(1)
周车驾驶意图识别是一个分类问题，驾驶意图识别模型对输入的多特征多步长时间序列数据进行分类；
(2)
基于
BiLSTM
网络构建周车驾驶意图识别模型，
BiLSTM
网络是由前向
LSTM
与后向
LSTM
组合而成，利用上下文的信息，提高时间序列预测结果的准确性；
(3)
在
Bi
‑
LSTM
网络中添加
shortcutconnections
，实现梯度的跨步计算，有效减小深层网络梯度消失和网络退化问题的影响；
(4)
将目标车辆的运动状态及邻居车辆的空间位置信息输入驾驶意图识别模型，输出周车的驾驶意图概率向量，概率最大的驾驶意图即为最终的识别结果；第三步，意图注意力机制：
(1)
将目标车辆的意图向量和解码器上一时刻的隐藏状态向量用拼接操作拼接起来，由完全连接层处理获得的向量来做为键值对注意力机制中的“查询”，将编码器编码的车辆隐藏状态由全连接层和处理，形成“键”和“值”；
(2)
将注意力特征计算为“值”的加权和；
(3)
采用多头注意力机制以将注意力扩展到高阶交互；第四步，基于多头注意力机制提出交互关系捕捉模块用于捕捉目标车辆与其他车辆之间的交互，在预测目标车辆未来轨迹时选择周围车辆进行关注；第五步，在进行第
t
时间步预测时，解码器也采用具有
LeakyReLU
非线性激活函数的全连接层，嵌入预测轨迹前一时刻位置的坐标并形成嵌入向量，此时的中间语义向量包含选定的车辆交互信息以及目标车辆的运动状态编码，与嵌入向量一起被输送到
LSTM
解码器，
LSTM
解码器预测生成目标车辆未来时间步长的轨迹点位置；第六步，在解码器最终的隐藏层与输出层之间添加一个嵌入双轮自行车运动学模型的运动学层来解码轨迹，以实现更准确的位置预测；
(1)
运动学模型的输入为前轮转向角和纵向加速度；当前时刻为
t
p
，在准备预测第
t
p
+h
时间步的运动时，解码器先通过
LSTM
预测获得
t
p
+h
‑1时间步目标车辆的纵向加速度和转向角再利用它们来计算获得目标车辆在
t
p
+h
时间步的运动状态；
(2)
用一个全连接层处理目标车辆历史信息编码
LSTM
单元最后时刻的隐藏状态向量，
估计车辆的固定运动学参数；第七步，基于当前数据集可利用的一些交通规则设计辅助损失函数，引导模型按照符合的知识的方向进行训练，使模型对知识的适应性更强；
(1)
根据交通规则与社会惯例，车辆在车道上行驶时必须沿车道行驶方向行驶，以免干扰其他交通；引入偏离航向损失来衡量轨迹在所处车道方向上定向的能力；
(2)
根据交通规则的要求，车辆在公路上行驶时一般有最高时速的限制；引入超速损失来衡量所预测的轨迹控速度不超过最高时速的能力；
(3)
为了驱使从训练数据中学习的模型也符合某些可接受的知识规则，损失函数在均方误差的基础上并入车道偏航损失和超速损失
。4.
如权利要求1所述数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于在步骤
2)
中，所述构建基于
LSTM
的编码器
‑
解码器框架的轨迹预测模型，使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量，利用
LSTM
分别将不同车辆历史时刻的嵌入向量进行编码，对于目标车辆及其周围邻居车辆，将获得的相应特征向量，包括步骤：步骤
2.1.1
：对目标车辆及其周围邻居车辆从过去一段时间
t
p
‑
t
h
到
t
p
的历史状态信息进行编码；使用一个全连接层作为嵌入层，将每辆车的输入状态向量进行嵌入形成嵌入向量向量式中，
ψ
代表具有
LeakyReLU
非线性激活函数的全连接层，
W
emb
代表用于学习的嵌入层权重；步骤
2.1.2
：利用
LSTM
分别将不同车辆从
t
p
‑
t
h
至
t
p
时刻这一时间段的嵌入向量进行编码：式中，代表车辆
i
在时间步
t
的
LSTM
单元体的隐藏状态，
W
enc
代表
LSTM
的权重矩阵；步骤
2.1.3
：对于目标车辆及其周围邻居车辆，将获得的相应特征向量记为：对于目标车辆及其周围邻居车辆，将获得的相应特征向量记为其中
d
e
为
LSTM
的隐藏单元数量
。5.
如权利要求1所述数据驱动与知识引导相结合的车辆轨迹预测模型构建方法，其特征在于在步骤
2)
中，所述构建基于
BiLSTM
的意图识别模型，具体步骤为：步骤
2.2.1
：考虑一次完整的换道时间在
5s
左右，且数据的采集频率为
10Hz
，因此输入序列的长度选择为
50
；周车驾驶意图被标记为向左换道
、
向右换道和直行3种；周车意图识别是一个分类问题，对输入序列设置相应的标签；步骤
2.2.2
：将目标车辆的运动状态作为输入，同时将邻居车辆的空间位置信息纳入考虑，意图识别的输入特征如下：
I
t
＝
[s
t
,
Δ
s
t
]]
式中，
s
t

【专利技术属性】
技术研发人员：郭景华，王靖瑶，何智飞，李录斌，焦一洲，王晖年，
申请(专利权)人：厦门大学，
类型：发明
国别省市：