一种基于Transformer和LSTM的车辆轨迹预测方法技术

本发明专利技术属于自动辅助驾驶技术领域，具体涉及一种无车道线道路环境下的自适应虚拟车道线绘制方法。本发明专利技术通过得到的目标信息和目标本身作为节点构建出空间无向图，将时序性信息转化成图矩阵形式，并保存其时序性。使用重构后的LSTM模型处理图矩阵数据，并利用LSTM的循环性处理数据的时序性。使用Transformer的空间注意力机制从空间图矩阵数据中提取有效特征并训练模型。用inception_mixer模块继续处理高频信息和低频信息，将信息中的有效特征再次提取，保证了本方法的准确性和高效性。该方法可以高效地长时预测周围车辆的轨迹，有效地保障了行车安全和道路安全，可以应用于智能交通系统，提高交通安全性和效率，协助路线优化和路口预测等操作。和路口预测等操作。和路口预测等操作。

【技术实现步骤摘要】
一种基于Transformer和LSTM的车辆轨迹预测方法


[0001]本专利技术属于车辆轨迹预测
，具体涉及一种基于Transformer和LSTM的车辆轨迹预测方法。

技术介绍

[0002]随着人们对交通出行需求的增加，智能交通系统已成为当下关注的焦点，车辆轨迹预测则是智能交通系统中的重要组成部分。车辆轨迹预测的目的是预测一段时间内的车辆行驶路线，以便更好地支持智能交通系统的决策。但因为时间变量、环境变量和个体变量等因素，车辆轨迹预测也具有非常复杂的多变性。
[0003]现有技术中，车辆轨迹预测主要通过基于单模型的算法，如贝叶斯网络、隐马尔可夫模型等进行预测，这些方法可以有效地预测车辆的短期轨迹，但是由于变量较多，对于长期轨迹预测效果较差，而且容易受到外部环境的干扰，影响预测的准确性。目前的深度学习方法能做到对车辆轨迹地长时间预测，但是准确率还可以有所提高。

技术实现思路

[0004]为解决上述现有技术存在的技术问题，本专利技术提出了一种基于Transformer和LSTM的车辆轨迹预测方法，该方法通过结合Transformer模型的多头注意力机制和LSTM模型的长时记忆能力，并加入Inception
‑
Mixer机制以达到准确捕捉空间无向图中的高频信息，以准确预测车辆的行车轨迹。
[0005]本专利技术为实现上述专利技术目的，采取的技术方案如下：
[0006]一种基于Transformer和LSTM的车辆轨迹预测方法，包括以下步骤：
[0007]S1：车辆通过与周围车辆的信息交互获取周围车辆的行驶数据，包括前部中心的横向坐标、纵向坐标、速度以及加速度，并将车辆识别号整合到数据中；使用python内置工具将数据预处理为3维张量；
[0008]S2：将预处理过的数据构建为图数据结构；先用矩阵乘法计算出每两个节点间的跳数，然后根据最大跳数对节点间的关系进行分类，最终得到一个邻接矩阵；
[0009]S3：创建自定义的LSTM模型；使用Graph_Conv_Block处理图矩阵，并使用自定义的edge_importance_weighting函数提取可用的边权，然后重建图矩阵数据；最后，使用自定义的reshape函数对输出和原输入进行合成；
[0010]S4：创建自定义的Transformer模型，其中包含空间注意力机制；使用Xavier初始化编码器上层的数据，然后使用自定义的forward函数进行训练，得到输出；
[0011]S5：使用Inception_mixer机制处理数据，提取数据中的高频信息，将得到的高频信息和低频信息拼接到一起，得到新的输出；
[0012]S6：将数据再次输入带有空间注意力机制的Transformer中，使用GRU解码器预测位置。
[0013]进一步的作为本专利技术的优选技术方案，S1中通过与周围车辆的信息交互获取周围
车辆的行驶数据，设过去的t时段中有n个对象，将原始数据处理成3维张量，并设置一个定量为5，用来表示一个对象在一个时间步长上的坐标(x,y)以及速度(u,v)，并将所有的坐标和速度标准化到(
‑
1,1)之间。
[0014]进一步的作为本专利技术的优选技术方案，所述S2的具体步骤包括：
[0015]S2.1、将预处理后的数据建立成空间图，将空间图的节点数设置为100，最大跳数设置为1，将图表示为G
t
＝{V
t
,E
t
}，节点表示为边表示为
[0016]S2.2、先通过矩阵乘法的方式，计算出所有节点的传递矩阵，然后通过比较每个点之间的距离是否小于等于最大跳数，得出每个节点是否连接，并得到邻接矩阵A
t
，公式表示为：
[0017][0018]S2.3、正则化化邻接矩阵，首先根据每行的和计算出度矩阵，然后通过矩阵乘法的方式，正则化邻接矩阵，公式为：
[0019]A
t
＝G
t
×
A
t
。
[0020]进一步的作为本专利技术的优选技术方案，所述S3中的创建自定义LSTM网络，作为处理数据的第一层网络，在该模型中添加了三个Graph_Conv_Block,以及一个BatchNorm2d，该标准化层是为了标准化输入，每层图卷积的空间核大小是根据不同时段空间图的最大跳数和节点数确定，时间核大小固定，激活函数为ReLU，卷积层作用为提取图矩阵中的重要信息，在forward函数中，对图卷积块得到的数据进行前向计算，并用自定义函数edge_importance_weighting提取满足边权要求的节点信息，得到输出；将输出结果与原输入进行拼接，形成新的矩阵，传递给下层网络。
[0021]进一步的作为本专利技术的优选技术方案，所述S4中的创建自定义的Transformer模型，先对数据进行空间编码，并在注意力机制中只允许数据在临近节点之间传输；通过循环遍历所有参数，并使用Xavier初始化方法初始化其中参数维度大于1的参数；在前向传播中，通过循环迭代，使用GRU解码器生成输出和隐藏状态，并将结果存储在对应的数组位置；如果符合teacher_force方法的要求，就将其作为下一个输入；在空间交互过程中，使用message_passing函数处理隐藏状态和位置掩码，得到输出。
[0022]进一步的作为本专利技术的优选技术方案，所述S4的具体步骤包括：
[0023]S4.1、将S3所得的输出表示为H，用Transformer自身的编码性质，将每个时间步长t的对象映射为
[0024]S4.2、对于空间自注意力机制，可以看成是信息在无向图上传递；在时间步长t时的h
ti
(i＝1,2...n)，分别表示每个对象的查询向量、键向量和值向量，分别为：
[0025][0026][0027][0028]定义空间图中从车辆i传递到车辆j的消息为t时间步长作用在邻接矩阵A
t
的注意力机制如下：
[0029][0030]将车辆i的邻车集合表示为S＝{j|A
t
[i,j]＝1}，便用空间自注意力机制得到时间步长t时车辆i的多头注意力数据，将数据进行前向计算得到输出；
[0031]S4.3、利用teacher_forcing机制，使用先验时间步长的输出作为输入，重复空间自注意力机制的过程。
[0032]进一步的作为本专利技术的优选技术方案，所述S5将S4获得的输出进行输入，将输入分成几个通道，分别分配给高频分支和低频分支；高频分支中使用卷积和最大池化操作提取高频信息；低频分支中先使用平均池化操作，再使用空间注意力机制处理数据，最后进行上采样；最终，将高频结果和低频结果直接拼接在一起，得到最终输出。
[0033]进一步的作为本专利技术的优选技术方案，所述S5的具体步骤包括：
[0034]S5.1、将S4得到的结果输入另一层带有inception_mixe本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer和LSTM的车辆轨迹预测方法，其特征在于，包括以下步骤：S1：车辆通过与周围车辆的信息交互获取周围车辆的行驶数据，包括前部中心的横向坐标、纵向坐标、速度以及加速度，并将车辆识别号整合到数据中；使用python内置工具将数据预处理为3维张量；S2：将预处理过的数据构建为图数据结构；先用矩阵乘法计算出每两个节点间的跳数，然后根据最大跳数对节点间的关系进行分类，最终得到一个邻接矩阵；S3：创建自定义的LSTM模型；使用Graph_Conv_Block处理图矩阵，并使用自定义的edge_importance_weighting函数提取可用的边权，然后重建图矩阵数据；最后，使用自定义的reshape函数对输出和原输入进行合成；S4：创建自定义的Transformer模型，其中包含空间注意力机制；使用Xavier初始化编码器上层的数据，然后使用自定义的forward函数进行训练，得到输出；S5：使用Inception_mixer机制处理数据，提取数据中的高频信息，将得到的高频信息和低频信息拼接到一起，得到新的输出；S6：将数据再次输入带有空间注意力机制的Transformer中，使用GRU解码器预测位置。2.根据权利要求1所述的一种基于Transformer和LSTM的车辆轨迹预测方法，其特征在于，S1中通过与周围车辆的信息交互获取周围车辆的行驶数据，设过去的t时段中有n个对象，将原始数据处理成3维张量，并设置一个定量为5，用来表示一个对象在一个时间步长上的坐标(x,y)以及速度(u,v)，并将所有的坐标和速度标准化到(
‑
1,1)之间。3.根据权利要求1所述的一种基于Transformer和LSTM的车辆轨迹预测方法，其特征在于，所述S2的具体步骤包括：S2.1、将预处理后的数据建立成空间图，将空间图的节点数设置为100，最大跳数设置为1，将图表示为G
t
＝{V
t
,E
t
}，节点表示为边表示为S2.2、先通过矩阵乘法的方式，计算出所有节点的传递矩阵，然后通过比较每个点之间的距离是否小于等于最大跳数，得出每个节点是否连接，并得到邻接矩阵A
t
，公式表示为：S2.3、正则化化邻接矩阵，首先根据每行的和计算出度矩阵，然后通过矩阵乘法的方式，正则化邻接矩阵，公式为：A
t
＝G
t
×
A
t
。4.根据权利要求1所述的一种基于Transformer和LSTM的车辆轨迹预测方法，其特征在于，所述S3中的创建自定义LSTM网络，作为处理数据的第一层网络，在该模型中添加了三个Graph_Conv_Block,以及一个BatchNorm2d，该标准化层是为了标准化输入，每层图卷积的空间核大小是根据不同时段空间图的最大跳数和节点数确定，时间核大小固定，激活函数为ReLU，卷积层作用为提取图矩阵中的重要信息，在forward函数中，对图卷积块得到的数据进行前向计算，并用自定义函数edge_importance_weighting提取满足边权要求的节点信息，得到输出；将输出结果与原输入进行拼接，形成新的矩阵，传递给下层网络。5.根据权利要求1所述的一种基于Transformer和LSTM的车辆轨迹预测方法，其特征在于，所述S4中的创建自定义的Transformer模型，先对数据进行空间编码，并在注意力机制
中只允许数据在临近节点之间传输；通过循环遍历所有参数，并使用Xavier初始化方法初始化其中参数维度大于1的参数；在前向传播中，通过循环迭代，使用GRU解码器生成输出和隐藏状态，并将结果存储在对应的数组位置；如果符合teacher_force方法的要求，就将其作为下一个输入；在空间交互过程中，使用m...

【专利技术属性】
技术研发人员：程邓阳，顾翔，钱聪，杜超楠，张一迪，王进，
申请(专利权)人：南通大学，
类型：发明
国别省市：