【技术实现步骤摘要】
本专利技术涉及自动驾驶行人轨迹预测，具体为一种基于全局信息提取和transformer模型的行人轨迹预测系统及方法。
技术介绍
1、随着人工智能与计算机视觉的发展，自动驾驶系统也在不断进步，智能车辆能够检测和识别道路、汽车、行人等众多交通因素。但仅仅识别行驶环境是不够的，预测周围行人未来的轨迹，对保证行人与车辆安全是非常必要的。而且，行人轨迹预测的准确性和实时性可以为智能汽车提供更充足的决策时间以及更精准的规划路径，减少甚至避免可能发生的交通事故。尽管这项任务很重要，但由于行人行为模式是高度自由随机的，并且与周围全局环境有着紧密的联系，如：车辆自身运动特性，行人历史运动轨迹与人车间的运动关系等，因此需要一种有效的行人轨迹预测算法。
2、对行人轨迹的预测需要对多个可能影响行人轨迹的因素进行研究。现有的轨迹算法有从行人的穿行意图入手的方法，通过判断行人是否由穿越路口意图来帮助预测。有通过关注行人起始点与终点位置的方法，研究行人在短距离内有可能的运动轨迹来实现对轨迹的预测。有采用微元法，将行人的未知的轨迹看作一段段直线，计算行人每段运动的角度，并融合了多种行人运动信息，以此对行人轨迹进行预测。上述方法虽然取得了较好的预测效果，但缺乏对影响行人轨迹全局信息的提取与融合，导致模型不能学习到全面的特征信息。而且，上述算法大多采用循环神经网络为构架，其缺少对数据的并行处理能力，造成了算法由较大的空间复杂度与时间复杂度。
3、因此，本专利技术提出一种基于全局信息提取和transformer模型的行人轨迹预测算法，采用全局
技术实现思路
1、本专利技术的目的在于提供一种基于全局信息提取和transformer模型的行人轨迹预测系统及方法，以解决第一视角下的行人轨迹预测问题。
2、本专利技术的预测系统由全局信息提取模块、transformer主干网络模块和cvae网络模块组成。全局信息提取模块由自车车速提取网络与空间运动转换模型组成，负责对自车车速的估计以及获取自车与目标行人的空间运动关系，进而完成车辆自身运动特性以及行人历史运动轨迹与人车间的运动关系等全局信息的提取。transformer主干网络模块负责学习行人运动轨迹，通过引入稀疏注意力机制，实现对注意力机制的优化，减少网络的内存消耗并提高网络的预测效率，解决了行人轨迹预测算法运行效率低，内存消耗大的问题。cvae网络模块负责生成多个合理的预测轨迹样本，避免了对训练数据的过拟合，提高了算法的鲁棒性与普适性。
3、此外，基于上述系统，本专利技术还提出了行人轨迹预测方法，提高了行人轨迹预测的准确度与鲁棒性，降低了运算成本，提高了检测效率。
4、本专利技术的技术方案：
5、本专利技术系统由全局信息提取模块、transformer主干网络模块和cvae网络模块组成。全局信息提取模块负责完成对自车车速的估计并获得自车与目标行人的空间运动关系。transformer主干网络负责学习行人运动轨迹并对后续时刻的行人运动轨迹进行预测。cvae网络模块负责生成多个合理的预测轨迹样本。
6、本专利技术所述全局信息提取模块如下：
7、全局信息提取模块由自车车速提取网络与空间运动转换模型组成。
8、自车车速估计网络，预测获得自车车速。为了获取自车车速特征，本专利技术使用光流计算车速。将从车载相机视频中获取的照片输入到光流法raft中，并将得到的光流图片输入到efficeient net网络中得到自车车速。具体如下：
9、将行人轨迹图片输入到网络中，对其进行特征提取，feature encoder由6个残差层组成，对输入的图片进行下采样，提取其1/8分辨率的特征图，并使用了一个content网络提取图片的特征，提取的上下文特征映射在递归模块中使用，下式为feature encoder的特征张量gθ：
10、
11、视觉相似度计算为所有特征图对的内积，得到一个称为相关体积的四维张量c，它提供了关于大小像素位移的关键信息，并在c的最后两个维度使用核大小为1，2，4，8进行池化，构建4层相关金字塔，保持前两个维度不变，迭代更新采用门控循环单元(gru)序列，它结合了之前计算的所有数据，而后使用上采样，得到高分辨率光流场的维度为h×w×2的张量；
12、从上述得到的光流图像得到每个像素间x坐标和y坐标像素的偏移量并保存为npy矩阵，将其输入到由mbconv结构构成的网络中，并通过一个全连接层获得自车车速。
13、空间运动转换模型，对车速与相关运动信息建立空间运动转换模型，得到车辆与目标行人空间运动关系。为了获取汽车与行人之间的运动联系，建立空间运动转换模型。以车辆本身视为动参考系，地面本身为定参考系，将所有运动分为三类：
14、1)绝对运动：目标行人在地面上的运动，
15、2)相对运动：目标行人在摄像机中的运动，
16、3)牵连运动：车辆和车载摄像机本身的运动。
17、并由：
18、
19、
20、得到车辆与目标行人的运动关系。其中表示绝对运动的矢量位移，表示牵连运动的矢量位移，表示相对运动的矢量位移，表示绝对运动的矢量速度，表示牵连运动的矢量位移，表示相对运动的矢量位移。
21、由此得到所有时间内汽车与行人之间的空间运动关系：
22、
23、
24、
25、是所有绝对运动的矢量位移，是所有牵连运动的矢量位移，是所有相对矢量位移。
26、通过上述过程，为对预测行人运动轨迹提供全局线索信息。
27、本专利技术所述transformer主干网络模块如下：
28、将获取的全局信息与行人轨迹输入到网络中，首先进行stamp编码，通过该种编码方式，可以将多种信息输入到transformer中。stamp编码包括信息嵌入与位置编码，可以尽可能的保留提取到的全局信息特征。
29、对transformer-编码器进行优化，对注意力机制中所需的内存空间和注意力矩阵相乘的二次点乘所造成的计算代价进行优化，引入了概率稀疏自注意力机制，使用注意力机制的核平滑概率公式查询稀疏性，从而计算并得到在注意力机制中占较大比例的query项，从而对注意力机制进行优化。
30、对transformer-解码器的初始化序列进行位置编码，为了缓解transformer在解码时速度的下降，本专利技术采用填充推理的方式。输入解码器的向量采用以下表示方式：
31、
32、通过tran本文档来自技高网...
【技术保护点】
1.一种基于全局信息提取和Transformer模型的行人轨迹预测系统，其特征在于，包括：全局信息提取模块、Transformer主干网络模块和CVAE网络模块；全局信息提取模块负责完成对自车车速的估计并获得自车与目标行人的空间运动关系，为预测行人运动轨迹提供全局线索信息，Transformer主干网络模块负责学习行人运动轨迹并对后续时刻的行人运动轨迹进行预测，CVAE网络模块负责生成若干个合理的预测轨迹样本。
2.根据权利要求1所述的一种基于全局信息提取和Transformer模型的行人轨迹预测系统，其特征在于，所述全局信息提取模块包括自车车速提取网络模块与空间运动转换模型模块；
3.根据权利要求2所述的一种基于全局信息提取和Transformer模型的行人轨迹预测系统，其特征在于，自车车速估计网络模块具体的处理过程如下：
4.根据权利要求2所述的一种基于全局信息提取和Transformer模型的行人轨迹预测系统，其特征在于，空间运动转换模型模块的具体处理过程如下：
5.根据权利要求1所述的一种基于全局信息提取和Transform
6.根据权利要求1所述的一种基于全局信息提取和Transformer模型的行人轨迹预测系统，其特征在于，所述CVAE网络模块：通过引入隐变量Z来学习预测轨迹Y在输入轨迹X下的分布，其包括三部分：后验网络、先验网络和生成网络；
7.一种基于全局信息提取和Transformer模型的行人轨迹预测系统的行人轨迹预测方法，其特征在于，包括如下步骤：
8.根据权利要求7所述的一种基于全局信息提取和Transformer模型的行人轨迹预测系统的行人轨迹预测方法，其特征在于，所述S1的具体过程如下：
9.根据权利要求7所述的一种基于全局信息提取和Transformer模型的行人轨迹预测系统的行人轨迹预测方法，其特征在于，所述S2的具体过程如下：
10.根据权利要求7所述的一种基于全局信息提取和Transformer模型的行人轨迹预测系统的行人轨迹预测方法，其特征在于，所述S3的具体过程如下：
...【技术特征摘要】
1.一种基于全局信息提取和transformer模型的行人轨迹预测系统，其特征在于，包括：全局信息提取模块、transformer主干网络模块和cvae网络模块；全局信息提取模块负责完成对自车车速的估计并获得自车与目标行人的空间运动关系，为预测行人运动轨迹提供全局线索信息，transformer主干网络模块负责学习行人运动轨迹并对后续时刻的行人运动轨迹进行预测，cvae网络模块负责生成若干个合理的预测轨迹样本。
2.根据权利要求1所述的一种基于全局信息提取和transformer模型的行人轨迹预测系统，其特征在于，所述全局信息提取模块包括自车车速提取网络模块与空间运动转换模型模块；
3.根据权利要求2所述的一种基于全局信息提取和transformer模型的行人轨迹预测系统，其特征在于，自车车速估计网络模块具体的处理过程如下：
4.根据权利要求2所述的一种基于全局信息提取和transformer模型的行人轨迹预测系统，其特征在于，空间运动转换模型模块的具体处理过程如下：
5.根据权利要求1所述的一种基于全局信息提取和transformer模型的行人轨迹预测系统，其特征在于，所述transformer...
【专利技术属性】
技术研发人员：何友国，杨永鑫，袁朝春，蔡英凤，田力威，
申请(专利权)人：江苏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。