面向城市场景下行人轨迹预测方法、模型及存储介质技术

本申请涉及自动驾驶技术领域，尤其涉及一种面向城市场景下行人轨迹预测方法、模型及存储介质，方法包括：用向量表示各智能体的轨迹序列，并基于层级的网络结构得到预测目标的空间交互特征；利用LSTM网络提取预测目标历史轨迹中的轨迹时序特征；利用多头注意力机制对空间交互特征和轨迹时序特征进行融合得到场景上下文特征；对场景上下文特征进行解码输出预测目标的未来轨迹。以场景向量特征作为输入，能直接学习场景中的关键交互信息，将空间交互特征和轨迹时序特征有效结合，通过对周边智能体分配不同的注意力，使模型更加关注对预测目标产生较大影响的个体，从而有助于提高复杂城市道路场景中行人轨迹的预测效果。市道路场景中行人轨迹的预测效果。市道路场景中行人轨迹的预测效果。

【技术实现步骤摘要】
面向城市场景下行人轨迹预测方法、模型及存储介质


[0001]本申请涉及自动驾驶的
，尤其是涉及一种面向城市场景下行人轨迹预测方法、模型及存储介质。

技术介绍

[0002]随着科技的高速发展和汽车智能化时代的到来，自动驾驶汽车将在未来智能交通系统中占据极其重要的地位。
[0003]自动驾驶车辆在人车混行的城市交叉口行驶时需要特别关注行人运动，通过准确预测行人的未来运动轨迹，可以确保自动驾驶车辆及时避让以保证行车安全。行人作为交通场景中最为灵活、随机的个体，其运动高度发散，意图难以确定，与其他交通参与者常存在各种空间和时间上的交互，极易受到周边智能体的影响。对于自动驾驶车辆而言，对行人行为的理解和轨迹的预测是一个难点。
[0004]传统的行人轨迹预测方法主要建立在各种时序模型上，例如隐马尔可夫模型、高斯过程等。这类方法一般通过人为地设计时序递推公式来生成未来轨迹，具有严格的数学证明，可解释性强。但这些算法往往会引入一些苛刻的条件假设，在行人轨迹预测这种复杂问题上效果比较差，难以有效帮助自动驾驶车辆进行合理决策并保证行车安全。

技术实现思路

[0005]为了提高复杂城市道路场景中行人轨迹的预测效果，本申请提供一种面向城市场景下行人轨迹预测方法、模型及存储介质。
[0006]第一方面，本申请提供的一种面向城市场景下行人轨迹预测方法，采用如下的技术方案：一种面向自动驾驶的城市场景下行人轨迹预测方法，包括：用向量表示各智能体的轨迹序列，并基于层级的网络结构进行交互编码，得到预测目标的空间交互特征；获取预测目标的历史轨迹信息，并利用LSTM网络提取预测目标历史轨迹中的轨迹时序特征；利用多头注意力机制对所述空间交互特征和轨迹时序特征进行交互融合，得到场景上下文特征；对所述场景上下文特征进行解码，输出预测目标的未来轨迹。
[0007]通过采用上述技术方案，以场景向量特征作为输入，能直接学习场景中的关键交互信息。另外，基于多头注意力机制能将空间交互特征和轨迹时序特征有效结合，通过对周边智能体分配不同的注意力，使模型更加关注对预测目标产生较大影响的个体，从而有助于提高复杂城市道路场景中行人轨迹的预测效果。
[0008]可选的，所述用向量表示各智能体的轨迹序列，并基于层级的网络结构进行交互编码，得到预测目标的空间交互特征步骤之前，还包括：
基于Argoverse运动预测数据集获取车辆轨迹序列和高精地图数据；对所述车辆轨迹序列进行预处理，得到包含预测目标和周边智能体的轨迹片段；根据观测时长最够一帧的智能体位置，筛选在交互范围内的周边智能体轨迹，最终得到长度为观测时长的预测目标和周边智能体的轨迹序列。
[0009]可选的，所述根据观测时长最够一帧的智能体位置，筛选在交互范围内的周边智能体轨迹，最终得到长度为观测时长的预测目标和周边智能体的轨迹序列步骤，具体包括：根据观测时长最够一帧的智能体位置，筛选在交互范围内的周边智能体轨迹，删除静止目标及长度不足设定长度的轨迹，对不完整的轨迹进行插值补充，得到长度为观测时长的预测目标和周边智能体的轨迹序列。
[0010]可选的，所述用向量表示各智能体的轨迹序列，并基于层级的网络结构进行交互编码，得到预测目标的空间交互特征步骤，具体包括：用向量表示各智能体的轨迹序列，获取向量特征，并根据不同时刻的向量特征集合生成对应的轨迹序列；将所述向量特征映射到高维空间，并在时间维度采用最大池化，得到与轨迹序列对应的高阶特征向量；利用图注意力网络对轨迹序列特征进行高阶交互，得到预测目标的空间交互特征；其中，所述轨迹序列特征为高阶特征向量的集合。
[0011]可选的，所述获取预测目标的历史轨迹信息，并利用LSTM网络提取预测目标历史轨迹中的轨迹时序特征步骤，具体包括：获取预测目标的历史轨迹信息；其中，预测目标的历史轨迹信息用位置、速度和航向角组成的多维特征向量表示；将所述维特征向量映射到高维空间，获得高维特征向量；将所述高维特征向量输入LSTM网络，输出轨迹时序特征。
[0012]可选的，所述利用多头注意力机制对所述空间交互特征和轨迹时序特征进行交互融合，得到场景上下文特征步骤，具体包括：以所述空间交互特征作为多头注意力机制的键和值，所述轨迹时序特征作为多头注意力机制的查询向量，评估预测目标和周边智能体的关联程度；根据所述关联程度对不同空间区域加权，计算场景上下文特征。
[0013]可选的，所述对所述场景上下文特征进行解码，输出预测目标的未来轨迹步骤，具体包括：利用LSTM网络作为解码器对所述场景上下文特征进行解码，并利用t时刻的隐藏状态预测下一个时间步长t+1时刻的轨迹位置；通过MLP层对轨迹预测时长内的隐藏状态序列作线性变换，输出预测目标的未来轨迹；其中，所述隐藏状态序列为轨迹预测时长内所有隐藏状态的集合。
[0014]第二方面，本申请提供的一种面向城市场景下行人轨迹预测模型，采用如下的技术方案：一种面向自动驾驶的城市场景下行人轨迹预测模型，包括：空间交互模块，用于采用向量表示预测目标周边智能体的轨迹，并基于层级的网络结构提取预测目标的空间交互特征；
轨迹编码模块，用于获取预测目标的历史轨迹信息，并利用LSTM网络提取预测目标历史轨迹信息中的轨迹时序特征；特征融合模块，用于对所述空间交互特征和轨迹时序特征进行交互融合，得到场景上下文特征；轨迹输出模块，用于对场景上下文特征进行解码，输出预测目标的未来轨迹。
[0015]第三方面，本申请提供的一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，存储有能够被处理器加载并执行如第一方面所述的计算机程序。
[0016]综上所述，本申请包括以下至少一种有益技术效果：以场景向量特征作为输入，能直接学习场景中的关键交互信息。另外，基于多头注意力机制能将空间交互特征和轨迹时序特征有效结合，通过对周边智能体分配不同的注意力，使模型更加关注对预测目标产生较大影响的个体，从而有助于提高复杂城市道路场景中行人轨迹的预测效果。
附图说明
[0017]图1是本申请实施例示出的自动驾驶系统架构。
[0018]图2是本申请实施例示出的行人轨迹预测方法的流程图。
[0019]图3是本申请实施例示出的行人轨迹预测方法中轨迹数据预处理的示意图，其中（a）部分是X方向的对比图，（b）部分是Y方向的对比图。
[0020]图4是本申请实施例示出的行人轨迹预测方法中轨迹数据处理的流程图。
[0021]图5是本申请实施例示出的行人轨迹预测方法中用于体现步骤400的网络结构图。
[0022]图6是本申请实施例示出的行人轨迹预测方法中用于体现步骤500的网络结构图。
[0023]图7是本申请实施例示出的行人轨迹预测方法中用于体现步骤600的网络结构图。
[0024]图8是本申请实施例示出的行人轨迹预测方法中用于体现步骤700的网络结构图。
[0025]图9是本申请实施例示出的行人轨迹预测模型的架构图。
具体实施方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向城市场景下行人轨迹预测方法，其特征在于，包括：用向量表示各智能体的轨迹序列，并基于层级的网络结构进行交互编码，得到预测目标的空间交互特征；获取预测目标的历史轨迹信息，并利用LSTM网络提取预测目标历史轨迹信息中的轨迹时序特征；利用多头注意力机制对所述空间交互特征和轨迹时序特征进行交互融合，得到场景上下文特征；对所述场景上下文特征进行解码，输出预测目标的未来轨迹。2.根据权利要求1所述一种面向城市场景下行人轨迹预测方法，其特征在于，所述用向量表示各智能体的轨迹序列，并基于层级的网络结构进行交互编码，得到预测目标的空间交互特征步骤之前，还包括：基于Argoverse运动预测数据集获取车辆轨迹序列和高精地图数据；对所述车辆轨迹序列进行预处理，得到包含预测目标和周边智能体的轨迹片段；根据观测时长最够一帧的智能体位置，筛选在交互范围内的周边智能体轨迹，最终得到长度为观测时长的预测目标和周边智能体的轨迹序列。3.根据权利要求2所述的一种面向城市场景下行人轨迹预测方法，其特征在于，所述根据观测时长最够一帧的智能体位置，筛选在交互范围内的周边智能体轨迹，最终得到长度为观测时长的预测目标和周边智能体的轨迹序列步骤，具体包括：根据观测时长最够一帧的智能体位置，筛选在交互范围内的周边智能体轨迹，删除静止目标及长度不足设定长度的轨迹，对不完整的轨迹进行插值补充，得到长度为观测时长的预测目标和周边智能体的轨迹序列。4.根据权利要求1所述的一种面向城市场景下行人轨迹预测方法，其特征在于，所述用向量表示各智能体的轨迹序列，并基于层级的网络结构进行交互编码，得到预测目标的空间交互特征步骤，具体包括：用向量表示各智能体的轨迹序列，获取向量特征，并根据不同时刻的向量特征集合生成对应的轨迹序列；将所述向量特征映射到高维空间，并在时间维度采用最大池化，得到与轨迹序列对应的高阶特征向量；利用图注意力网络对轨迹序列特征进行高阶交互，得到预测目标的空间交互特征；其中，所述轨迹序列特征为高阶特征向量的集合。5.根据权利...

【专利技术属性】
技术研发人员：陈雪梅，韩欣彤，孔令兴，肖龙，姚诚达，
申请(专利权)人：山东汇创信息技术有限公司，
类型：发明
国别省市：