【技术实现步骤摘要】
一种多模态行人轨迹预测方法、系统、设备及介质
[0001]本专利技术属于计算机视觉
，涉及自动驾驶领域，特别涉及一种多模态行人轨迹预测方法、系统、设备及介质。
技术介绍
[0002]行人轨迹预测是指给定现实场景中一组行人的观测轨迹信息，生成行人在未来一段时间中的预测轨迹，上述任务在很多现实场景中有着重要的应用。示例性的，在自动驾驶场景，汽车可以通过此方式判断行人未来轨迹以提前做出决策；在安防领域，安防摄像头可以通过此方式追踪行人当前以及未来的可能位置。
[0003]目前，现有的行人轨迹预测主要是基于深度学习框架，通过学习观测轨迹的特征来预测未来轨迹，其尚存在以下技术问题：
[0004]由于行人运动的随机性和不确定性，未来行人轨迹是多种可能的(也即多模态)，多模态的轨迹预测是一个非常具有挑战性的任务；上述现有的轨迹预测方法采用将轨迹多模态简化为终点意图多模态，通过先预测多个的轨迹终点，再将预测的多个终点扩展为多条轨迹；这种轨迹预测方法忽略了中间意图，因为行人可能选取不同的中间路径来到达相同终点，导致最终预...
【技术保护点】
【技术特征摘要】
1.一种多模态行人轨迹预测方法，其特征在于，包括以下步骤：获取待预测的观测行人轨迹；基于获取的所述观测行人轨迹，利用预先训练好的多模态行人轨迹预测模型进行未来轨迹预测，获得多模态行人轨迹预测结果；其中，所述多模态行人轨迹预测模型包括：特征提取模块，所述特征提取模块包括观测特征编码器、中间意图特征编码和目标意图特征编码；其中，所述观测特征编码器用于输入观测行人轨迹并进行特征提取，输出观测行人轨迹特征；所述中间意图特征编码用于输入中间意图并进行特征提取，输出中间意图特征编码；所述目标意图特征编码用于输入目标意图并进行特征提取，输出目标意图特征编码；多意图记忆模块，所述多意图记忆模块预先存储有观测行人轨迹特征样本以及与其一一对应的目标意图特征和中间意图特征；其中，所述多意图记忆模块用于输入观测行人轨迹特征，基于相似性匹配获得与输入的观测行人轨迹特征相匹配的观测行人轨迹特征样本，以及与观测行人轨迹特征样本相对应的目标意图特征样本和中间意图特征样本；意图细化模块，用于输入观测行人轨迹特征、与观测行人轨迹特征相匹配的观测行人轨迹特征样本、以及与观测行人轨迹特征样本相对应的目标意图特征样本和中间意图特征样本并进行偏差调整，获得意图细化后的特征；解码器，用于输入所述意图细化后的特征并进行解码处理，输出多模态行人轨迹预测结果。2.根据权利要求1所述的一种多模态行人轨迹预测方法，其特征在于，所述多意图记忆模块包括四个存储空间，分别为观测行人轨迹特征样本存储空间M
p
、中间意图特征样本存储空间M
i
、目标意图特征样本存储空间M
g
和使用率存储空间A；其中，M
p
、M
i
、M
g
和A之间是一一对应关系，已知其中某一存储空间中的任意一条信息，能够找到已知信息在其他存储空间中对应的存储信息；根据观测行人轨迹特征F
p
、中间意图特征F
i
、目标意图特征F
g
是否已经存在于存储空间中，分为两种存储方式；其中，如果以上三种特征已经存在于存储空间中，则只更新M
p
和A，表达式为，A[k]
←
0；k为存储空间中任意存储信息对应的索引；如果以上三种特征没有存在于存储空间中，更新所有存储空间，表达式为，如果以上三种特征没有存在于存储空间中，更新所有存储空间，表达式为，是存储空间A中所有存储信息中最大值的索引。3.根据权利要求1所述的一种多模态行人轨迹预测方法，其特征在于，所述多意图记忆模块中，基于相似性匹配获得与输入的观测行人轨迹特征相匹配的观测行人轨迹特征样本的过程中，采用余弦相似度匹配，然后选取前预设个数的信息。4.根据权利要求1所述的一种多模态行人轨迹预测方法，其特征在于，所述意图细化模块中，进行偏差调整的步骤包括：将与观测行人轨迹特征样本相对应的目标意图特征样本和中间意图特征样本连接并
进行高维度特征提取，获取第一高维特征；获取观测行人轨迹特征与观测行人轨迹特征样本的偏差并进行高维度特征提取，获取第二高维特征；将所述第一高维特征和所述第二高维特征连接并进行聚类处理，获得聚类处理后的特征；将所述聚类处理后的特征与所述观测行人轨迹特征连接，获得意图细化后的...
【专利技术属性】
技术研发人员：王乐，董永昊，周三平，陈仕韬，辛景民，郑南宁，
申请(专利权)人：宁波市舜安人工智能研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。