一种基于多隐变量预测器及关键点的行人轨迹预测方法技术

本发明专利技术涉及一种基于多隐变量预测器及关键点的行人轨迹预测方法，属于计算机视觉和自动驾驶技术领域。该方法包括以下步骤：①轨迹序列经过Informer‑编码器处理得到特征向量；②通过两个不同的隐变量预测器分别生成轨迹隐变量和关键点隐变量；③通过关键点隐变量生成轨迹关键点，并初始化Informer‑解码器；④Informer‑解码器结合轨迹隐变量生成预测轨迹，最后计算损失函数。本发明专利技术采用Informer作为基础网络，引入两个不同的隐变量预测器分别预测轨迹和关键点的隐变量，基于关键点隐变量预测轨迹关键点，再用轨迹关键点初始化解码器并计算关键点的损失。可用于自动驾驶车辆对于行人、车辆等代理的轨迹预测，帮助车辆更好地进行决策，保护交通安全。

【技术实现步骤摘要】
一种基于多隐变量预测器及关键点的行人轨迹预测方法
本专利技术涉及一种基于多隐变量预测器及关键点的行人轨迹预测方法，属于计算机视觉和自动驾驶

技术介绍
自动驾驶行业也已经持续火热多年，但是行业内对于何时能真正实现无人驾驶还尚无定论。其中一个很重要的原因是，在复杂场景下，难以对周边行人的轨迹做出合理的预判。所以，如果无法攻克这个难题，再完美的决策和控制技术都不可能实现绝对安全的无人驾驶。因此，近年来行人轨迹预测逐渐成为计算机视觉领域一个热门的研究问题。行人作为弱势群体，最需要得到外界的保护。在人类驾驶中，司机可以通过判断行人的运动状态，从而做出正确的决策，避免交通事故的发生。然而，自动驾驶系统若仅通过检测和跟踪行人，难以做出合理的决策。如果检测到行人就停止，会增加交通拥挤度，而错误地选择继续前行，会导致碰撞的发生。为此，对行人未来轨迹做出合理的预测，可以提高交通系统的安全性和通畅性。然而，行人轨迹预测存在很大的挑战，主要由于人类行为的复杂性以及外部的刺激。运动行为可能受自身的目标意图、周围主体的行为、主体之间的社会关系、社会规则和环境的拓扑结构等所影响。此外，为了在实践中取得有效的结果，轨迹预测必须具有鲁棒性和实时性。为了解现有技术的发展状况，本专利技术对已有的专利和论文进行了检索、比较和分析，筛选出如下与本专利技术相关度比较高的技术方案：方案1：2016年的CVPR论文“Sociallstm:Humantrajectorypredictionincrowdedspaces”是最早使用长短期记忆网络(LSTM)来建模并预测行人的轨迹，同时引入社会池化层(SocialPoolingLayer)来提取行人之间的交互信息。然而，像LSTM之类的循环神经网络只能顺序处理序列，并行处理能力差，效率低。方案2：2018年CVPR论文“Socialgan:Sociallyacceptabletrajectorieswithgenerativeadversarialnetworks”引入生成对抗网络(GAN)实现多轨迹预测。SocialGAN同样基于LSTM，所以存在处理效率低下的问题。同时，GAN在训练过程中存在梯度消失、模式崩溃、稳定性差等问题。方案3：2020年ICPR论文“TransformerNetworksforTrajectoryForecasting”基于Transformer进行轨迹预测。Transformer解决了无法并行化的问题，但仍然存在以下三个缺陷：1.自注意力机制导致平方级别的时间复杂度。2.堆叠的网络导致内存占用率高。3.逐步解码预测，导致推理速度很慢，预测存在累积的误差。可见，现有的行人轨迹预测技术存在网络开销大、训练速度慢、推理速度慢等性能问题，不适合在实际场景中应用；以及训练过程稳定性差的问题，具体表现在：一是内存开销大。Transformer通常堆叠Transformerblocks形成多层的体系结构，Transformerblocks包括多头注意力机制、前馈网络、层归一化和残差连接器等，结果导致Transformer内存占用率高。二是训练和推理速度慢。LSTM顺序处理序列，缺乏并行处理的能力，因此效率低下。Transformer基于自注意力机制，没有循环结构，可以并行处理数据。但是，自注意力机制会导致平方级别的运算时间复杂度。另外，Transformer基于编码器-解码器结构，推理阶段采用逐步解码方式，即只有完成t时刻的预测才能继续预测t+1时刻，导致推理速度很慢。三是GAN的局限性。GAN在训练过程中存在以下三个问题。1)GAN的最终目标是要达到纳什均衡，但是很难使生成器和判别器同时收敛，且经常出现震荡，实验结果随机，难以复现。2)当判别器非常准确时，判别器的损失很快收敛到0，从而无法提供可靠的路径使生成器的梯度继续更新，造成生成器梯度消失。3)对于不同的输入生成相似的样本，最坏的情况仅生成一个单独的样本，造成模式坍塌。
技术实现思路
本专利技术旨在提供一种性能强、准确率高的基于多隐变量预测器及关键点的行人轨迹预测方法，针对内存开销大的问题，本专利技术采用Informer的自注意力蒸馏技术，在保留关键信息的情况下大幅度减小内存占用。针对训练和推理速度慢的问题，本专利技术采用Informer的概率稀疏自注意力机制和生成式解码器。针对GAN的局限性，本专利技术基于编码器-解码器结构，同时引入关键点隐变量预测器和轨迹隐变量预测器，独立预测关键点和轨迹的隐变量，基于关键点隐变量预测轨迹关键点，并计算关键点的损失，提高预测精度。本专利技术的目的是这样实现的，一种基于多隐变量预测器及关键点的行人轨迹预测方法，其特征在于：该方法包括以下步骤：步骤S110，对轨迹序列进行位置编码，并输入Informer-编码器得到特征向量；步骤S120，基于特征向量，轨迹隐变量预测器生成轨迹隐变量h1，关键点隐变量预测器生成关键点隐变量h2；步骤S130，通过关键点隐变量h2生成轨迹关键点，并用轨迹关键点初始化Informer-解码器对应的位置；步骤S140，对Informer-解码器的初始化序列进行位置编码，然后结合轨迹隐变量h1生成预测轨迹，最后计算损失函数。本专利技术的优点和技术效果是：1、采用Informer的自注意力蒸馏技术、概率稀疏自注意力机制以及生成式解码器作为基础网络的核心技术，提高训练速度和推理速度，减少网络的内存开销，并提高预测精度。2、引入关键点隐变量预测器和轨迹隐变量预测器，独立预测关键点和轨迹的隐变量，提升关键点的预测精度。3、基于关键点隐变量预测轨迹关键点，轨迹关键点选择中间点和终点，再用轨迹关键点初始化解码器对应的位置，使轨迹受到更多的约束，提高模型的预测精度。4、计算关键点的损失，提高关键点的预测精度，增强对预测轨迹的约束能力。5、本专利技术可用于自动驾驶车辆对于行人、车辆等代理的轨迹预测，帮助车辆更好地进行决策，保护交通安全。自动驾驶车辆对行人、车辆等代理的轨迹预测，采用Informer的自注意力蒸馏技术、概率稀疏自注意力机制以及生成式解码器作为基础网络的核心技术。引入两个不同的隐变量预测器分别预测轨迹和关键点的隐变量。基于关键点隐变量预测轨迹关键点，再用轨迹关键点初始化解码器对应的位置，并计算关键点的损失。附图说明图1是本专利技术基于多隐变量预测器及关键点的行人轨迹预测方法的总体流程图。图2是本专利技术基于多隐变量预测器及关键点的行人轨迹预测方法的网络结构图。图3是本专利技术Informer-编码器的处理流程图。图4是本专利技术条件变分自编码器网络结构图。图5是本专利技术隐变量预测器的处理流程图。图6是本专利技术Informer-解码器的处理流程图。图7是本专利技术高斯随机神经网络结构图。图8是本专利技术混合高斯随机神经网络和条件变分自编码器的网络结构图。具体实施方式为了使本领域技术人员更好地理解本专利技术，下面结合本文档来自技高网...

【技术保护点】
1.一种基于多隐变量预测器及关键点的行人轨迹预测方法，其特征在于：该方法包括以下步骤：/n步骤S110，对轨迹序列进行位置编码，并输入Informer-编码器得到特征向量；/n步骤S120，基于特征向量，轨迹隐变量预测器生成轨迹隐变量h

【技术特征摘要】
1.一种基于多隐变量预测器及关键点的行人轨迹预测方法，其特征在于：该方法包括以下步骤：
步骤S110，对轨迹序列进行位置编码，并输入Informer-编码器得到特征向量；
步骤S120，基于特征向量，轨迹隐变量预测器生成轨迹隐变量h1，关键点隐变量预测器生成关键点隐变量h2；
步骤S130，通过关键点隐变量h2生成轨迹关键点，并用轨迹关键点初始化Informer-解码器对应的位置；
步骤S140，对Informer-解码器的初始化序列进行位置编码，然后结合轨迹隐变量h1生成预测轨迹，最后计算损失函数。


2.根据权利要求1所述的一种基于多隐变量预测器及关键点的行人轨迹预测方法，其特征在于：在所述步骤S110中，根据模式选择是否输入未来真实轨迹序列，对轨迹序列进行位置编码，再送入Informer-编码器得到特征向量；
首先，定义行人的观测轨迹序列和未来真实轨迹序列，具体表达式如下：






其中，N表示轨迹的总条数，Xi表示第i条观测轨迹，tobs表示观测轨迹持续的时间，Yi表示第i条未来真实轨迹，tpred表示未来轨迹持续的时间，表示轨迹i在t时刻的坐标，
步骤S111，输入观测轨迹序列；
步骤S112，对模式进行判断，若不在训练阶段，则直接到步骤S114；若处在训练阶段，则跳到步骤S113；
步骤S113，输入未来真实轨迹序列；
步骤S114，对序列进行位置编码；位置编码的公式如下：



其中，PE表示被编码的向量，其中t表示坐标在序列中的位置；2k或2k+1表示向量的第2k或2k+1个维度，编码的维度为dmodel；最后，把2维的坐标序列映射到dmodel维度，并和位置编码后的向量PE进行相加，得到嵌入位置信息后的高维向量；具体的公式如下：



其中，δ表示多层感知机，Wee是其对应的参数，PE是位置编码后的向量，是嵌入位置信息的高维向量；
步骤S115，Informer-编码器对序列进行编码，得到特征向量；在训练阶段，编码器需要对观测轨迹和未来真实轨迹进行编码，分别输出两个特征向量hX和hY；在推理阶段，未来真实轨迹不可知，所以只对观测轨迹进行编码得到hX，具体的计算过程如下：






其中，Encoder表示Informer-编码器，Wencoder是其对应的参数。


3.根据权利要求1所述的一种基于多隐变量预测器及关键点的行人轨迹预测方法，其特征在于：在所述步骤S120中，轨迹隐变量预测器和关键点隐变量预测器均采用条件变分自编码器网络，但是输入有所不同；网络包含先验网络和识别网络两个子网络，测试阶段只使用先验网络，并基于先验网络得到隐变量；训练阶段同时使用先验网络和识别网络，并基于识别网络得到隐变量；识别网络是后验概率Q(Z|X,Y)的实现，先验网络Pθ(Z|X)是先验概率P(Z|X)的实现，其中θ分别是两个网络对应的参数；
步骤S121，观测轨迹的特征向量hX通过先验网络计算高斯分布的均值μp和方差∑p，得到N(μp,∑p...

【专利技术属性】
技术研发人员：陈禹行，林华东，李雪，范圣印，
申请(专利权)人：北京易航远智科技有限公司，
类型：发明
国别省市：北京;11