一种基于字典的轨迹预测系统及方法技术方案

本发明专利技术公开了一种基于字典的轨迹预测系统及方法，属于深度学习技术领域

【技术实现步骤摘要】
一种基于字典的轨迹预测系统及方法


[0001]本专利技术涉及深度学习
，具体涉及一种基于字典的轨迹预测系统及方法
。

技术介绍

[0002]为了保证在复杂环境中驾驶的安全性，理解并准确预测车辆或船舶等运动物体的未来轨迹成为一项具有挑战性的任务
。
近年来，学者们针对该任务提出了不同的解决方法，包括基于动力学
、
基于概率统计学
、
基于机器学习，以及基于深度学习的方法
。
最近，深度学习技术成功推进了人工智能领域的发展，被应用到各种领域
。
深度学习使用人工神经网络对数据特征进行提取与表征学习，是一种包含复杂结构的抽象算法，它可以看成是由多个网络层组合在一起，每个层将前一层提取的特征转换为更高和更抽象的表示，相较于动力学
、
概率统计学
、
机器学习等方法，它展现出了更强的学习能力
。
其中，
Seq2Seq(Sequence to sequence
，序列到序列
)
模型在深度学习领域非常流行
。Seq2seq
是一种序列到序列的学习架构，通过编码器
‑
解码器能够实现可变长度序列的任务
。
由于
LSTM(Long Short
‑
Term Memory
，长短期记忆网络
)
能够有效记忆长序列数据的依赖关系，非常适用于序列数据的处理，因此
>LSTM
通常被用作
seq2seq
架构中编码器和解码器网络的构建块
。
学者们注意到基于
LSTM
的
Seq2seq
架构的有效性和灵活性，将该架构应用到轨迹预测问题中
。
本专利技术将轨迹预测任务视为序列到序列的问题，在现有的
Seq2seq
架构的基础上进行创新，因此，下面将对
Seq2seq
架构以及相关研究进行详细介绍
。
[0003]序列到序列
seq2seq
架构是一种为端到端学习而设计的神经网络
,
能够接收可变长度的序列作为输入，经过一系列复杂的映射变换后，生成可变长度的输出序列，输入长度和输出长度可以不等
。
该体系结构已被证明在各种机器学习任务上是成功的，例如机器翻译
、
对话生成
、
文本摘要等
。
[0004]在典型的
seq2seq
框架中有两个主要的组件：编码器和解码器，因此
seq2seq
框架也叫编码器
‑
解码器网络
。
其工作机制如下：
[0005]首先，编码器会根据接收到的输入序列产生固定长度的向量表示，也称为上下文向量，该上下文表示能够捕获整个序列的特征，对输入序列进行语义编码
。
该上下文向量旨在封装从输入序列学习的生成相应输出序列所需的所有相关信息
。
上下文向量是编码器的最终状态，然后被传递到解码器
。
解码器使用编码器的上下文向量和一个特殊的序列开始标记作为输入来生成输出序列，例如将输入句子翻译成另一种语言的输出句子
。
解码器是逐字逐句产生输出的，在当解码器在每个预测时间步长生成输出序列的每个令牌时，它还考虑前一时间步生成的预测，从而创建反馈循环，允许它基于自己先前预测的输出来细化其预测
。
[0006]编码器
‑
解码器架构使用反向传播进行端到端训练，以最小化预测输出序列和实际输出序列之间的差异
。
在训练期间，解码器被训练为在给定当前隐藏状态和所生成的前一个字的情况下在输出序列中生成正确的下一个字
。
这个过程会向解码器提供目标输出序列，以引导解码器在每一个时间步修正预测的结果，这种训练策略也叫
teacher forcing
；
但在推理期间，不会给解码器提供目标输出序列，解码器必须在给定上下文向量的情况下自行生成输出序列，解码器通过上一个时间步的预测推测出当前时间步的预测结果
。
以这种方式，解码器不断预测每个时间步，直到生成特殊的序列结束标记或达到最大长度
。
[0007]Seq2seq
架构的这些特征是由
RNN
实现的，
RNN
可以在序列中从一个时间步长传递信息到下一个时间步骤
。
具体而言，所使用的
RNN
通常是
LSTM
或
GRU
变体，因为它们能够更好地处理长期依赖关系
。
因此，
Seq2seq
模型由两个
RNN
组成，一个作为编码器，另一个作为解码器
。
[0008]seq2seq
架构具有以下特性：
[0009]1)
输入和输出的序列长度可以不固定：
Seq2seq
模型可以处理可变长度的输入和输出序列，使其适用于多种任务，在这些任务中，输入和输出顺序可以有不同的长度
。
而传统的
NLP
模型，通常依赖于固定长度的特征表示
,
不能捕捉序列的顺序性质
,
因此不适合处理可变长度的输入和输出序列
。
[0010]2)
输入和输出序列之间存在严格的时序逻辑
。RNN
能够一步一步读取输入序列，同时基于先前的输出和当前的隐藏状态一步一步地生成输出序列，因此，
seq2seq
模型非常适合输入和输出序列具有强时间结构的任务
。
[0011]3)
内存的有效使用：
Seq2seq
模型的编码器最终将输入序列压缩表示为一个固定大小的向量，因此，无论输入序列的长度如何，这个上下文向量的大小不会改变，更长的输入不会消耗额外的内存
。
[0012]目前已有的
MANTRA(Memory Augmented Neural Trajectory predictor
，记忆增强神经轨迹预测器
)
，使用加入记忆增强网络的
Seq2seq(Sequence to sequence
，序列到序列
)
架构对目标车辆进行多模态预测
(
参见文献
Marchetti,F.,Becattini,F.,Seidenari,L.,&Bimbo,A.D..(2020).Mantra:memory augmented networks for multiple trajectory prediction.arXiv.)
，该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于字典的轨迹预测系统，其特征在于，包括聚类模块
、
字典模块以及编码器
‑
注意力
‑
解码器预测架构；所述聚类模块，用于针对轨迹数据集进行聚类，以选取代表性轨迹；所选取代表性轨迹送入字典模块；所述字典模块利用过去编码器和未来编码器进行字典的构建；所述字典模块利用过去编码器对每个所述代表性轨迹中的历史轨迹部分进行编码来生成字典中的键；所述字典模块利用未来编码器对每个代表性轨迹的未来轨迹部分进行编码来生成字典中的值；由键值对组成字典；所述编码器
‑
注意力
‑
解码器预测架构为包括过去编码器
、
卷积神经网络
CNN
以及注意力机制解码器组成的序列到序列
Seq2seq
架构；目标轨迹输入至所述编码器
‑
注意力
‑
解码器预测架构，由过去编码器对目标轨迹的历史轨迹部分进行编码，得到观测特征编码，利用所述观测特征编码，查询所述字典，构建辅助特征；通过卷积神经网络
CNN
将辅助特征与所述观测特征编码进行融合，融合后的特征作为注意力机制解码器的初始隐藏状态，注意力机制解码器输出预测的未来轨迹
。2.
如权利要求1所述的一种基于字典的轨迹预测系统，其特征在于，所述聚类模块，用于针对轨迹数据集进行聚类，以选取代表性轨迹；其所采用的聚类方法为
K
‑
means
方法
。3.
如权利要求1所述的一种基于字典的轨迹预测系统，其特征在于，所述利用所述观测特征编码，查询所述字典，构建辅助特征，具体包括查询和构建两个过程：查询过程为：目标轨迹的所述观测特征编码与字典中的所有的键做点乘，并且通过
softmax
函数获得概率，得到目标轨迹与分别与每个代表性轨迹对应的聚类
i
的中心之间的相似度；构建过程为：将字典中的每个值乘以对应的相似度，以获得构建的辅助特征
。4.
一种基于字典的轨迹预测方法，其特征在于，包括如下步骤：步骤一：针对轨迹数据集进行聚类，...

【专利技术属性】
技术研发人员：耿晶，高菀聪，毛思扬，刘彬，党迎旭，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：