一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法技术

本发明专利技术公开了一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法，具体步骤包括:S1轨迹点的离散化；S2循环神经网络与轨迹建模；S3轨迹恢复；S4利用时空注意力机制，得到基于序列到序列模型的注意力模型；S5将卡尔曼滤波和循环神经网络结合，引入卡尔曼滤波优化均方误差，协同训练卡尔曼滤波与所述注意力模型，得到最终模型。本发明专利技术提供了一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法，通过循环神经网络来建模轨迹点之间的转移规律，利用深度学习中的注意力机制来帮助进行轨迹恢复，最后引入了卡尔曼滤波来建模对象在时间和空间上的移动，从而降低了深度学习模型的不可解释性和误差，具有更强的可解释性，并且降低了轨迹恢复的误差。

A Trajectory Recovery Method Based on Deep Learning and Kalman Filter Modification

The invention discloses a trajectory recovery method based on deep learning and Kalman filter modification, which includes the following steps: discretization of S1 trajectory points; S2 cyclic neural network and trajectory modeling; S3 trajectory recovery; S4 using space-time attention mechanism to obtain the attention model based on sequence-to-sequence model; S5 combines Kalman filter and cyclic neural network to introduce Kalman filter. By optimizing the mean square error, training Kalman filter and the attention model, the final model is obtained. The invention provides a trajectory recovery method based on depth learning and Kalman filter correction. The trajectory transfer rule between trajectory points is modeled by cyclic neural network, and the attention mechanism in depth learning is used to help trajectory recovery. Finally, Kalman filter is introduced to model the object's movement in time and space, thus reducing the insolubility of depth learning model. Explanation and error are more explanatory and reduce the error of trajectory recovery.

【技术实现步骤摘要】
一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法
本专利技术涉及轨迹数据挖掘领域，更具体的说是涉及一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法。
技术介绍
目前的轨迹恢复问题的解决方案相比于过去的轨迹恢复方案最大的区别就在于现有方案都是数据驱动的。通过从大量历史数据中进行挖掘，分析，就可以非常准确地还原将轨迹从低采样率还原成高采样率。然而，现有的方案对于数据的利用还很不充分，大多数解决方案都停留在对数据进行简单地统计，然后通过复杂的启发式搜索地方案搜索出最优的轨迹，这些方案都不能捕捉到轨迹点之间复杂的转移规律。另一方面，随着深度学习的兴起，尽管深度学习模型可以捕捉到数据内部复杂的规律，并且可以融合进多元的信息进行帮助，但是深度学习模型的行为很难解释，它也不能显示建模时空信息，这也会导致其在建模轨迹的时候出现问题。因此，如何提供一个可以捕捉到轨迹数据深层信息并且具有较好可解释性的基于卡尔曼滤波修正的轨迹恢复方法是本领域技术人员亟待解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法，通过循环神经网络来建模轨迹点之间的转移规律，利用深度学习中的注意力机制来帮助进行轨迹恢复，最后引入了卡尔曼滤波来建模对象在时间和空间上的移动，从而降低了深度学习模型的不可解释性和误差，具有更强的可解释性，并且降低了轨迹恢复的误差。为了实现上述目的，本专利技术提供如下技术方案：一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法，具体步骤包括:S1轨迹点的离散化：将一个地理区域划分为长度是la的不相交的网格；所述网格的集合记为J，J按行存储着所有网格的中心点坐标，所述中心坐标记为网格id；S2循环神经网络与轨迹建模：利用循环神经网络对所述离散化的轨迹点进行建模，得到不完整轨迹点序列，所述不完整轨迹点序列不包括缺失的轨迹点；S3轨迹恢复：利用序列到序列的轨迹恢复模型将所述不完整轨迹点序列编码为上下文向量，然后解码器通过上下文向量来预测缺失的轨迹点；S4时空注意力机制：所述序列到序列的轨迹恢复模型利用时空信息将注意力集中到所述不完整轨迹点序列上，不完整轨迹点序列中的点都会被用到，但是被算法认为比较重要的点权重比较大，不重要的点权重很小。通过将模型的注意力集中到不完整轨迹点序列中的部分关键点，可以得到基于序列到序列模型的注意力模型；S5引入卡尔曼滤波来对注意力模型进行修正：将卡尔曼滤波和循环神经网络结合，引入卡尔曼滤波优化均方误差，协同训练卡尔曼滤波与所述注意力模型，得到最终模型。通过上述的技术方案，本专利技术的技术效果是：在轨迹恢复任务中引进注意力机制通过注意力机制，序列到序列模型可以学会将注意力集中到不完整轨迹中的特定部分而不是依赖于编码器的混合输出。更进一步地，基于序列到序列模型中初始的注意力机制，我们提出了时空注意力机制来捕获长期轨迹中时空的变化；将卡尔曼滤波和循环神经网络结合起来更好地建模轨迹，引入先验知识来帮助评估轨迹点的真实状态；除此之外，卡尔曼滤波简洁的形式可以被矩阵操作实现，这使得它可以很方便地跟神经网络结合，由于卡尔曼滤波可以被写成矩阵的形式，从而可以得到一个高效并且支持批处理的神经网络版卡尔曼滤波。优选的，在上述的一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法中，所述S1中所述轨迹点映射到网格上，用网格id来表示轨迹点；循环神经网络的输入即为网格id，同时所述循环神经网络的输出为预测的位置所属网格id；轨迹点pi来自于一个移动的物体并以一个元组的形式被记录(x,y,s,id)；pi·x是经度，pi·y是纬度，pi·s是这个点的时间戳，pi·id是这个点所属位置的id。通过上述的技术方案，本专利技术的技术效果是：把无限空间中有限的个体映射到有限的空间中去，以此提高算法的时空效率。优选的，在上述的一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法中，所述S2中所述循环神经网络包括但不限于：长短时记忆模型和门限制单元模型。通过上述的技术方案，本专利技术的技术效果是：上述两个模型通过门机制解决了普通循环神经网络存在的梯度消失问题，从而可以用来建模较长的轨迹序列同时可以捕获一个较长期的依赖关系。优选的，在上述的一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法中，在所述S3中，不完整轨迹点序列tinc作为输入，基于输入恢复出对应的完整轨迹tcom，具体的步骤如下：编码器从输入的序列中计算出一个表征s，解码器每一个时刻生成一个词，基于序列到序列的轨迹恢复模型将不完整的轨迹点序列编码为上下文向量，解码器通过上下文向量的帮助来预测缺失的点，条件概率分布为：其中，tcom是按时间排序并保持着不变采样间隔ε而且长度为n的轨迹；tcom＝b1→b2→...→bn；tinc是大小为m的完整轨迹tcom的子集；tinc＝aj1→aj2→...→ajm；S31建模已知序列的编码器：所述网格id做为编码器的输入，所述输入被嵌入层转换为低维向量，送入到双向长短时记忆模型中；所述双向长短时记忆模型包括前向LSTM和后向LSTM；前向LSTM按顺序读入输入的向量序列，从而计算出一个前向隐状态序列后向LSTM按照相反的顺序读入输入的向量序列，并计算一个后向隐状态序列在第jk时刻的输出为与之和，记为S32重构缺失轨迹的解码器：当解码器生成下一个点的时，若为已知轨迹点，选择将已知轨迹点拷贝作为神经网络的输出，拷贝机制形式化地写成：假设jk≤i＜jk+1，加入了端点限制到预测阶段来建模局部轨迹信息，解码缺失点重写为：隐状态hi为：hi＝LSTM(bi-1,ei,hi-1)；(4)ei是端点限制向量，引入了包含有局部轨迹起点和终点的端点限制向量；第i时刻的端点限制向量被记为ei，ge是以前向限制和后向限制作为输入来捕捉端点限制信息的函数；所述函数由一个嵌入层和一个多层感知机组成；所有的嵌入层的参数均是被共享的；对于所述序列到序列的恢复模型的训练，写成如下形式：其中，D表示训练集。通过上述的技术方案，本专利技术的技术效果是：优选的，在上述的一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法中，所述S4中，注意力机制的引入，公式(4)写为：hj＝LSTM(bi-1,ei,hi-1,ci)(7)；上下文信息ci的表达式：其中，ci由编码器i时刻输出的隐状态的加权得到；si包含编码器在i时刻的状态；每个隐状态的权重经softmax计算：其中，uij＝vTtanh(Whhi+Wssj)(10)；其中，v是计算内积使用的降维向量；Wh是解码器输出向量变换矩阵；Ws是编码器输出向量变换矩阵；uik＝vTtanh(Whhi+Wssk)，k＝1，2，…，m；由于考虑的是固定时间间隔，时间距离能够通过序列的相对位置来获得；另外，位置相近的点，相似程度越高；第i个要被预测的点和第k个输入的轨迹点d的时间距离被定义为：空间距离被定义为利用时间距离嵌入矩阵T和空间距离嵌入矩阵G将时间距离和空间距离转换成向量，分别记为和最后，时空注意力权重计算为：其中，Wtd是时间距离向量变换矩阵；Wsd是空间距离向量变换矩阵。通过上述的技术方案，本专利技术的技术效果是：通过向量相加的方式，融合了时空信息，位置的表征信息，或者说是高层次的语义信息到注意力机制的权重中，从而大大改进了原始注意力本文档来自技高网...

【技术保护点】
1.一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法，其特征在于，具体步骤包括:S1轨迹点的离散化：将一个地理区域划分为长度是la的不相交的网格；所述网格的集合记为J，J按行存储着所有网格的中心点坐标，所述中心坐标记为网格id；S2循环神经网络与轨迹建模：利用循环神经网络对所述离散化的轨迹点进行建模，得到不完整轨迹点序列，所述不完整轨迹点序列不包括缺失的轨迹点；S3轨迹恢复：利用序列到序列的轨迹恢复模型将所述不完整轨迹点序列编码为上下文向量，然后解码器通过上下文向量来预测缺失的轨迹点；S4时空注意力机制：所述序列到序列的轨迹恢复模型利用时空信息将注意力集中到所述不完整轨迹点序列上，得到基于序列到序列模型的注意力模型；S5引入卡尔曼滤波来对注意力模型进行修正：将卡尔曼滤波和循环神经网络结合，引入卡尔曼滤波优化均方误差，协同训练卡尔曼滤波与所述注意力模型，得到最终模型。

【技术特征摘要】
1.一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法，其特征在于，具体步骤包括:S1轨迹点的离散化：将一个地理区域划分为长度是la的不相交的网格；所述网格的集合记为J，J按行存储着所有网格的中心点坐标，所述中心坐标记为网格id；S2循环神经网络与轨迹建模：利用循环神经网络对所述离散化的轨迹点进行建模，得到不完整轨迹点序列，所述不完整轨迹点序列不包括缺失的轨迹点；S3轨迹恢复：利用序列到序列的轨迹恢复模型将所述不完整轨迹点序列编码为上下文向量，然后解码器通过上下文向量来预测缺失的轨迹点；S4时空注意力机制：所述序列到序列的轨迹恢复模型利用时空信息将注意力集中到所述不完整轨迹点序列上，得到基于序列到序列模型的注意力模型；S5引入卡尔曼滤波来对注意力模型进行修正：将卡尔曼滤波和循环神经网络结合，引入卡尔曼滤波优化均方误差，协同训练卡尔曼滤波与所述注意力模型，得到最终模型。2.根据权利要求1所述的一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法，其特征在于，所述S1中所述轨迹点映射到网格上，用网格id来表示轨迹点；循环神经网络的输入即为网格id，同时所述循环神经网络的输出为预测的位置所属网格id；轨迹点pi来自于一个移动的物体并以一个元组的形式被记录(x,y,s,id)；pi·x是经度，pi·y是纬度，pi·s是这个点的时间戳，pi·id是这个点所属位置的id。3.根据权利要求1所述的一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法，其特征在于，所述S2中所述循环神经网络包括但不限于：长短时记忆模型和门限制单元模型。4.根据权利要求1所述的一种基于深度学习和卡尔曼滤波修正的轨迹恢复方法，其特征在于，在所述S3中，不完整轨迹点序列tinc作为输入，基于输入恢复出对应的完整轨迹tcom，具体的步骤如下：编码器从输入的序列中计算出一个表征s，解码器每一个时刻生成一个词，基于序列到序列的轨迹恢复模型将不完整的轨迹点序列编码为上下文向量，解码器通过上下文向量的帮助来预测缺失的点，条件概率分布为：其中，tcom是按时间排序并保持着不变采样间隔ε而且长度为n的轨迹；tcom＝b1→b2→...→bn；tinc是大小为m的完整轨迹tcom的子集；tinc＝aj1→aj2→...→ajm；S31建模已知序列的编码器：所述网格id做为编码器的输入，所述输入被嵌入层转换为低维向量，送入到双向长短时记忆模型中；所述双向长短时记忆模型包括前向LSTM和后向LSTM；前向LSTM按顺序读入输入的向量序列，从而计算出一个前向隐状态序列后向LSTM按照相反的顺序读入输入的向量序列，并计算一个后向隐状态序列在第jk时刻的输出为与之和，记为S32重构缺失轨迹的解码器：当解码器生成下一个点的时，若为已知轨迹点，选择将已知轨迹点拷贝作为神经网络的输出，拷贝机制形式化地写成：假设jk≤i＜jk+1，加入了端点限制到预测阶段来建模局部轨迹信息，解码缺失点重写为：隐状态hi为：hi＝LSTM(bi-1,ei,hi-1)；(4)ei是端点限制向量，引入了包含有局部轨迹起点和终点的端点限制向量；第i时刻的端点限制向量被记为ei，ge是以前向限制和后向限制作为输入来捕捉端点限制信息的函数；所述函数由一个嵌入层和一个多层感知机组成；所有的嵌入层的参数均是被共享的；对于所述序列到序列的恢复模型的训练，写成如下形式：其中，D表示训练集。5.根据权利要求1所述的一种基于4卡尔曼滤波修正的轨迹恢复方法，其特...

【专利技术属性】
技术研发人员：王静远，吴宁，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11