一种基于低秩张量动态模式分解的数据缺失情况下交通预测方法技术

本发明专利技术提出了一种基于低秩张量动态模式分解的数据缺失情况下交通预测方法。首先引入动态模式分解的张量形式，将每一天时间序列的动态变化表示成由不同状态转移矩阵组成的动态张量，用于捕捉交通数据中的动态特性。然后引入掩码算子，约束重构出来的观测张量与带有缺失数据的原始观测张量在数据未缺失部分误差尽可能小。之后考虑到交通数据的时间周期性和空间相似性，在动态张量上施加全局的低秩约束和时间约束。最后对重构的观测张量进行求解，得到预测结果。实验证明，在数据缺失的影响下，本发明专利技术提出的方法能够有效实现交通预测任务。务。务。

【技术实现步骤摘要】
一种基于低秩张量动态模式分解的数据缺失情况下交通预测方法


[0001]本专利技术涉及智能交通系统领域，具体涉及一种基于低秩张量动态模式分解的数据缺失情况下交通预测方法。

技术介绍

[0002]交通数据短时预测是实现智能交通管理的重要环节,它可以帮助交通管理者和出行者及时掌握交通状态的变化趋势，做出有效决策。由于硬件故障、天气干扰、传输故障等原因，交通数据普遍存在缺失，严重影响交通预测的准确性。为了减少数据缺失带来的影响，很多方法在预测前对数据的缺失部分进行填充，但数据填充带来的误差可能会在预测时造成进一步的偏差。此外，该策略很难保证预测的时效性。因此，受到缺失数据以及交通网络的不断复杂化的影响，如何完成交通数据缺失情况下的准确预测是一个重要问题。
[0003]基于矩阵和张量的预测方法是数据缺失情况下交通预测问题的一类解决方法，主要利用了降维的思想。其中的因子分解方法将时间序列组织成矩阵/张量，并将其投影到低维空间中提取主要模式，重构矩阵/张量作为观测值的近似，从而对原始数据中的异常和缺失进行更新。另一种迹范数最小化方法通常在矩阵/张量上假设一个低秩结构，并将非凸的秩最小化问题转化为凸迹范数最小化问题。然而上述的预测方法大多只考虑了观测数据本身的特性，忽略了时间序列的动态变化，难以捕捉发生突变的情况。
[0004]另一方面，深度学习方法近年来逐渐应用于交通预测领域，他们通过训练大量的历史数据建立预测网络。然而，大多数深度学习方法没有考虑缺失情况下的数据，数据的严重缺失可能会对预测性能造成很大的影响。r/>
技术实现思路

[0005]本专利技术的目的在于解决数据缺失情况下的交通预测问题，提出了一种基于低秩张量动态模式分解的交通预测方法。该方法基于不完备的交通数据进行交通预测，将预测问题转化为张量补全问题，将需要预测的时间序列看作缺失值，同时完成数据修复和预测，包括以下步骤：
[0006]步骤1，将完整的交通时间序列分别按照观测点，时间点和天三个维度构建完整的交通数据观测张量根据基于Koopman算符的动态模式分解方法，将观测张量中每天连续时间序列的动态变化表示成不同的状态转移矩阵每天连续时间序列的动态变化表示成不同的状态转移矩阵将这些状态转移矩阵组织成动态张量引入动态模式分解的张量形式；
[0007]步骤2，针对交通数据中的缺失问题引入掩码算子根据真实采集到的原始数据构建原始观测张量构建原始观测张量用于标记中缺失数据的位置，掩码算子大小与原始观测张量以及补全后完整的观测张量相同,完整的观测张量与原始带有缺失的观测张量有如下关系：
[0008]步骤3，根据交通数据的时间周期性和空间相似性，动态张量具有低秩结构，因此在动态张量上施加低秩约束根据张量CP分解将分解成带有空间特征的因子矩阵U，V和带有时间特征的因子矩阵W，低秩约束进一步转化为考虑到动态张量的时间变化特性，对动态张量做局部的时间约束其中D为一阶差分矩阵。防止相邻天的模式变化过多。得到数据缺失情况下基于低秩张量动态模式分解的预测方法：
[0009][0010]步骤4，求解U，V，W，得到更新迭代表达式，则求解得到的中最后一个正向矩阵中的最后一个时间序列为预测结果。
[0011]本专利技术所述的一种基于低秩张量动态模式分解的数据缺失情况下交通预测方法，与现有的交通预测方法相比，具有如下有益效果：
[0012]1.所述方法适用于不完整数据的交通预测，也适用于异常情况的数据(持续一段时间的流量突然增减)，因为Koopman算子可以随动态变化进行更新。
[0013]2.将DMD算法从矩阵扩展到张量，用不同的Koopman算子表示相邻时间序列在不同天的变化过程。这些Koopman算子构成了记录时间序列数据状态转移信息的动态张量，可以更好地捕捉交通数据的动态变化。
[0014]3.在动态张量上施加了低秩约束，以表示全局的时空相关性，并引入时间约束，约束相邻天时间序列的变化趋势，很好地提取了时空特征。
附图说明
[0015]图1为本专利技术中引入动态模式分解的张量形式的过程。
具体实施方式
[0016]下面结合附图和实施例对本专利技术一种基于低秩张量动态模式分解的数据缺失情况下交通预测方法做进一步说明和详细描述。
[0017]图1为本专利技术引入动态模式分解的张量形式的过程示意图。本专利技术提出的交通预测方法想要实现的预测的任务是：通过捕捉历史观测数据中的动态变化，对未来的交通情况进行短时预测，即通过拟合动态张量预测观测张量中最后一个时间点的情况(图1张量中框选的序列)。
[0018]步骤1：将基于低秩张量动态模式分解的数据缺失情况下交通预测方法应用于公开的真实数据集。
[0019]本方法已在两个真实世界的数据集中进行验证，两个数据集具体描述如下：
[0020]PeMS数据集：PeMS数据集采集加州公路系统的速度时间序列数据。它包含了2012年5月至6月的工作日数据，包含44天，228个站点，每天288个时间点(即5分钟频率)。
[0021]Guangzhou数据集：广州数据集展示了2016年8
‑
9月广州市214个路段的速度数据，
包含61天，每天144个时间点(即10分钟频率)。原始数据集中有1.29％的缺失，包含24187个观测值。
[0022]针对以上两个数据集，分别对模型的参数λ1、λ2、λ3、R进行设置。采用交替最小化算法对参数进行调优。对于λ1，在固定其他参数的同时，在以10的指数项集合的范围{0.0001，0.001，0.01，0.1，1，10，100，1000}中遍历，选取最佳的两个实验结果对应的参数值作为下一轮搜索最佳参数的边界值，由此得到新的搜索范围。继续划分合适的搜索边界，并在新范围内如此循环搜索直到得到最佳的实验结果。λ2，λ3与λ1的设置方式相同。对于张量CP分解的秩R，它反映了动态张量的全局低秩结构和特征成分的维度，不同的数据集有不同的最优秩，通过在固定其他参数的同时从1开始逐步增大R，直到得到最优的预测结果来确定R的值。
[0023]根据上述参数设置方法，对于PeMS数据集，R＝94，λ1＝0.01，λ2＝0.33，λ3＝140，对于Guangzhou数据集，R＝87，λ1＝0.004，λ2＝0.33，λ3＝85。
[0024]由于原始数据集缺失率较低，为了验证在数据缺失情况下的预测性能，在原始数据集自带的缺失之外制造缺失数据，考虑了缺失率为20％和40％的两种缺失情况：(1)随机缺失。即缺失点是随机的，与其他变量或属性无关。在本例中，分别随机地在观测张量的行和列中取出20％和40％的元素。(2)时间连续缺失，即缺失连续的时间点。这种缺失通常是由设备故障引起的。在实验中，将两个小时的数据视为一个连续的缺失数据段，在观测数据集中选择随机的天数去除足够数量的缺失数据段，达到20％和40％的两种缺失率，并确保所有缺失的部分不重叠。对于PeMS数据集和Guangzhou数据集来说，每个缺失数据段分别包含24本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于低秩张量动态模式分解的交通预测方法，其特征在于，具体过程如下：步骤1：引入动态模式分解的张量形式动态模式分解旨在提取出原始数据中的隐含动态特征；假设采集到的交通时间序列观测矩阵其中N为矩阵中的行向量个数，物理意义上为观测点个数，M为矩阵中的列向量个数，表示时间点个数；观测矩阵Z中第i行第j列的元素Z
i,j
表示第i个观测点在第j时刻的观测数据，则Z中每个列向量，即每个时间序列中包含N个观测点的观测值；i＝1,2,...,M；根据Z中前M
‑
1个时间序列和后M
‑
1个时间序列将观测矩阵Z拆分为X和Y两个大小均为N
×
(M
‑
1)的相邻时间快照矩阵，具体形式如下：基于Koopman算子的动态模式分解目的在于寻找一个最优的拟合矩阵使得Y≈KX，即≈KX，即表示Moore
‑
Penrose伪逆，K为Koopman算子，表示了交通系统中相邻时间序列的转化过程；将交通时间序列数据组织成一个观测张量，并将动态模式分解扩展到张量形式，捕捉每一组快照矩阵间的细微差异，提取交通数据的动态特征；首先构建数据完整情况下的观测张量，将采集到的由N个观测点和L个时间序列组成的观测矩阵按照同样大小的时间长度M分割成连续且不重叠的T个时间窗口，则每个时间窗口的大小为N
×
M，L＝M
×
T；将分割成的T个子观测矩阵即时间窗口按照时间顺序依次排列，建立N
×
M
×
T大小的观测张量；这里将一天内时间序列的个数设置为一个时间窗口长度M，T为采集到的时间序列数据中所包含的时间窗口个数，即所采集数据中包含的天数，N为观测点个数；由此建立数据完整情况下的观测张量个数；由此建立数据完整情况下的观测张量和分别表示张量的水平面矩阵，侧面矩阵和正面矩阵，下标中的“:”表示这一维度的所有元素；中元素表示张量的第k个正面矩阵中第i行第j列的数据，物理意义上为第k天中第i个观测点在第j时刻的观测值；利用基于Koopman算子的动态模式分解将观测张量中第k个正面矩阵即第k天时间序列观测矩阵根据前M
‑
1个时间序列和后M
‑
1个时间序列拆分为Y
k
和X
k
两个数据快照矩阵，假设每一组快照矩阵Y
k
和X
k
对应不同的动态拟合矩阵A
k
，则以第k组快照矩阵为例，则时间序列矩阵之间遵循如下线性关系：Y
k
≈A
k
X
k
其中为观测张量中第k个正面观测矩阵的Koopman算子，记录了第k天相邻时间序列的状态转移过程；由于张量在时间维度上有T个观测矩阵，则拆分为T对快照矩阵
以及对应的T个Koopman算子；将所有的Koopman算子A1，A2,
……
,A
T
组织成张量形式，构建动态张量则记录了每一天时间序列的状态转移过程，是状态转移矩阵的集合，因此在时间和空间上都包含Z的动态特征；假设中最后一个正面观测矩阵即第T个中的最后一个时间序列即第M列为待预测的时间序列，则根据动态模式分解通过得到数据完整情况下的预测结果；利用最小二乘法拟合求解数据完整情况下的动态张量：步骤2：引入掩码算子当采集的交通流快照同真实交通流的运动对应时，Koopman算子能够捕捉到交通流系统的全部动态变化，通过预测未来的交通时间序列数据引入掩码算子来标记真实的原始数据中的缺失情况；由于原始观测数据的不完整性，将真实生活中采集到的交通时间序列观测数据按照步骤1中的方法组织成张量性，将真实生活中采集到的交通时间序列观测数据按照步骤1中的方法组织成张量中带有真实采集过程中引入的缺失值；将步骤1中完整数据情况下组织的观测张量看作重构后的完整张量，则需要通过求解重构后的张量来获得它的最后一个正面观测矩阵上最后一个时间序列的预测值因此目标函数除了求解还需要求解求解和满足以下关系：其中掩码算子与大小相同，负责标记原始观测数据中缺失数据的位置，如下式所示，a，b，c分别为张量三个维度上的位置索引，表示张量第c个正面矩阵第a行第b列的元素，同理：通过对两个张量和进行对应位置元素乘积运算，重构张量与观测张量中对应未缺失部分的原始数据尽可能接近；针对数据缺失情况下的交通时间序列预测问题建立如下基于张量的动态模式分解方法：法：其中，
⊙
为Hadamard积，即张量中对应元素相乘；步骤3：在动态张量上施加低秩约束和时间约束由于原始观测数据是带有缺失的...

【专利技术属性】
技术研发人员：张勇，章馨予，魏秀兰，尹宝才，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：