基于增量学习的时空流式数据预测方法技术

本发明专利技术提供了一种基于增量学习的时空流式数据预测方法，用于智能交通流预测。本发明专利技术方法包括：采集时空流式数据，形成时间序列数据和图数据作为预测模型的输入；建立包括时间规律捕捉模块和空间规律捕捉模块的预测模型，两模块正交，网络参数相互独立；建立增量学习模型，对多批次的时空流式数据增量学习进行约束，利用新预测模型对新批次数据进行预测。本发明专利技术方法缓解了时空预测模型在时空流式数据上的灾难性遗忘，提升了预测模型对未来在线任务的前向迁移效果，提高了对时空流式数据的预测精度，适用于时空流式数据的预测任务。适用于时空流式数据的预测任务。适用于时空流式数据的预测任务。

【技术实现步骤摘要】
基于增量学习的时空流式数据预测方法


[0001]本专利技术属于智能交通
，涉及一种基于增量学习的时空流式数据预测方法。

技术介绍

[0002]共享单车作为一种轻巧便捷的小型出行工具，在现有公共交通系统上架起了一座新的桥梁，成为了城市居民的一种重要出行方式。在人口激增并且日渐拥堵的现代城市中，共享单车系统发展迅速，为城市居民的短距离出行带来了极大的便利，解决了城市居民出行过程的“第一公里”和“最后一公里”难题，因此也受到越来越多城市居民的欢迎。然而，共享单车在现实生活中存在着供需不平衡问题，引起了单车淤积、侵占公共空间等现象，甚至会导致交通微循环的堵塞。因此，基于共享单车实时流式数据，设计从数据预处理，共享单车流量预测到调度策略的协同治理系统，对于城市共享单车治理现状的改善具有积极意义。
[0003]一般而言，共享单车流量预测问题可以建模为一个带有空间特征的时间序列预测问题。同时共享单车流量预测问题也是一个特殊的交通流量预测问题，特殊之处在于其极大的流动性和使用量。交通流量预测早期的工作集中于回归法等数学分析方法上。而最近的研究大都属于深度学习方法，研究人员会在算法模型中设计不同结构的神经网络来尝试分别捕捉数据在时间维度和空间维度上的规律。但是，以往的研究方法都将共享单车系统看作一个静态模型，依赖于固定的历史统计数据进行建模预测，这种做法不能满足如今城市中共享单车流量数据的实时预测任务。共享单车系统的流动性和使用量都会带来极快的流量规律变化，而静态的历史数据无法反映动态变化的实时规律。而流式数据作为在时间分布和数量上无限的一系列动态数据集合体，更能反映城市交通系统运作过程中共享单车骑行流量的变化趋势，因此共享单车流量预测任务需要一种依赖流式数据的建模方式进行流量预测。
[0004]流式数据在共享单车系统中表现为每隔一段时间人为采集生成的多批次数据，具体包括这段时间内用户骑行的出发区域、出发时间、到达区域和到达时间的时空转移流量。而与这段时间的新批次数据相对的，共享单车系统在历史时刻也会产生大量的旧批次数据。通过上文的阐述，这种时空转移流量在新数据和旧数据中的变化规律可能不一致，给基于流式数据的共享单车流量建模方式带来了主要的三大挑战：
[0005](1)非独立同分布困境(Non
‑
iid dilemma)。时空数据在任何固定概率分布上都不是独立同分布的。在时空流式数据中，一旦出现新的共享单车流量预测任务，那么新任务将很可能和旧任务有不同的数据分布。数据分布的改变会造成机器学习和深度学习为代表的一类拟合模型预测能力下降，从而引出后两个“灾难性遗忘”以及“前向迁移需求”的挑战，三者之间的关系如图1所示。
[0006](2)灾难性遗忘(Catastrophic forgetting)。一般的机器学习模型，尤其是基于反向传播的深度学习方法，在新任务上训练后，在旧任务上的表现通常会显著下降。而理想
情况下，模型需要可塑性以获取新知识并适应新环境，同时还需要稳定性以防止忘记以前环境中的知识。如果模型有很高可塑性但不稳定，它可以快速学习新任务但也会快速不适应旧任务。共享单车等交通系统的运行周期是持久的，一些通行流量可能会以季节和年份作为往复周期，因此预测模型对旧任务的拟合能力是不可任意放弃，对旧任务数据规律的快速遗忘是需要避免的。
[0007](3)前向迁移需求(Forward transfer)。如果模型有很高的稳定性但不可塑，算法模型可以长期维持对旧任务的预测能力但不适应新任务。在共享单车流量预测的实际应用过程中，预测模型可以在新一轮的任务训练前给出预测结果，或是在新任务的数据训练完全后再给出预测结果。虽然后者显然比前者会有更高的预测准确率，但是前者能即时提供结果，这对于城市管理者和共享单车管理者都有着非常重要的应用价值。
[0008]因此，期望实现一种每次在线任务训练拟合出的预测模型不仅对旧任务有良好的拟合建模能力，而且对未来的在线任务依然有良好的预测效果。
[0009]增量学习一直是深度学习领域中长期存在的一个研究问题，要求算法模型能够不断地处理现实世界中连续的信息流，在吸收新数据中的知识的同时保留甚至整合、优化旧数据中的知识的能力。在机器学习领域，增量学习致力于解决模型训练的一个普遍缺陷：灾难性遗忘(catastrophic forgetting)。这是指一般的机器学习模型，尤其是基于反向传播的深度学习方法，在新任务上训练后，在旧任务上的表现通常会显著下降。增量学习的目的是克服传统的静态深度学习模型对新数据过拟合和遗忘旧数据特征的困难，这和上文分析的三大挑战较为契合。但是，目前增量学习方法还是主要集中在计算机视觉领域的图片分类问题中，如何从共享单车流量预测问题出发建立一套针对时空流式数据的增量学习方法仍然是一个难题。

技术实现思路

[0010]现有技术存在如下问题：在城市共享单车系统中，单纯依靠经验判断、数理统计、序列预测无法有效捕捉到复杂时空环境中的乘客流量变化规律；而现有的基于机器学习或深度学习的流量预测方法没有考虑到这些乘客流量变化规律。为了解决上述问题，本专利技术提供了一种基于增量学习的时空流式数据预测方法。
[0011]本专利技术提出的基于增量学习的时空流式数据预测方法，包括以下步骤：
[0012]步骤1，采集时空流式数据，统一数据的类型和格式，形成时间序列数据和图数据，作为预测模型的输入；
[0013]步骤2，建立时空流式数据的预测模型；所述的预测模型包括时间规律捕捉模块和空间规律捕捉模块，时间规律捕捉模块由时序因果网络实现，空间规律捕捉模块由图卷积网络实现；时间规律捕捉模块和空间规律捕捉模块的是正交的，二者参数独立，在训练的反向传播过程中不使用共享的训练参数，在反向传播过程中产生的梯度向量正交；
[0014]步骤3，建立增量学习模型，对多批次的时空流式数据增量学习进行约束，利用更新参数后的新预测模型对输入的新批次数据进行预测；
[0015]增量学习模型包括时空记忆库、时空正交知识反向传播模块和内存知识转移模块；其中，时空记忆库用于存储历史时空流式数据；时空正交知识反向传播模块用于在新批次数据输入预测模型前更新时空记忆库；内存知识转移模块利用时空记忆库中历史数据分
别计算时间规律捕捉模块和空间规律捕捉模块的反向传播结果，然后计算预测模型在新批次数据上的参数更新梯度。
[0016]所述的方法在预测共享单车流量时，通过共享单车系统获取每个时间段每个区域之间的出发到达流量，获取输入预测模型的时间序列数据和图数据。
[0017]所述的步骤2中，从输入的图数据和时间序列数据中提取时空数据特征，包括：从图数据提取空间信息维度上的KL散度矩阵，以及从时间序列数据提取时间信息维度上的KL散度矩阵。
[0018]所述的步骤3中，时空正交知识反向传播模块从新批次数据和时空记忆库中，根据时间序列数据和图数据分别计算时间维度相似度距离和空间维度相似度距离，选取相似度距离之和最大的前K组数据更新时空记忆库；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增量学习的时空流式数据预测方法，其特征在于，包括如下步骤：步骤1，采集时空流式数据，统一数据的类型和格式，形成时间序列数据和图数据，作为预测模型的输入；步骤2，建立时空流式数据的预测模型；所述的预测模型包括时间规律捕捉模块和空间规律捕捉模块，其中，时间规律捕捉模块由时序因果网络TCN实现，空间规律捕捉模块由图卷积网络GCN实现；时间规律捕捉模块和空间规律捕捉模块的是正交的，参数独立，二者在反向传播过程中产生的梯度向量正交；步骤3，建立增量学习模型对多批次的时空流式数据增量学习进行约束，利用更新参数后的新预测模型对输入的新批次数据进行预测；所述增量学习模型包括时空记忆库、时空正交知识反向传播模块和内存知识转移模块；其中，时空记忆库用于存储历史时空流式数据；时空正交知识反向传播模块用于在新批次数据输入预测模型前更新时空记忆库；内存知识转移模块利用时空记忆库中历史数据分别计算时间规律捕捉模块和空间规律捕捉模块的反向传播结果，然后计算预测模型在新批次数据上的参数更新梯度。2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，在预测共享单车流量时，通过共享单车系统获取每个时间段每个区域之间的出发到达流量，输入预测模型的数据包括时间序列数据和图数据两种，如下：(1)时间序列数据：设X
(t)
表示在时间步t处的共享单车骑行流量值，X
(t)
的维度为N
×
L
×
D的向量，N为共享单车系统监测区域的数量，L为时间周期长度，D为共享单车骑行流量的特征维度；(2)图数据：将共享单车系统监测的区域作为有向图中的节点，建立有向图其中顶点集包含N个共享单车系统监测的区域，边集ε为中两个区域之间的骑行出发到达关系，通过历史区域间的出发到达流量获得，或通过模型学习获得；邻接矩阵A为N
×
N的实数域矩阵，由边集ε获得。3.根据权利要求1或2所述的方法，其特征在于，所述的步骤2中，从输入的图数据和时间序列数据中提取时空数据特征，包括：从图数据提取空间信息维度上的KL散度矩阵，以及从时间序列数据提取时间信息维度上的KL散度矩阵。4.根据权利要求3所述的方法，其特征在于，所述的步骤3中，时空记忆库中存储历史时空流式数据和时空数据特征。5.根据权利要求1或2所述的方法，其特征在于，所述的步骤3中，时空正交知识反向传播模块更新时空记忆库包括：(1.1)将现有时空记忆库中所有...

【专利技术属性】
技术研发人员：邓攀，张琳，贾晓丰，刘岩，汪慕澜，赵宇，刘俊廷，
申请(专利权)人：北京市大数据中心北京市西城区科学技术和信息化局北京市西城区大数据管理局，
类型：发明
国别省市：