一种基于缺失数据集的交通流量预测方法技术

本发明专利技术涉及一种基于缺失数据集的交通流量预测方法，具体步骤如下：该方法通过改进的概率主成分分析(PPCA)先将缺失的数据补全，然后利用主成分分析(PCA)将每一个传感器记录的流量数据进行去趋势化，将去除主要趋势以后的偏差数据作为长短时记忆网络(LSTM)预测模型进行流量预测。与现有技术相比，本发明专利技术数据补全的效率高、更为准确，并且充分利用了传感器的历史数据进行全局考虑，可以有效提升预测的性能，提高交通流量预测的准确性和效率。

A Traffic Flow Forecasting Method Based on Missing Data Set

The present invention relates to a traffic flow forecasting method based on missing data sets. The specific steps are as follows: the method first completes the missing data by improved probabilistic principal component analysis (PPCA), then uses principal component analysis (PCA) to de-trend the traffic data recorded by each sensor, and previews the deviation data after removing the main trend as long-term and short-term memory network (LSTM). The measurement model is used to predict the flow rate. Compared with the prior art, the data completion method of the present invention is more efficient and accurate, and takes full advantage of the historical data of the sensor to consider globally, which can effectively improve the prediction performance and improve the accuracy and efficiency of traffic flow prediction.

【技术实现步骤摘要】
一种基于缺失数据集的交通流量预测方法
本专利技术涉及一种智能交通预测领域，尤其是涉及一种基于缺失数据集的交通流量预测方法。
技术介绍
随着国内城市的不断高速发展，城市交通拥堵、交通事故率上升、交通效率不高，导致的能源浪费成为各个城市发展面临的共同问题，很多城市都将大力发展智能交通系统(IntelligentTransportationSystem，ITS)作为解决城市车路矛盾的重要解决途径之一。智能交通系统是将先进的信息技术、数据通讯传输技术、电子传感技术、电子控制技术以及计算机处理技术等有效地集成运用于整个地面运输管理体系，而建立起的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合运输和管理体系。智能交通系统的快速发展为交通网络需求的不断增长提供了有效的解决方案，是建设智慧城市的核心环节。交通流量预测是ITS中非常关键、基础的部分，其他很多重要功能的准确性、可用性都是基于它之上的，如：旅行时间估算、交通诱导系统等。如:自回归模型(AR)、自回归移动平均模型(ARIMA)、历史平均模型(HA)、卡尔曼滤波模型(KFM)等；另一类是以神经网络为基础的预测模型，如BP神经网络模型、卷积神经网络模型(CNN)、递归神经网路模型(RNN)等。但这些方法多对高速公路和路段流量预测，只关注同一天过去几个小时的交通流量，而没有对历史数据进行全局考虑。同时，在对实际交通道路进行动态的交通数据采集的过程中，由于交通传感器的硬件故障、噪声干扰或通信故障，往往会造成数据异常和数据丢失等状况，这对交通问题的分析和解决将会产生十分不利的影响。为了可以有效地分析交通规律，进行交通流量的预测，就必须保证交通数据的完整性。缺失数据被视为预测值，然后根据从历史数据对中识别出的关系对缺失数据进行预测。但是现有的方法并没有很好的考虑交通流量预测和缺失数据补全这两者之间的差异。许多预测模型没有充分利用缺失数据后面收集的数据，这可能会降低数据补全性能。如果连续的一系列数据全部丢失，预测方法通常不能给出令人满意的结果。比如，传统的PPCA补全方法的将数据观测数据和缺失数据分为两部分分别考虑。换句话说，只使用观察到的数据来估计似然函数，这种做法完全忽略了缺失的数据对于似然函数的影响。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于缺失数据集的交通流量预测方法。本专利技术的目的可以通过以下技术方案来实现：一种基于缺失数据集的交通流量预测方法，具体步骤如下：S1.获取传感器实时收集的包含缺失数据的交通数据集；S2.对交通数据集进行数据补全，得到补全数据集；S3.去除补全数据集中的交通流量主要趋势，得到偏差数据集；S4.将偏差数据集输入训练好的预测模型进行预测；S5.将预测结果加上先前去除的交通流量主要趋势，得到预测的交通流量。进一步地，步骤S2中，所述的数据补全具体包括使用交通数据集中的观测数据tobs的平均值初始化缺失数据tmiss，得到初始化后的交通数据集tinit，然后使用EM算法不断迭代更新缺失数据tmiss，获取补全数据集进一步地，所述补全数据集的描述公式为：ti为d维的观测数据向量；x为k维的潜在变量，k<d；W是d×k的投影矩阵；μ为采样数据的平均值；ε为噪声。进一步地，所述的EM算法中，若采样数据的平均值μ和缺失数据tmiss的迭代值大于零，则选取迭代值；若采样数据的平均值μ和缺失数据tmiss的迭代值小于等于零，则取值为零。进一步地，步骤S3中，偏差数据集的获取方法具体如下：对于每一天的流量数据ti，都存在一个潜在变量xi，使得：ti＝Wxi+μ其中，μ为采样数据的平均值；ti为d维的观测数据向量；xi为k维的潜在变量，k<d；W是d×k的投影矩阵；即ti由低维空间主要的几个xi构造得到，几个xi成为交通流量主要趋势，其剩余的潜在变量形成偏差数据集。进一步地，所述的预测模块为LSTM预测模型，使用偏差数据作为LSTM预测模型的输入进行LSTM预测模型的训练。进一步地，对某一指定传感器的历史流量数据的偏差数据进行数据归一化处理，利用归一化处理后的数据训练LSTM预测模型。与现有技术相比，本专利技术具有以下优点：1、本专利技术通过对包含缺失数据的交通数据集进行补全，然后将每一个传感器记录的流量数据进行去趋势化后得到偏差数据集，将偏差数据集通过预测模型进行预测后在加上趋势得到完整的流量预测。其去趋势化充分利用了传感器的历史数据进行全局考虑，可以有效提升预测的性能，提高交通流量预测的准确性和效率。2、传统的PPCA(概率主成分分析)补全方法只利用了观测值tobs来最大化似然函数，得到潜在变量和μ，且在迭代过程中不更新μ。本专利技术提出的补全方法先用观测值的平均值来初始化tmiss，并且在每次迭代的过程中不断更新tmiss和μ，将观测数据和缺失数据作为一个整体进行数据处理，能够充分挖掘交通数据之间的结构关联。对于数据量较大的交通数据，有效提高补全的效率。3、本专利技术基于预测交通流量数据的特性，考虑补全的数据不可能存在负数的情况，因此在补全数据的过程中设定tmiss和μ为非负数，提升了补全的准确率。4、本专利技术采用PCA(主成分分析)的方法来定义和获取交通流量序列的主要趋势，可以识别数据中的共同的模式并强调相似性和差异性，保留交通流量序列的主要特征，同时丢弃不重要的特征，能够实现快捷、有效地提取出交通流量中存在的主要趋势。附图说明图1是本专利技术的流程示意图；图2是缺失数据示意图；图3是本专利技术的数据补全效果示意图；图4是本专利技术数据补全算法收敛性分析图；图5是某一传感器连续四天的车流量趋势图；图6是偏差数据分布直方图；图7是流量数据去趋势化示意图；图8是LSTM模型的示意图；图9是交通预测流量和实际流量曲线图；图10是预测偏差和实际偏差数据曲线图；图11是不同缺失率下五种补全方法的RMSE曲线。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。如图1所示，本实施例提供了一种基于缺失数据集的交通流量预测方法。具体步骤如下：步骤一、获取传感器实时收集的包含缺失数据的交通数据集；步骤二、对交通数据集进行数据补全，得到补全数据集；步骤三、去除补全数据集中的交通流量主要趋势，得到偏差数据集；步骤四、将偏差数据集输入训练好的预测模型进行预测；步骤五、将预测结果加上先前去除的交通流量主要趋势，得到预测的交通流量。如图2所示，在对实际交通道路进行动态的交通数据采集的过程中，由于交通传感器的硬件故障、噪声干扰或通信故障，往往会造成数据异常和数据丢失等状况。图中的圆圈代表缺失的数据。而数据的缺失会对很多问题的分析和解决产生不利的影响。所以必须对这种包含缺失数据进行处理，保证交通数据的完整性。数据补全部分：在步骤一和步骤二中，本实施例给出了一种交通数据补全方法，改进传统的PPCA将观测数据和缺失数据分开对待，不能充分挖掘交通数据之间的结构关联的缺点。这里采用PeMS数据集。该数据集是从加利福尼亚州全部地区的高速公路系统近40,000个独立探测器实时收集的，本实施例主要使用车辆数数据。本实施例按照设定的交通数据缺失率对本文档来自技高网...

【技术保护点】
1.一种基于缺失数据集的交通流量预测方法，其特征在于，具体步骤如下：S1.获取传感器实时收集的包含缺失数据的交通数据集；S2.对交通数据集进行数据补全，得到补全数据集；S3.去除补全数据集中的交通流量主要趋势，得到偏差数据集；S4.将偏差数据集输入训练好的预测模型进行预测；S5.将预测结果加上先前去除的交通流量主要趋势，得到预测的交通流量。

【技术特征摘要】
1.一种基于缺失数据集的交通流量预测方法，其特征在于，具体步骤如下：S1.获取传感器实时收集的包含缺失数据的交通数据集；S2.对交通数据集进行数据补全，得到补全数据集；S3.去除补全数据集中的交通流量主要趋势，得到偏差数据集；S4.将偏差数据集输入训练好的预测模型进行预测；S5.将预测结果加上先前去除的交通流量主要趋势，得到预测的交通流量。2.根据权利要求1所述的基于缺失数据集的交通流量预测方法，其特征在于，步骤S2中，所述的数据补全具体包括使用交通数据集中的观测数据tobs的平均值初始化缺失数据tmiss，得到初始化后的交通数据集tinit，然后使用EM算法不断迭代更新缺失数据tmiss，获取补全数据集3.根据权利要求2所述的基于缺失数据集的交通流量预测方法，其特征在于，所述补全数据集的描述公式为：ti为d维的观测数据向量；x为k维的潜在变量，k<d；W是d×k的投影矩阵；μ为采样数据的平均值；ε为噪声。4.根据权利要求3所述的基于缺失数据集的交通流量预测方法，其特征在于，所述...

【专利技术属性】
技术研发人员：赵生捷，姜倩云，史清江，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31