一种基于时空序列的交通流数据清洗与修复方法技术

本发明专利技术公开了一种基于时空序列的交通流数据清洗与修复方法，包括以下步骤：对实时接收到的交通流信息按照固定格式存储于脏数据存储模块；采用数据清洗模块对脏数据存储模块内的交通流信息进行清洗得到清洗后的数据；采用数据修复模块对清洗后的数据建模并进行数据修复，得到修复数据；将修复数据存储于干净数据存储模块。本发明专利技术通过简化交通流数据清洗过程，采用时间与空间并行分析方法，将细胞传输模型与卡尔曼滤波算法运用于交通流数据修复，方便、快捷、准确的进行交通流数据清洗、处理及修复工作，提高数据的准确性。

A Method of Cleaning and Repairing Traffic Data Based on Spatio-temporal Sequence

The invention discloses a method for cleaning and repairing traffic flow data based on time-space sequence, which includes the following steps: storing traffic flow information received in real time in dirty data storage module according to fixed format; cleaning traffic flow information in dirty data storage module by data cleaning module to obtain data after cleaning; and building data after cleaning by data repairing module. Module and data repair, get repair data; the repair data will be stored in a clean data storage module. By simplifying the process of traffic flow data cleaning and adopting the parallel analysis method of time and space, the cell transmission model and Kalman filter algorithm are applied to traffic flow data repair, so that the work of traffic flow data cleaning, processing and repair can be carried out conveniently, quickly and accurately, and the accuracy of data can be improved.

【技术实现步骤摘要】
一种基于时空序列的交通流数据清洗与修复方法
本专利涉及数据清洗和修复领域，尤其是一种基于时空序列的交通流数据清洗与修复方法。
技术介绍
时空数据结构复杂且来源多样，在充分理解了时间数据、空间数据的特征、属性及他们之间的关联关系的基础上，进行有效整合、清洗和修复不同来源的时空数据，使得他们可以清楚的反应数据变化的规律。道路监测系统监测得到的数据信息对交通项目设计与评价等起着至关重要的作用，其监测统计数据的准确性直接关系到未来决策的方向。目前的道路交通监测系统主要采用检测线圈以及视频监视设备等对道路交通数据进行统计，由于设备的老化，软件的故障等因素常会发生统计结果的错误，很可能导致以数据为研究基础的其他分析无法进行或分析结果错误，异常点对整个数据的趋势和周期的观察以及模型的建立造成了很大的影响，同时，交通数据的缺失也是一种常见的数据现象，这对于实际的科学研究有着很大的阻碍。交通数据是具有很强的时间相关性与空间相关性的数据，采用常用的单纯基于数学理论的方法往往疏忽了其交通特性。而对交通数据异常数据处理的方法研究中，学者们已经从交通特性的角度出发考虑问题数据，并常以不同分析方法的合理集成，来削弱单一方法在数据修正效果上存在的不稳定性，但大部分的研究成果多数表现于处理方法的多样性上，而对交通数据的特性分析稍显单一，对交通数据的时间与空间相关性相结合的考虑尚有所欠缺。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提出提出一种基于时空序列的交通流数据清洗与修复方法，修复后的数据经过校正后，数据将更加的精确，故数据的清洗和修复对后续数据的运用有着无法替代的作用、交通数据的预处理过程具有重要意义。为了达到上述目的，本专利技术采用以下技术方案予以实现：一种基于时空序列的交通流数据清洗与修复方法，包括以下步骤：对实时接收到的交通流信息按照固定格式存储于脏数据存储模块；采用数据清洗模块对脏数据存储模块内的交通流信息进行清洗得到清洗后的数据；采用数据修复模块对清洗后的数据建模并进行数据修复，得到修复数据；将修复数据存储于干净数据存储模块。作为本专利技术的进一步的技术方案为：所述对实时接收到的交通流信息按照固定格式存储于脏数据存储模块；具体包括：在待检测道路上间隔设置交通流探测器，通过交通流探测器对道路上的交通流进行检测，并将检测数据存储于脏数据存储模块。作为本专利技术的进一步的技术方案为：采用数据清洗模块对脏数据存储模块内的交通流信息进行清洗得到清洗后的数据；具体包括：数据清洗模块对脏数据存储模块内的交通流信息进行数据运算转换，确定异常点并去除；其中，所述数据运算转换，具体包括：将占有率转换为密度，算法如下：因为所以占有率与密度之间的关系是：o＝(Lv+Ld)ρ；因此密度公式为：其中Lv是车辆的平均长度，Ld是探测器的长度，Δt是样本时间，n是在时间间隔中通过探测器的车辆数，v是车辆的速度，o是占有率，f是车流量，ρ是道路交通流的密度。进一步的，所述确定异常点并去除，具体为：在数据运算转换的过程中，采用阈值法对异常点进行确定并清除。作为本专利技术的进一步技术方案为：所述采用数据修复模块对清洗后的数据建模并进行数据修复，得到修复数据；具体包括：确定交通流参数；根据交通流参数建立细胞传输模型；通过细胞传输模型修复缺失数据；对缺失数据进行矫正得到修复数据。进一步的，所述确定交通流参数，包括：将待检测道路分为长度不等的细胞，每个细胞的长度均不小于车辆在一个时间步长内自由流速度通过的距离；通过对交通探测器检测的道路密度和流量信息进行处理获得细胞的道路状态参数。更进一步的，所述通过对道路探测器检测的道路密度和流量信息进行处理获得细胞的道路状态参数，具体包括：对道路上畅通部分的拟合和对道路上堵塞部分的拟合；其中，对道路上畅通部分的拟合，具体包括：筛选一天中所有密度和流量的数据中速度大于设定值的点；并将对应点的密度和流量数据保存到第一矩阵中，将剩下的点保存到第二矩阵中；将第一矩阵中的密度和流量做过原点的最小二乘法拟合得到畅通图线；取第一矩阵中流量最大的点作为最大容量的线所过的点，画出最大容量图线；对道路上阻塞部分的拟合，具体为：将第二矩阵中按密度进行升序排序，并且把每个密度对应的流量位置也进行调整；将排序好的数据进行分组，每10个数据为一组，然后对流量排序并对其密度位置进行调整；选取这10个流量数据中最大的一个流量，并且最大的流量小于Q3+1.5IQR，如果最大的流量不小于则选取倒数第二大的，即：Bin＝{f1，f2，…，f10}；然后将得到的每个组中得到的流量与其对应密度进行过畅通图线和最大容量图线交叉点的最小二乘法拟合。进一步的，所述根据交通流参数建立细胞传输模型；具体为：在确定交通流参数的基础上，细胞i在时间步长为k+1时的密度可以根据时间步长为k时的密度通过以下的公式更新得到：其中，Δt为建模的时间步长长度；Δxi为细胞i的长度；fi(k)为在时间步长k期间从细胞i流出的流量；ρi(k)为时间步长k期间细胞i的车辆密度；ri(k)为入口匝道流入的流量；si(k)为出口匝道流出的流量；vi为自由流速度；wi为反向波速度；Qi为细胞i的流量最大容纳量；为细胞i+1的阻塞密度。进一步的，所述通过细胞传输模型修复缺失数据；具体为：首先选取数据中缺失的部分，确定缺失数据所在的道路位置以及数据对应的时间步长范围，选取大于数据缺失部分范围的道路长度和时间步长；确定处于细胞传输模型的首个细胞，并且将流入首个细胞一定时间范围内的流量依次记录下来，同时确定入口匝道和出口匝道流入流出的比例；按照细胞密度和流量更新公式依次获得时间步长为(k+1，k+2，…)对应的连续细胞的密度和流量；对原数据进行扫描找到缺失数据的位置，同时查找缺失数据的修复数据在细胞传输模型获得数据中的对应位置，将缺失的数据用修复数据填补。作为本专利技术的进一步技术方案为：所述对缺失数据进行矫正得到修复数据，具体为：采用卡尔曼滤波算法对缺失数据进行矫正得到修复数据；包括以下步骤：第一步，建立卡尔曼滤波算法的系统过程模型：X(k)＝AX(k-1)+BU(k)+W(k)；Z(k)＝HX(k)+V(k)；其中，X(k)是k时刻的系统状态，U(k)是k时刻对系统的控制量。A和B系统参数，对于多模型系统，他们为矩阵；Z(k)是k时刻的测量值，H是测量系统的参数，对于多测量系统，H为矩阵；W(k)为过程噪声，V(k)为测量噪声；第二步，利用系统过程模型，来预测下一状态的系统得到现在状态的预测结果；设现在的系统状态是k，根据系统过程模型，基于系统的上一状态而预测出现在的系统状态：X(k|k-1)＝AX(k-1|k-1)+BU(k)；公式中X(k|k-1)是利用上一状态预测k时刻的结果，X(k-1|k-1)是上一状态最优的结果，U(k)为现在状态的控制量，此时X(k|k-1)系统结果已经更新，接下来对X(k|k-1)的协方差进行更新；P(k|k-1)＝AP(k-1|k-1)A′+Q；公式中，P(k|k-1)是X(k|k-1)对应的协方差，P(k-1|k-1)是X(k-1|k-1)对应的协方差，A′表示A的转置矩阵，Q是系统过程噪声的协方差；第三步，收集当前状态的测量值，结合现在状态的预测结果本文档来自技高网...

【技术保护点】
1.一种基于时空序列的交通流数据清洗与修复方法，其特征在于，包括以下步骤：对实时接收到的交通流信息按照固定格式存储于脏数据存储模块；采用数据清洗模块对脏数据存储模块内的交通流信息进行清洗得到清洗后的数据；采用数据修复模块对清洗后的数据建模并进行数据修复，得到修复数据；将修复数据存储于干净数据存储模块。

【技术特征摘要】
1.一种基于时空序列的交通流数据清洗与修复方法，其特征在于，包括以下步骤：对实时接收到的交通流信息按照固定格式存储于脏数据存储模块；采用数据清洗模块对脏数据存储模块内的交通流信息进行清洗得到清洗后的数据；采用数据修复模块对清洗后的数据建模并进行数据修复，得到修复数据；将修复数据存储于干净数据存储模块。2.根据权利要求1所述的一种基于时空序列的交通流数据清洗与修复方法，其特征在于，所述对实时接收到的交通流信息按照固定格式存储于脏数据存储模块；具体包括：在待检测道路上间隔设置交通流探测器，通过交通流探测器对道路上的交通流进行检测，并将检测数据存储于脏数据存储模块。3.根据权利要求1所述的一种基于时空序列的交通流数据清洗与修复方法，其特征在于，采用数据清洗模块对脏数据存储模块内的交通流信息进行清洗得到清洗后的数据；具体包括：数据清洗模块对脏数据存储模块内的交通流信息进行数据运算转换，确定异常点并去除；其中，所述数据清洗模块对脏数据存储模块内的交通流信息进行数据运算转换，具体包括：将占有率转换为密度，算法如下：因为所以占有率与密度之间的关系是：o＝(Lv+Ld)ρ；因此密度公式为：其中Lv是车辆的平均长度，Ld是探测器的长度，Δt是样本时间，n是在时间间隔中通过探测器的车辆数，v是车辆的速度，o是占有率，f是车流量，ρ是道路交通流的密度。4.根据权利要求1所述的一种基于时空序列的交通流数据清洗与修复方法，其特征在于，所述确定异常点并去除，具体为：在数据运算转换的过程中，采用阈值法对异常点进行确定并清除。5.根据权利要求1所述的一种基于时空序列的交通流数据清洗与修复方法，其特征在于，所述采用数据修复模块对清洗后的数据建模并进行数据修复，得到修复数据；具体包括：确定交通流参数；根据交通流参数建立细胞传输模型；通过细胞传输模型修复缺失数据；对缺失数据进行矫正得到修复数据。6.根据权利要求5所述的一种基于时空序列的交通流数据清洗与修复方法，其特征在于，所述确定交通流参数，包括：将待检测道路分为长度不等的细胞，每个细胞的长度均不小于车辆在一个时间步长内自由流速度通过的距离；通过对交通探测器检测的道路密度和流量信息进行处理获得细胞的道路状态参数。7.根据权利要求6所述的一种基于时空序列的交通流数据清洗与修复方法，其特征在于，所述通过对道路探测器检测的道路密度和流量信息进行处理获得细胞的道路状态参数，具体包括：对道路上畅通部分的拟合和对道路上堵塞部分的拟合；其中，对道路上畅通部分的拟合，具体包括：筛选一天中所有密度和流量的数据中速度大于设定值的点；并将对应点的密度和流量数据保存到第一矩阵中，将剩下的点保存到第二矩阵中；将第一矩阵中的密度和流量做过原点的最小二乘法拟合得到畅通图线；取第一矩阵中流量最大的点作为最大容量的线所过的点，画出最大容量图线；对道路上阻塞部分的拟合，具体为：将第二矩阵中按密度进行升序排序，并且把每个密度对应的流量位置也进行调整；将排序好的数据进行分组，每10个数据为一组，然后对流量排序并对其密度位置进行调整；选取这10个流量数据中最大的一个流量，并且最大的流量小于Q3+1.5IQR，如果最大的流量不小于则选取倒数第二大的，即：Bin＝{f1，f2，…，f10}；将得到的每个组中得到的流量与其对应密度进行过畅通图线和最大容量图线交叉点的最小二乘法拟合。8.根据权利...

【专利技术属性】
技术研发人员：安毅生，李颖，陈珂，
申请(专利权)人：长安大学，
类型：发明
国别省市：陕西,61