一种城市路网卡口交通数据质量诊断与恢复方法技术

本发明专利技术公开了一种城市路网卡口交通数据质量诊断与恢复方法，包括以下步骤，步骤1，从城市卡口原始过车数据中计算出经过各卡口断面的地点车速数据，并对地点车速数据质量进行冗余数据

【技术实现步骤摘要】
一种城市路网卡口交通数据质量诊断与恢复方法


[0001]本专利技术属于智能交通
，具体属于一种城市路网卡口交通数据质量诊断与恢复方法
。

技术介绍

[0002]高质量交通时空数据能够反映交通运行态势的动态变化规律，为未来交通运行状态研判
、
评估和分析提供丰富的数据源
。
然而，交通信息监控设备由于自身性能问题
、
外界环境影响及数据体量庞大等因素产生损坏
、
缺失
、
异常
、
冗余等若干类问题数据，部分问题数据潜在的时空信息损失影响了道路交通运行态势分析结果的准确性
。
因此，采用有效算法对不完整的原始交通时空数据质量进行系统性的诊断
、
评估和恢复对城市交通智能化综合治堵有着重大研究意义
。
[0003]现阶段的交通数据质量诊断一般以问题数据判别和数据质量评价为主，二者相对独立，未形成全面的数据质量诊断体系
。
数据质量评价方法一般采用层次分析法
、
主成分分析法
、
模糊综合评价法，现有评价方法不具备综合性和客观性
。
现阶段的交通数据质量恢复主要从利用统计学插补数据的思想和基于回归结果估计缺失数据的思想出发，然而这些思想未能有效解决高缺失率下的交通数据质量恢复问题
。
基于深度生成的数据重构思路验证了生成式模型在交通时空数据质量恢复研究中的有效性及高效性，但是一方面，当前生成式模型仍侧重从随机噪声分布采样随机生成新的数据样本，缺乏实际缺失样本固有特性的挖掘与利用，另一方面，传统生成式模型的内部网络结构仅采用浅层全连接形式，无法综合提取交通数据的显式时空规律与缺失机制下的隐藏特征信息
。

技术实现思路

[0004]为了解决现有技术中存在的问题，本专利技术提供一种城市路网卡口交通数据质量诊断与恢复方法，用于解决现有技术中不能解决高缺失率下的交通数据质量恢复问题；本专利技术综合考虑问题数据类型判别结果，对“中观路段
‑
宏观路网”空间层次进行数据质量逐级评价，根据评价结果采用
SVAE
‑
WGANGP
模型恢复自然缺失的交通数据质量
。
该方法具有完整的数据质量评估体系，并能提高不同缺失率下数据质量恢复的精确性
。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]一种城市路网卡口交通数据质量诊断与恢复方法，包括以下步骤，
[0007]步骤1，从城市卡口原始过车数据中计算出经过各卡口断面的地点车速数据，并对地点车速数据质量进行冗余数据
、
缺失数据和异常数据类型判别；
[0008]步骤2，依据步骤1中的地点车速数据确定评级层次，构建路段层面的数据质量评价指标体系，按照“中观路段
‑
宏观路网”的空间层次逐级进行数据质量评价；
[0009]步骤3，采用多阶张量表征城市路网地点车速数据的时空信息，并构建多个待恢复的交通时空张量结构；
[0010]构建
SVAE
‑
WGANGP
网络结构，并采用
WGANGP
的对抗式训练方式训练生成网络和判
别网络，恢复缺失地点车速数据质量
。
[0011]优选的，步骤1中，冗余数据
、
缺失数据和异常数据类型判别具体包括以下过程，计算经过各卡口断面的地点车速数据，对地点车速数据按照相同车牌分组，继而对相同车牌的采样时间排序，如果出现车牌及采样时间相同的数据则判别为冗余重复数据，并进行删除；计算组内相邻采样时间差，如果采样时间差小于设定的阈值，则标记为冗余相似数据，并进行删除；
[0012]对剩余地点车速数据中的非冗余数据进行聚合操作，聚合为2分钟
/
天的时间粒度，定义一天内的时间区间为
T
M
＝
[2(M
‑
1),2M]，
M
＝
1,2,3,...,720
，实际采样时间粒度为
t
m
，如果
t
m
不在
T
M
内，则将
t
m
时的数据判为缺失数据并进行删除；
[0013]对剩余地点车速数据中的非冗余数据
、
非缺失数据，根据
Boxplot
判别准则计算第
75
％位数
Q3、
第
25
％位数
Q1
和四分位距
IQR
＝
Q3
‑
Q1
，若超出阈值范围
Q1
‑
1.5IQR
或
Q3+1.5IQR
，则判为异常数据并进行删除
。
[0014]优选的，步骤2中，数据质量评价指标体系为
[0015][0016][0017][0018]AR
n
＝
(1
‑
RR
n
)
×
(1
‑
MR
n
)
×
(1
‑
VR
n
)
[0019]式中，
RR
n
为冗余性评价指标，表示第
n
个断面的冗余率，为按照一定采时间间隔应采集到第
n
个断面的数据总量；
MR
n
为完整性评价指标，表示第
n
个断面的缺失率，为第
n
断面实际未采集到的数据；
VR
n
为有效性评价指标，表示第
n
个断面的失效率，为第
n
个断面通过
Boxplot
判别准则诊断出的异常数据；
AR
n
为可用性评价指标，表示第
n
个断面的可用率；为第
n
个断面采集到的第
l
条重复或相似过车数据总和
。
[0020]优选的，步骤2中，利用
EWM
‑
TOPSIS
综合评价地点车速数据质量，具体包括以下步骤，
[0021]步骤
221
，对初始评价指标值进行归一化处理；
[0022]步骤
222
，利用
EWM
法确定各评价指标的信息熵权重；
[0023]步骤
223
，依据信息熵权重构造加权矩阵；
[0024]步骤
224
，依据加权矩阵利用
TOPSIS
评价法计算待评价路段与最优解
f
+
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种城市路网卡口交通数据质量诊断与恢复方法，其特征在于，包括以下步骤，步骤1，从城市卡口原始过车数据中计算出经过各卡口断面的地点车速数据，并对地点车速数据质量进行冗余数据
、
缺失数据和异常数据类型判别；步骤2，依据步骤1中的地点车速数据确定评级层次，构建路段层面的数据质量评价指标体系，按照“中观路段
‑
宏观路网”的空间层次逐级进行数据质量评价；步骤3，采用多阶张量表征城市路网地点车速数据的时空信息，并构建多个待恢复的交通时空张量结构；构建
SVAE
‑
WGANGP
网络结构，并采用
WGANGP
的对抗式训练方式训练生成网络和判别网络，恢复缺失地点车速数据质量
。2.
根据权利要求1所述的一种城市路网卡口交通数据质量诊断与恢复方法，其特征在于，步骤1中，冗余数据
、
缺失数据和异常数据类型判别具体包括以下过程，计算经过各卡口断面的地点车速数据，对地点车速数据按照相同车牌分组，继而对相同车牌的采样时间排序，如果出现车牌及采样时间相同的数据则判别为冗余重复数据，并进行删除；计算组内相邻采样时间差，如果采样时间差小于设定的阈值，则标记为冗余相似数据，并进行删除；对剩余地点车速数据中的非冗余数据进行聚合操作，聚合为2分钟
/
天的时间粒度，定义一天内的时间区间为
T
M
＝
[2(M
‑
1),2M]
，
M
＝
1,2,3,...,720
，实际采样时间粒度为
t
m
，如果
t
m
不在
T
M
内，则将
t
m
时的数据判为缺失数据并进行删除；对剩余地点车速数据中的非冗余数据
、
非缺失数据，根据
Boxplot
判别准则计算第
75
％位数
Q3、
第
25
％位数
Q1
和四分位距
IQR
＝
Q3
‑
Q1
，若超出阈值范围
Q1
‑
1.5IQR
或
Q3+1.5IQR
，则判为异常数据并进行删除
。3.
根据权利要求1所述的一种城市路网卡口交通数据质量诊断与恢复方法，其特征在于，步骤2中，数据质量评价指标体系为中，数据质量评价指标体系为中，数据质量评价指标体系为
AR
n
＝
(1
‑
RR
n
)
×
(1
‑
MR
n
)
×
(1
‑
VR
n
)
式中，
RR
n
为冗余性评价指标，表示第
n
个断面的冗余率，为按照一定采时间间隔应采集到第
n
个断面的数据总量；
MR
n
为完整性评价指标，表示第
n
个断面的缺失率，为第
n
断面实际未采集到的数据；
VR
n
为有效性评价指标，表示第
n
个断面的失效率，为第
n
个断面通过
Boxplot
判别准则诊断出的异常数据；
AR
n
为可用性评价指标，表示第
n
个断面的可用率；为第
n
个断面采集到的第
l
条重复或相似过车数据总和
。4.
根据权利要求1所述的一种城市路网卡口交通数据质量诊断与恢复方法，其特征在
于，步骤2中，利用
EWM
‑
TOPSIS
综合评价地点车速数据质量，具体包括以下步骤，步骤
221
，对初始评价指标值进行归一化处理；步骤
222
，利用
EWM
法确定各评价指标的信息熵权重；步骤
223
，依据信息熵权重构造加权矩阵；步骤
224
，依据加权矩阵利用
TOPSIS
评价法计算待评价路段与最优解
f
+
、
最劣解
f
‑
之间的欧式距离和步骤
225
，依据欧式距离和确定各路段的相对贴近度
C
i
；步骤
226
，依据相对贴近度
C
i
确定区域路网地点车速数据质量指数，进行数据质量评价，得到综合评价结果
。5.
根据权利要求1所述的一种城市路网卡口交通数据质量诊断与恢复方法，其特征在于，步骤3中，采用多阶张量表征城市路网地点车速数据的时空信息，具体包括以下步骤，步骤
311
，将异常
TBSS
数据去除后，引入二值
Mask
矩阵标记缺失
TBSS
数据的位置；步骤
312
，使用
z
‑
score
方法将
TBSS
数据归一化至服从标准正态分布，实现量纲统一；步骤
313
，获取
D
条路段的
TBSS
时序数据，当
D
为单条路段时，表征短时
t
n
∈{t1,t2,t3,...,t
T
}
的交通时序信息和连续日或周内的周期性时间信息表达式为：...

【专利技术属性】
技术研发人员：王建军，李冬怡，王赛，马驰骋，李鹏，宋明洋，卢霄娟，关山，
申请(专利权)人：长安大学，
类型：发明
国别省市：