公路交通大数据处理方法和装置制造方法及图纸

本发明专利技术提供了一种公路交通大数据处理方法和装置，涉及大数据处理的技术领域，包括：获取到交调站点属性表、交调流速数据总表、交调站实际自由流速度表和交调站实际通行能力表；根据交调站编号对上述多个表格进行关联整合，以得到每个交调站对应的交调关联表；利用预设变量取值规则集合和目标交调站的交调关联表计算指定属性的数值缺失率，进而调整目标交调站的交调关联表；剔除调整后的交调关联表中的异常重复数据和异常交通流速度对应的数据记录，从而得到目标交调站清洗后的交调关联表。该方法在对交通大数据进行处理的过程中无需人工建立数据表之间的关系及相关分析，最大限度地节约了人力资源，提高了数据清洗效率，强化了数据应用便利性。化了数据应用便利性。化了数据应用便利性。

【技术实现步骤摘要】
公路交通大数据处理方法和装置


[0001]本专利技术涉及大数据处理的
，尤其是涉及一种公路交通大数据处理方法和装置。

技术介绍

[0002]目前，随着智能交通技术的不断发展，交通大数据已经成为经济、社会的基础性资源，其应用领域非常广泛，可支撑公路网规划适应性评价、路网设施运行现状评估、路阻函数测算以及交通经济分析等。因此，从各类杂乱无章的交通大数据中快速挖掘和获取具有针对性的、有价值的信息，已成为各行各业对交通大数据处理技术最常见的诉求。
[0003]近年来，随着智能采集的不断普及，交通大数据中的噪声数据也越来越多，给数据清洗技术带来了巨大的困扰，使得本领域内的技术人员不得不花费大量的时间来进行数据清洗作业。大数据清洗已成为最耗费人力和物力的一项基础工作。综上，现有技术中的交通大数据处理方法存在人力物力消耗大的技术问题。

技术实现思路

[0004]本专利技术的目的在于提供一种公路交通大数据处理方法和装置，以缓解了现有技术中的公路交通大数据处理方法存在的人力物力消耗大的技术问题。
[0005]第一方面，本专利技术提供一种公路交通大数据处理方法，包括：获取交调站点属性表、交调流速数据总表、交调站实际自由流速度表和交调站实际通行能力表；根据交调站编号对所述交调站点属性表、所述交调流速数据总表、所述交调站实际自由流速度表和所述交调站实际通行能力表进行关联整合，得到每个交调站对应的交调关联表；基于预设变量取值规则集合对目标交调站的交调关联表进行数据缺失值分析，得到所述目标交调站的指定属性的数值缺失率；其中，所述目标交调站表示所有交调站中的任一交调站；在确定所述目标交调站的交调关联表有效的情况下，基于所述数值缺失率调整所述目标交调站的交调关联表，得到调整后的交调关联表；确定所述调整后的交调关联表中的异常重复数据和异常交通流速度，并剔除相应的数据记录，得到所述目标交调站清洗后的交调关联表。
[0006]在可选的实施方式中，基于预设变量取值规则集合对目标交调站的交调关联表进行数据缺失值分析，得到所述目标交调站的指定属性的数值缺失率，包括：统计所述目标交调站的交调关联表的数据记录总数，以及确定所述预设变量取值规则集合中目标属性对应的子规则集合；其中，所述目标属性表示所述指定属性中的任一属性；遍历所述目标交调站的交调关联表中所述目标属性的每一个取值，并判断所述取值是否符合所述子规则集合；统计所述交调关联表中目标属性的取值符合所述子规则集合的数据记录数量，得到目标数量；基于所述交调关联表的数据记录总数和所述目标数量，计算所述目标交调站的目标属性的数值缺失率。
[0007]在可选的实施方式中，在基于所述数值缺失率调整所述目标交调站的交调关联表之前，所述方法还包括：判断所述目标交调站的目标属性的数值缺失率是否大于或等于第
一预设阈值；若是，则确定所述目标交调站的交调关联表无效；若否，则确定所述目标交调站的交调关联表有效。
[0008]在可选的实施方式中，基于所述数值缺失率调整所述目标交调站的交调关联表，包括：若所述目标交调站的目标属性的数值缺失率小于或等于第二预设阈值，则将所述交调关联表中的目标数据记录进行删除，得到调整后的交调关联表；其中，所述目标数据记录表示所述目标属性的取值不符合所述子规则集合的数据记录；若所述目标交调站的目标属性的数值缺失率大于所述第二预设阈值并小于所述第一预设阈值，则采用多重填补法替换所述目标数据记录中的数值，得到调整后的交调关联表。
[0009]在可选的实施方式中，确定所述调整后的交调关联表中的异常重复数据和异常交通流速度，包括：统计所述调整后的交调关联表中目标属性在指定时间段内的数据记录总量、取值种数和每一种取值出现的频数；其中，所述目标属性表示所述指定属性中的任一属性；基于所述数据记录总量和所述取值种数，计算每种取值的平均出现频数；若目标取值出现的频数大于或者等于所述平均出现频数，则确定所述目标取值为异常重复数据；获取所述目标交调站交通流的自由流速度下限、公路通行能力和公路二级服务水平系数；在所述调整后的交调关联表中目标采样点的实际交通流量小于目标流量，并且，所述目标采样点的实际交通流速度小于所述交通流的自由流速度下限的情况下，确定所述目标采样点的实际交通流速度为异常交通流速度；其中，所述目标流量为所述目标交调站的公路通行能力和所述公路二级服务水平系数乘积后的结果。
[0010]在可选的实施方式中，所述方法还包括：对所述清洗后的交调关联表中的交通流量进行归一化处理，得到归一化的交调关联表；基于所述归一化的交调关联表和每种车型的预设当量换算系数，计算每条采样记录对应的汽车当量。
[0011]在可选的实施方式中，所述目标交调站的目标属性的数值缺失率的计算公式为：其中，M表示交调关联表T的数据记录总数，表示所述目标数量，N表示所述子规则集合中的规则条数，T.bt.x
j
表示交调关联表T中目标属性bt的第j条取值，P(T.bt)表示所述目标交调站的目标属性bt的数值缺失率。
[0012]第二方面，本专利技术提供一种公路交通大数据处理装置，包括：获取模块，用于获取交调站点属性表、交调流速数据总表、交调站实际自由流速度表和交调站实际通行能力表；关联整合模块，用于根据交调站编号对所述交调站点属性表、所述交调流速数据总表、所述交调站实际自由流速度表和所述交调站实际通行能力表进行关联整合，得到每个交调站对应的交调关联表；缺失值分析模块，用于基于预设变量取值规则集合对目标交调站的交调关联表进行数据缺失值分析，得到所述目标交调站的指定属性的数值缺失率；其中，所述目标交调站表示所有交调站中的任一交调站；调整模块，用于在确定所述目标交调站的交调
关联表有效的情况下，基于所述数值缺失率调整所述目标交调站的交调关联表，得到调整后的交调关联表；确定与剔除模块，用于确定所述调整后的交调关联表中的异常重复数据和异常交通流速度，并剔除相应的数据记录，得到所述目标交调站清洗后的交调关联表。
[0013]第三方面，本专利技术提供一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述实施方式中任一项所述的公路交通大数据处理方法的步骤。
[0014]第四方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现前述实施方式中任一项所述的公路交通大数据处理方法。
[0015]本专利技术提供的公路交通大数据处理方法，首先获取到交调站点属性表、交调流速数据总表、交调站实际自由流速度表和交调站实际通行能力表，然后根据交调站编号对上述多个表格进行关联整合，以得到每个交调站对应的交调关联表，接下来，利用预设变量取值规则集合和目标交调站的交调关联表计算指定属性的数值缺失率，进而调整目标交调站的交调关联表，最后剔除调整后的交调关联表中的异常重复数据和异常交通流速度对应的数据记录，从而得到目标交调站清洗后的交调关联表。该方法在对交通大数据进行处理的过程中无需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种公路交通大数据处理方法，其特征在于，包括：获取交调站点属性表、交调流速数据总表、交调站实际自由流速度表和交调站实际通行能力表；根据交调站编号对所述交调站点属性表、所述交调流速数据总表、所述交调站实际自由流速度表和所述交调站实际通行能力表进行关联整合，得到每个交调站对应的交调关联表；基于预设变量取值规则集合对目标交调站的交调关联表进行数据缺失值分析，得到所述目标交调站的指定属性的数值缺失率；其中，所述目标交调站表示所有交调站中的任一交调站；在确定所述目标交调站的交调关联表有效的情况下，基于所述数值缺失率调整所述目标交调站的交调关联表，得到调整后的交调关联表；确定所述调整后的交调关联表中的异常重复数据和异常交通流速度，并剔除相应的数据记录，得到所述目标交调站清洗后的交调关联表。2.根据权利要求1所述的公路交通大数据处理方法，其特征在于，基于预设变量取值规则集合对目标交调站的交调关联表进行数据缺失值分析，得到所述目标交调站的指定属性的数值缺失率，包括：统计所述目标交调站的交调关联表的数据记录总数，以及确定所述预设变量取值规则集合中目标属性对应的子规则集合；其中，所述目标属性表示所述指定属性中的任一属性；遍历所述目标交调站的交调关联表中所述目标属性的每一个取值，并判断所述取值是否符合所述子规则集合；统计所述交调关联表中目标属性的取值符合所述子规则集合的数据记录数量，得到目标数量；基于所述交调关联表的数据记录总数和所述目标数量，计算所述目标交调站的目标属性的数值缺失率。3.根据权利要求2所述的公路交通大数据处理方法，其特征在于，在基于所述数值缺失率调整所述目标交调站的交调关联表之前，所述方法还包括：判断所述目标交调站的目标属性的数值缺失率是否大于或等于第一预设阈值；若是，则确定所述目标交调站的交调关联表无效；若否，则确定所述目标交调站的交调关联表有效。4.根据权利要求3所述的公路交通大数据处理方法，其特征在于，基于所述数值缺失率调整所述目标交调站的交调关联表，包括：若所述目标交调站的目标属性的数值缺失率小于或等于第二预设阈值，则将所述交调关联表中的目标数据记录进行删除，得到调整后的交调关联表；其中，所述目标数据记录表示所述目标属性的取值不符合所述子规则集合的数据记录；若所述目标交调站的目标属性的数值缺失率大于所述第二预设阈值并小于所述第一预设阈值，则采用多重填补法替换所述目标数据记录中的数值，得到调整后的交调关联表。5.根据权利要求1所述的公路交通大数据处理方法，其特征在于，确定所述调整后的交调关联表中的异常重复数据和异常交通流速度，包括：统计所述调整后的交调关联表中目标属性在指定时间段内的数据记录总量、取值种数
和每一种取值出现的频数；其中，所...

【专利技术属性】
技术研发人员：刘文芝，顾明臣，刘增军，蹇峰，黄叒，徐华军，黄兴华，
申请(专利权)人：交通运输部规划研究院，
类型：发明
国别省市：