一种道路交通流异常数据识别方法技术

本发明专利技术提供了一种道路交通流异常数据识别方法，该方法首先剔除无效的交通流数据，然后利用阈值法、交通流参数之间的一致性关系及数理统计理论，以在线和离线两种方式，分别从微观和宏观角度识别交通流异常数据。本发明专利技术的优点是：充分利用固定式交通调查设备采集的数据，利用交通流理论和数理统计理论，对交通流异常数据进行有效识别，在线识别方法能标记错误数据字段，能够实时监测交通流数据质量，保证数据的有效性，离线统计指标从宏观角度体现数据质量的稳定程度，判断交通调查设备的工作状态，对于检验交通流数据有效性，数据质量评价及交通调查设备维护具有实际意义。

【技术实现步骤摘要】
一种道路交通流异常数据识别方法
本专利技术属于道路交通领域,具体涉及一种道路交通流异常数据识别方法。
技术介绍
交通流数据包含交通流的时空分布特性，是分析道路通行能力、交通管理、交通流预测、交通事故探测的重要依据。公路固定式交通调查设备易受恶劣天气及道路施工等因素影响，采集的交通调查数据精度主要依赖于调查设备设施的传输稳定性，导致调查数据质量较差。若直接使用这些数据会降低交通决策的准确度，因此交通调查数据必须进行质量控制。传统的交通流异常数据识别方法有：1)阈值法；2)交通流理论组合检验法。阈值法包括单参数阈值、组合参数定义阈值等方法。组合参数定义阈值识别错误数据的方法，通过建立交通流量、速度、密度三参数之间的关系模型，定义各交通参数的合理值域，超出取值范围的交通数据就是错误数据。交通流理论组合检验法是分析收集到的交通流数据后发现，除正常的交通量、车速和时间占有率外，还有其他五种类型的交通参数组合：交通量和车速等于0，时间占有率大于0；车速和时间占有率等于0，交通量大于0；车速等于0.交通量和时间占有率大于0；车速大于0，交通量和时间占有率等于0；交通量等于0，车速和时间占有率大于0，这些组合均不符合交通流理论，为错误数据。其中，单参数阈值法独立评价各交通参数可能导致数据质量评价过于片面，而组合参数定义阈值适合交通流变化平稳，交通参数关系显著的路段。交通流理论组合检验法能有效地识别出不符合交通流理论的数据，但是该方法所保留的正确数据组合：交通流、车速和时间占有率都等于0，不能区分是真实情况还是设备故障导致数据传输错误而显示为0值。
技术实现思路
本专利技术的目的是提供一种道路交通流异常数据识别方法，通过本方法对大范围的交通流数据进行实时的异常识别，并通过离线评价数据质量的稳定程度来判别交通调查设备的工作状态。为达到上述目的，本专利技术的技术方案是提供了一种道路交通流异常数据识别方法，其特征在于：步骤为：步骤1：读取交通调查设备所采集的数据，该数据包含数据时刻t、当前设备的站点编号、设备编号、车道编号、流量V、速度S、时间占有率O。步骤2：识别当前时刻t所述交通流数据的有效性，当数据的站点编号、设备编号、车道编号符合《关于加强公路交通情况调查设备技术管理的指导意见(厅规划字[2007]52号)》中的《“固定式交调设备技术条件”和“固定式交调设备与数据服务中心通讯协议”》，数据的时刻t为规定的数据采集时间时，该数据是有效的交通流数据，若为有效数据则执行步骤3，否则丢弃该数据。步骤3：在线识别当前时刻t所述有效交通流数据的异常情况，并标记异常数据字段。步骤3.1：识别当前时刻t所述有效交通流数据的缺失数据，并将缺失数据所对应的交通调查设备定义为目标设备i，流量V、速度S、时间占有率O三个字段均被标记为异常数据字段。步骤3.2：以当前时刻t为起点，时刻t-24h为终点，利用这两时刻间24小时时间段的历史数据，字段j为流量V、速度S、时间占有率O中任意一个，计算目标设备i字段j的历史数据的方差，若任意字段j的方差为0则识别字段j为异常数据，并进入步骤3.4，若三个参数的方差都大于0，则进入步骤3.3。其中σj2是待检测字段j的24小时历史数据的方差，Xhj表示待检测字段j24小时历史数据，是字段j在24小时内的均值，n是字段j在24小时内的记录数。当σf2＝0时，字段j为异常数据字段。步骤3.3：识别每条交通调查数据是否符合交通流理论。只有当数据为流量V＞0、速度S＞0、时间占有率O≥0或流量V＝0、速度S＝0、时间占有率O＝0的组合形式时，才是符合交通流的正常待检测数据并进入步骤3.4，其余组合情况均为异常数据，且流量V、速度S、时间占有率O三个字段均为异常数据字段。步骤3.4：利用阈值识别异常数据。在采集间隔t0分钟内，步骤3.3的待检测数据超过阈值，则视为异常数据。利用道路的行政等级和双向车道数进行道路等级划分，根据不同的道路等级，采用相对应的阈值。道路分为国道双车道，国道多车道、省道双车道、省道多车道、县道双车道、县道多车道，超过阈值字段为异常数据字段。其中Vit是道路类型i的流量阈值(veh/lane)，Vic表示道路类型i的理想通行能力(veh/h/lane)，t0为交通调查设备的数据采集间隔(min)，f为修正系数，一般取1.5。Sit＝Sim×f，其中Sit是道路类型i的速度阈值(km/h)，Sim表示道路类型i的最大限制运行速度(km/h)，f为修正系数，一般取1.5。任何道路类型的时间占有率O的阈值为100％。步骤3.5：计算交通调查设备i在历史数据中的一个时间段内每个时刻流量V的历史均值，若设备i在时刻t采集到的数据为时间占有率O＝0、流量V＝0、速度S＝0，而在时刻t设备i的流量V的历史均值大于3veh，则流量V、速度S、时间占有率O三个字段均为异常数据字段。步骤4：计算离线统计指标，识别目标交通调查设备是否出现异常的工作状态。步骤4.1：利用在时间范围T内的历史数据，计算缺失数据量占理论上应该采集到的数据量的百分比，当缺失率Lim＞12.5％时，交通调查设备i的工作状态判定为可疑。其中，Iim为交通调查设备i的数据缺失率，Dm表示时间范围T内交通调查设备i未采集到数据的数量，Dt表示在时间范围T内该交通调查设备理论上应该采集到的数据量。步骤4.2：利用在时间范围T内的历史数据，利用步骤3.2～步骤3.5所述的异常数据计算交通调查数据的错误率，若错误率Iif＞30％，则交通调查设备i的工作状态判定为可疑。其中，Iif表示交通调查设备i的数据错误率，Df表示时间范围T内根据步骤3.2～步骤3.5所方法所筛选出的异常数据量，Dt则表示该时段内交通调查设备i理论上采集到的数据数量。步骤4.3：利用在时间范围T和上一个T周期内的历史数据，计算平均日交通流量变化率，若平均日交通流量变化率Piy＞30％，则交通调查设备i的工作状态判定为可疑，计算公式为：其中，Piy表示周期T的平均日交通流量变化率，AADT表示当前统计周期T的平均日交通流量，AADTc则表示上一个统计周期T的平均日交通流量。本专利技术的有点是：针对交通流数据可能出现的错误情况，利用交通流理论和统计方法，对实时交通流数据进行异常识别，避免异常数据对数据分析结果带来的不利影响，提高数据准确度。并且异常识别具体到数据字段，有效地保留了可利用的数据信息。根据数据的缺失率、错误率、平均日交通流量变化率三项指标的可疑情况估计交通调查设备的工作状态是否异常，有效提高交通调查设备的检修和维护效率，从根源提高数据质量。附图说明图1是在线异常数据识别流程图；图2是流量的原始数据与异常数据对比图；图3是速度的原始数据与异常数据对比图；图4是时间占有率的原始数据与异常数据对比图。具体实施方式为了使本
的人员更好地理解本专利技术，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清除、完整地描述。在下面文字中所记录的交通参数是指流量V、速度S、时间占有率O中的一种。本实例中采用的数据采集标准是按照北京市《“固定式交调设备技术条件”和“固定式交调设备与数据服务中心通讯协议”》规定进行采集。本领域技术人员可选择任意选择符合当地相关部门制定的规范标准，和任本文档来自技高网...

【技术保护点】
1.一种道路交通流异常数据识别方法,其特征在于，包括如下步骤；步骤1：读取交通调查设备所采集的数据，该数据包含数据时刻t、当前设备的站点编号、设备编号、车道编号、流量V、速度S、时间占有率O；步骤2：识别当前时刻t所述交通流数据的有效性，当数据的站点编号、设备编号、车道编号符合本技术领域的规范或技术协议，数据的时刻t为规定的数据采集时间时，该数据是有效的交通流数据，若为有效数据则执行步骤3，否则丢弃该数据；步骤3：在线识别当前时刻t所述有效交通流数据的异常情况，并标记异常数据字段；步骤4：离线计算统计指标，识别目标交通调查设备是否出现异常的工作状态。

【技术特征摘要】
1.一种道路交通流异常数据识别方法,其特征在于，包括如下步骤；步骤1：读取交通调查设备所采集的数据，该数据包含数据时刻t、当前设备的站点编号、设备编号、车道编号、流量V、速度S、时间占有率O；步骤2：识别当前时刻t所述交通流数据的有效性，当数据的站点编号、设备编号、车道编号符合本技术领域的规范或技术协议，数据的时刻t为规定的数据采集时间时，该数据是有效的交通流数据，若为有效数据则执行步骤3，否则丢弃该数据；步骤3：在线识别当前时刻t所述有效交通流数据的异常情况，并标记异常数据字段；步骤4：离线计算统计指标，识别目标交通调查设备是否出现异常的工作状态。2.根据权利要求1所述的一种道路交通流异常数据识别方法，其特征在于，所述的步骤3中识别有效交通流数据的异常情况的步骤包括：步骤3.1：识别当前时刻t所述有效交通流数据的缺失数据，并将缺失数据所对应的交通调查设备定义为目标设备i，流量V、速度S、时间占有率O三个字段均被标记为异常数据字段；步骤3.2：以当前时刻t为起点，时刻t-24h为终点，利用这两时刻间24小时时间段的历史数据，字段j为流量V、速度S、时间占有率O中任意一个，计算目标设备i字段j的历史数据的方差，若任意字段j的方差为0则识别字段j为异常数据，并进入步骤3.4，若三个参数的方差都大于0，则进入步骤3.3；其中σj2是待检测字段j的24小时历史数据的方差，Xhf表示待检测字段j24小时历史数据，是字段j在24小时内的均值，n是字段j在24小时内的记录数；当σj2＝0时，字段j为异常数据字段；步骤3.3：识别每条交通调查数据是否符合交通流理论；只有当数据为流量V＞0、速度S＞0、时间占有率O≥0或流量V＝0、速度S＝0、时间占有率O＝0的组合形式时，才是符合交通流的正常待检测数据并进入步骤3.4，其余组合情况均为异常数据，且流量V、速度S、时间占有率O三个字段均为异常数据字段；步骤3.4：利用阈值识别异常数据；在采集间隔t0分钟内，步骤3.3的待检测数据超过阈值，则视为异常数据；利用道路的行政等级和双向车道数进行道路等级划分，根据不同的道路等级，采用相对...

【专利技术属性】
技术研发人员：陈艳艳，何知贤，王扬，赖见辉，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11