一种基于MDA的多维数据抽取方法技术

本发明专利技术公开了基于MDA的多维数据抽取方法，包括了如下步骤：1.手机定位数据以及地图数据预处理；2.确定手机定位数据候选匹配路段及每个路段的粗选匹配点集；3.车载手机数据提取，即每个路段精选匹配点集的确定；4.以空间速度加权平均法计算路段空间平均速度。本发明专利技术是一种覆盖范围大、采集成本低、动态实时的交通流数据采集方法，丰富了智能运输系统交通信息采集方式和来源，对城市智能运输系统建设和改善道路运营管理水平有着积极的意义。

【技术实现步骤摘要】

本专利技术涉及数据提取领域，更具体的说是涉及一种基于MDA的多维数据抽取方法。
技术介绍
目前主要的交通数据采集方式有两类：一类是基于固定式车辆检测器进行采集，常用的有微波检测器、线圈检测器、红外检测器、视频检测器、超声波检测器等，另一类是基于移动式车辆检测设备进行采集，常用的有车载GPS定位设备和车载手机等。固定检测器可以采集流量，速度，占有率等交通基础数据，但存在初期投资成本大，覆盖率低，后期维护复杂等问题，所以在大多数城市中只选择重点道路进行布设。目前应用较多的移动探测器是车载GPS定位设备，可以提供车辆实时的位置和状态信息，目前移动式交通信息采集主要通过浮动车来实现，即在车辆上装载GPS定位设备，浮动车可以采集车辆实时的位置和状态信息，但是由于目前的浮动车主要为出租车，而出租车特有的运行方式往往导致某些路段或路线上采集的交通流数据样本量不足及准确性不高等问题。随着手机普及率的提高和手机定位技术的成熟，基于手机定位数据采集交通数据已经显现出了巨大的应用潜力。
技术实现思路
本专利技术的目的在于，基于小区识别号的手机定位数据特点，制定预处理规则，剔除错误和冗余数据；运用时间窗口的储存方式，动态更新数据，保障数据处理的实时性；剔除表现为乒乓切换效应的数据，提取车载手机数据；针对城市路网，采用基于路段的点到线的地图匹配方法确定匹配点及匹配路段，最终计算每个路段的空间平均速度，从而有效解决了目前该领域对实际数据分析处理不足、实时性不强、地图匹配算法效率低效果不佳的问题，建立了一套基于MDA的多维数据抽取方法。为解决上述的技术问题，本专利技术采用以下技术方案：一种基于MDA的多维数据抽取方法，它包括如下步骤：1)手机定位数据预处理：所述手机定位的方式是基于小区识别号的定位方法:1-1)读取手机定位数据；1-2)根据定位点经纬度坐标，判断该手机的位置是否在空间索引内：如果不是，则返回步骤1-1)，如果是，则继续下一步；1-3)判断该手机当前位置是否与前一时间点位置相同：如果是，则返回步骤1-1)，如果不是，则进行下一步；1-4)取该手机定位数据为参与匹配数据；同时对地图数据进行预处理，方法是：a、根据手机数据定位误差、采集数据时间间隔及车辆运行速度限制，对电子地图路段要素以满足长度要求进行合并或者打断；b、对矢量化方向和道路车流实际运行方向不一致的路段线要素调换起终点节点的位置，使二者方向一致；c、对以一条独立线要素表示的双向道路，覆盖一条线形和位置相同但矢量化方向相反的线要素，使电子地图中完全包含道路的双向运行方向；d、简化地图，只保留研究范围以内满足功能等级要求的路段；e、对研究范围区域路网图层按经纬度等间距分格，将与以路段中心线为基准300米缓冲区范围相交的网格赋予识别属性，根据识别属性在程序初始化阶段生成空间索引数组；2)确定手机定位点候选匹配路段及每个路段的粗选匹配点集：2-1)为每一个路段建立存储单元，储存路段编号、路段方向、路段功能等级、路段空间数据以及匹配点集；2-2)建立固定长度的时间窗口，每间隔一段时间获取实时数据，更新一次时间窗口，并作如下处理：依次读取每条手机定位数据，以经纬度坐标点即定位点为圆心作误差圆，并以相交的约束规则进行空间分析，选取候选路段集，对应路段的垂直投影点作为匹配点，根据匹配点与路段的空间关系，得到该匹配点距离路段起点的距离，并将手机定位点和距离信息存入候选路段集的匹配点集中，作为粗选匹配点集；3)车载手机数据提取，即每个路段精选匹配点集的确定：3-1)读取一条路段粗选匹配点集中的一条手机定位点序列；3-2)判断序列中定位点坐标是否唯一：若不唯一，则删除该定位点序列，并返回步骤3-1)；若唯一，则转入下一步；3-3)依次读取序列中的手机定位点；3-4)比较相邻手机定位点轨迹方向与路段矢量化方向差值，若值小于设定阀值，则判定为行驶于该路段上的车载手机数据，否则删除该定位点数据并返回步骤3-3)读取下一个定位点数据；3-5)依次处理每一条路段，最终得到精选匹配点集；4)以空间速度加权平均法计算路段空间平均速度。更进一步的，所述步骤2-2)，误差圆的半径是300m。更进一步的，所述步骤3-4)中，阀值是45度。更进一步的，所述步骤4)中，所述的空间速度加权平均法是，利用同一车载手机前后相邻的匹配点之间的行驶距离与时间差获取个体车辆的空间速度，进而对匹配至该路段所有车辆进行均值统计来估计路段的空间平均速度，加权系数为匹配点覆盖路段长度占路段总长度的比率；通过计算单个车载手机的空间速度及其在检测路段上的权重因子wk，可得出该检测路段的平均速度，具体公式如下：v&OverBar；i＝1ΣwkΣwk×v&OverBar；k式中，i表示第i条路段；k表示第k个手机；v表示第i条路段的空间平均速度；wk表示第k个手机匹配点覆盖路段长度占总长度的比率。与现有技术相比，本专利技术的有益效果是：基于小区识别号的手机定位数据特点，制定预处理规则，剔除错误和冗余数据；运用时间窗口的储存方式，动态更新数据，保障数据处理的实时性；剔除表现为乒乓切换效应的数据，提取车载手机数据；针对城市路网，采用基于路段的点到线的地图匹配方法确定匹配点及匹配路段，最终计算每个路段的空间平均速度，从而有效解决了目前该领域对实际数据分析处理不足、实时性不强、地图匹配算法效率低效果不佳的问题。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细说明。图1为本专利技术步骤流程图。具体实施方式下面结合附图对本专利技术作进一步的说明。本专利技术的实施方式包括但不限于下列实施例。[实施例]本专利技术利用数据采集卡采集了北京市三环内主要路段和郊区主要道路路段GSM网络上的手机定位数据，原始数据包括手机识别号、时间戳、经纬度坐标、事件类型等信息，采集间隔为一分钟。计算程序采用长度为十五分钟的时间窗口，每一分钟更新一次数据，并处理十五分钟时间窗内储存的数据，将计算结果按路段编号存入数据库中。如图1所示为数据处理流程图，具体实施步骤如下：步骤1.手机定位数据以及地图数据预处理；手机定位数据预处理包括了以下步骤：1.读取一分钟实时数据，根据每一条数据的经纬度坐标结合空间索引格的单位长度计算定位点所属空间索引网格的行列索引号，由此读取空间索引属性，若判断为真，则表明该点位于研究区域且处于研究路段中心线300米范围内；2.根据手机识别号，更新时间窗口，判断是否和前一时间点定位点数据坐标一致，若一致则不储存，处理下一条定位点数据；地图预处理包括了以下步骤：1.根据手机数据定位误差、采集数据时间间隔及车辆运行速度限制，对电子地图路段要素以满足不小于1500米长度要求进行合并或者打断；2.对矢量化方向和道路车流实际运行方向不一致的路段线要素调换起终点节点的位置，使二者方向一致；3.对以一条独立线要素表示的双向道路，覆盖一条线形和位置相同但矢量化方向相反的线要素，使电子地图中完全包含道路的双向运行方向；4.简化地图，只保留研究范围以内满足功能等级要求的路段；5.对研究范围区域路网图层按经纬度等间距分格，行列都是150格，通过空间分析的相交约束条件选取与以路段中心线为基准300米缓冲区范围相交的网格，并赋予识别属性，根据识别属性在程序初始化阶段生成行列对本文档来自技高网...

【技术保护点】
一种基于MDA的多维数据抽取方法，其特征在于：包括如下步骤：手机定位数据预处理：所述手机定位的方式是基于小区识别号的定位方法:1‑1)读取手机定位数据；1‑2)根据定位点经纬度坐标，判断该手机的位置是否在空间索引内：如果不是，则返回步骤1‑1)，如果是，则继续下一步；1‑3)判断该手机当前位置是否与前一时间点位置相同：如果是，则返回步骤1‑1)，如果不是，则进行下一步；1‑4)取该手机定位数据为参与匹配数据；同时对地图数据进行预处理，方法是：a、根据手机数据定位误差、采集数据时间间隔及车辆运行速度限制，对电子地图路段要素以满足长度要求进行合并或者打断；b、对矢量化方向和道路车流实际运行方向不一致的路段线要素调换起终点节点的位置，使二者方向一致；c、对以一条独立线要素表示的双向道路，覆盖一条线形和位置相同但矢量化方向相反的线要素，使电子地图中完全包含道路的双向运行方向；d、简化地图，只保留研究范围以内满足功能等级要求的路段；e、对研究范围区域路网图层按经纬度等间距分格，将与以路段中心线为基准300米缓冲区范围相交的网格赋予识别属性，根据识别属性在程序初始化阶段生成空间索引数组；2)确定手机定位点候选匹配路段及每个路段的粗选匹配点集：2‑1)为每一个路段建立存储单元，储存路段编号、路段方向、路段功能等级、路段空间数据以及匹配点集；2‑2)建立固定长度的时间窗口，每间隔一段时间获取实时数据，更新一次时间窗口，并作如下处理：依次读取每条手机定位数据，以经纬度坐标点即定位点为圆心作误差圆，并以相交的约束规则进行空间分析，选取候选路段集，对应路段的垂直投影点作为匹配点，根据匹配点与路段的空间关系，得到该匹配点距离路段起点的距离，并将手机定位点和距离信息存入候选路段集的匹配点集中，作为粗选匹配点集；3)车载手机数据提取，即每个路段精选匹配点集的确定：3‑1)读取一条路段粗选匹配点集中的一条手机定位点序列；3‑2)判断序列中定位点坐标是否唯一：若不唯一，则删除该定位点序列，并返回步骤3‑1)；若唯一，则转入下一步；3‑3)依次读取序列中的手机定位点；3‑4)比较相邻手机定位点轨迹方向与路段矢量化方向差值，若值小于设定阀值，则判定为行驶于该路段上的车载手机数据，否则删除该定位点数据并返回步骤3‑3)读取下一个定位点数据；3‑5)依次处理每一条路段，最终得到精选匹配点集；4)以空间速度加权平均法计算路段空间平均速度。...

【技术特征摘要】
1.一种基于MDA的多维数据抽取方法，其特征在于：包括如下步骤：手机定位数据预处理：所述手机定位的方式是基于小区识别号的定位方法:1-1)读取手机定位数据；1-2)根据定位点经纬度坐标，判断该手机的位置是否在空间索引内：如果不是，则返回步骤1-1)，如果是，则继续下一步；1-3)判断该手机当前位置是否与前一时间点位置相同：如果是，则返回步骤1-1)，如果不是，则进行下一步；1-4)取该手机定位数据为参与匹配数据；同时对地图数据进行预处理，方法是：a、根据手机数据定位误差、采集数据时间间隔及车辆运行速度限制，对电子地图路段要素以满足长度要求进行合并或者打断；b、对矢量化方向和道路车流实际运行方向不一致的路段线要素调换起终点节点的位置，使二者方向一致；c、对以一条独立线要素表示的双向道路，覆盖一条线形和位置相同但矢量化方向相反的线要素，使电子地图中完全包含道路的双向运行方向；d、简化地图，只保留研究范围以内满足功能等级要求的路段；e、对研究范围区域路网图层按经纬度等间距分格，将与以路段中心线为基准300米缓冲区范围相交的网格赋予识别属性，根据识别属性在程序初始化阶段生成空间索引数组；2)确定手机定位点候选匹配路段及每个路段的粗选匹配点集：2-1)为每一个路段建立存储单元，储存路段编号、路段方向、路段功能等级、路段空间数据以及匹配点集；2-2)建立固定长度的时间窗口，每间隔一段时间获取实时数据，更新一次时间窗口，并作如下处理：依次读取每条手机定位数据，以经纬度坐标点即定位点为圆心作误差圆，并以相交的约束规则进行空间分析，选取候选路段集，对应路段的垂直投影点作为匹配点，根据匹配点与路段的空间关系，得到该...

【专利技术属性】
技术研发人员：陈静，柴军，
申请(专利权)人：成都汉康信息产业有限公司，
类型：发明
国别省市：四川;51