一种基于改进型限幅平均滤波的浮动车数据处理方法技术

本发明专利技术提供一种基于改进型限幅平均滤波的浮动车数据滤选方法，包括数据输入，特征分析，根据FCD分布状态分析、道路交叉口结构分析、FCD与道路的映射分析，得到浮动车轨迹空间分布规律；FCD数据预处理后，依据城市道路矢量图以及道路交叉路口规划规范，分别根据道路节点、道路类型和道路间隔，对浮动车数据进行三级分割，将分割段作为基本研究单元；轨迹中心线拟合，数据转换与整合，结合浮动车轨迹几何特征、运动特征变化规律及浮动车数据的空间分布规律，进行基于改进型限幅平均滤波的浮动车数据滤选。本发明专利技术技术方案具有操作便捷、算法高效的优势，可以为后续用浮动车数据探测展宽车道等技术提供更实用的数据来源，提高相应探测精度。

Floating car data processing method based on improved limiting average filtering

The invention provides a floating car data filtering method based on improved limiting average filtering, which includes data input, feature analysis, FCD distribution state analysis, Road intersection structure analysis, mapping analysis between FCD and road, and obtains the spatial distribution law of floating car trajectory. Vector map and road intersection planning specifications divide floating car data into three levels according to road nodes, road types and road spacing respectively, and take the segment as the basic research unit; track center line fitting, data conversion and integration, combined with the geometric characteristics of floating car trajectory, the changing rules of motion characteristics and floating. According to the spatial distribution law of EMU data, floating car data filtering based on improved limiting average filtering is carried out. The technical scheme of the invention has the advantages of convenient operation and high efficiency of algorithm, and can provide more practical data sources for subsequent technologies such as floating car data detection and widening lane, and improve the corresponding detection accuracy.

【技术实现步骤摘要】
一种基于改进型限幅平均滤波的浮动车数据处理方法
本专利技术属于时空轨迹大数据
，涉及一种基于改进型限幅平均滤波的浮动车数据清洗处理方法。
技术介绍
由于交通检测设备故障、通信系统故障及环境因素异常等原因，采集到的交通数据存在遗漏、错误和不精确等问题。这些有质量问题的数据进行道路信息监测，必将产生不稳定因素，影响检测的效果。由浮动车数据的数据量巨大，传统的数据处理方法并不适宜，因此有必要分析浮动车数据中的常见问题，以便选择合适的数据处理方法，检测并消除数据中的错误和不一致，提高数据质量，从而为服务交通管理和公众出行更好地信息服务的质量。在20世纪80年代，德国人率先提出的一种新型的交通信息检测技术——浮动车技术，之后欧美国家开始对浮动车技术进行研究和实验[1]。随后，许多学者对浮动车技术的概念、浮动车系统的框架以及浮动车数据的处理方法不断研究并完善[2]。常见的数据问题包括数据重复[3]、数据缺失[4]、数据异常[5]、数据逻辑错误和数据不一致等[6]。浮动车数据处理从处理内容上，主要包括FCD(FloatingCarData，浮动车数据)误差处理及地图匹配。针对FCD粗差处理，现有FCD粗差处理的方法主要有：数据清洗、空间插值、排序合并法以及机器学习等。其中，机器学习方法，因具备自动化地发现重复识别规则、减少人工干预量的优势，已成为当前流行的数据处理方法[7-8]。一些学者针从数据的规律性、相似性、重复性视角出发，运用机器学习方法解决数据重复问题，并取得了较高的效率和良好的检测精度[7-9]。当前本领域的技术难点与实现难度在于：因为浮动车数据的定位精度不够高，为了提高原始浮动车数据质量，需要根据利用浮动车数据解决的实际问题，制定合理的数据处理策略；且由于浮动车数据量巨大，为了提高数据处理策略并需要采用简便高效的数据处理算法。传统的测量数据量有限，不需要进行海量的数据处理工作，采用传统的数据处理方法，如3-TIN，即可满足工作需求，但是现有的浮动车数据量快速增长，传统数据处理方法已经不足进行海量的浮动车数据处理。改进型限幅平均滤波优选数据，是一种广泛应用于信号处理领域的方法，该方法主要包括限幅滤波法[10]、中位值滤波法以及滑动平均滤波法[11,12]等算法，是用以滤除掉来自信号系统及外界环境的干扰信号的一种方法[13]。这种方法具有滤选精度高、处理功能强、灵活、可靠，不受周围环境干扰的影响等优点。1)限幅滤波法限幅滤波法，又称程序判断滤波。该方法的基本原理：根据经验制定两次采样允许的最大偏差值(经验差值：A)，对每次检测到新值时，判断当前检测的值与前一次的检测值的差值是否小于或等于A，若“是”，则当前检测的值合格；反之，则剔除该值。该方法的优势在于，能有效克服因偶然因素引起的误差干扰，但是，存在无法抑制周期性误差的缺陷。2)递推平均滤波法递推平均滤波法，又称滑动平均滤波法。该方法的基本原理：首先将依次取N个浮动车轨迹数据，并作为一个队列，其中，将队列的长度固定为N；然后，将每次探测到一个新数据放入队尾,同时释放原来位于队首的一个数据；最后，依据先进先出原则，将队列中的N个数据求解算术平均值，过滤本次递推队列中大于平均值的轨迹点。该方法的优势在于：对周期性干扰有良好的抑制作用，平滑度高。虽然，FCD的采样频率不高(40s/次)，但其在本专利技术中，沿道路方向以10m等距划分的研究单元内，包含有海量的数据，又由于GPS定位误差遵循正态分布，对FCD中的粗差可采用递推平均滤波法进行剔除，用以抑制GPS定位中存在的周期性误差的干扰。3)中位值平均滤波法该方法的基本原理：对于连续采样的一组数据，剔除数据中的最大值和最小值，将剩下数据的平均值作为滤选阈值，剔除其值大于平均值的数据。该方法的优势在于，可以消除由于偶然因素的干扰所引起的采样值偏差。4)限幅平均滤波法该方法的基本原理：将每次采样到的新数据，遵循先限幅处理再进行递推平均滤波的处理策略，因此，相当于“限幅滤波法”+“递推平均滤波法”。通过这样的处理策略，得以融合了两种滤波法的优点。由于改进型限幅平均滤波比较要求系统资源，并且原始浮动车数据具有其自身特点不同于一般信号数据，因此，采用改进型限幅平均滤波法滤选浮动车数据，还需要对浮动车数据进行处理与转换。相关参考文献：[1]叶加圣.基于FCD技术的道路交通信息采集与交通动态诱导系统[D].合肥:合肥工业大学,2009.[2]张建华.基于GIS浮动车获取道路实时车速的方法研究[D].昆明:昆明理工大学,2013:1389-1393.[3]LeeML,HsuW,KothariV.Cleaningthespuriouslinksindata[J].IntelligentSystemsIEEE,2004,19(2):28-33.[4]WuX.Learningmissingvaluesfromsummaryconstraints[J].AcmSigkddExplorationsNewsletter,2002,4(1):21-30.[5]LuebbersD,GrimmerU,JarkeM.SystematicDevelopmentofDataMining-BasedDataQualityTools[C]//2003:548-559.[6]MotroA,AnokhinP,AcarAC.Utility-basedresolutionofdatainconsistencies[C]//Iqis2004,InternationalWorkshoponInformationQualityinInformationSystems,18June2004,Paris,France.DBLP,2004:35-43.[7]SarawagiS,BhamidipatyA.Interactivededuplicationusingactivelearning[C]//EighthACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining.ACM,2002:269-278.[8]BilenkoM,MooneyRJ.Adaptiveduplicatedetectionusinglearnablestringsimilaritymeasures[C]//ACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining.ACM,2003:39-48.[9]VerykiosVS,MoustakidesGV,ElfekyMG.ABayesiandecisionmodelforcostoptimalrecordmatching[J].VldbJournal,2003,12(1):28-40.[10]Jia-JieXU,KaiZ,ChiMM,etal.Trajectorybigdata:data,applicationsandtechniques[J].JournalonCommunications,2015.[11]LuW,ZhangJ,YangY,etal.Parameteranalysesofanadapt本文档来自技高网...

【技术保护点】
1.一种基于改进型限幅平均滤波的浮动车数据滤选方法，其特征在于，包括以下步骤：步骤1，数据输入，数据源包括浮动车数据和城市道路矢量图；步骤2，特征分析，包括根据FCD分布状态分析、道路交叉口结构分析、FCD与道路的映射分析，得到浮动车轨迹空间分布规律；步骤3，FCD数据预处理，包括首先对原始浮动车数据剔除非法值，然后对时间周期内的浮动车数据进行时序融合，最后通过地图匹配和投影变换，对FCD进行坐标系转换，得到空间直角坐标系下浮动车数据集；步骤4，轨迹分割，包括依据城市道路矢量图以及道路交叉路口规划规范，分别根据道路节点、道路类型和道路间隔，对浮动车数据进行三级分割，将分割段作为基本研究单元；步骤5，轨迹中心线拟合，包括将分割段内的浮动车数据，根据浮动车数据的车头方向，采用主成分分析得到分割段内浮动车数据的主方向，并结合随机数法，得到分割段的轨迹中心线；步骤6，数据转换与整合，包括基于分割段的轨迹中心线，将浮动车的空间坐标转换为浮动车数据的分布宽度，整合得到未剔除粗差的轨迹数据集；步骤7，结合浮动车轨迹几何特征、运动特征变化规律及浮动车数据的空间分布规律，进行基于改进型限幅平均滤波的浮动车数据滤选。...

【技术特征摘要】
1.一种基于改进型限幅平均滤波的浮动车数据滤选方法，其特征在于，包括以下步骤：步骤1，数据输入，数据源包括浮动车数据和城市道路矢量图；步骤2，特征分析，包括根据FCD分布状态分析、道路交叉口结构分析、FCD与道路的映射分析，得到浮动车轨迹空间分布规律；步骤3，FCD数据预处理，包括首先对原始浮动车数据剔除非法值，然后对时间周期内的浮动车数据进行时序融合，最后通过地图匹配和投影变换，对FCD进行坐标系转换，得到空间直角坐标系下浮动车数据集；步骤4，轨迹分割，包括依据城市道路矢量图以及道路交叉路口规划规范，分别根据道路节点、道路类型和道路间隔，对浮动车数据进行三级分割，将分割段作为基本研究单元；步骤5，轨迹中心线拟合，包括将分割段内的浮动车数据，根据浮动车数据的车头方向，采用主成分分析得到分割段内浮动车数据的主方向，并结合随机数法，得到分割段的轨迹中心线；步骤6，数据转换与整合，包括基于分割段的轨迹中心线，将浮动车的空间坐标转换为浮动车数据的分布宽度，整合得到未剔除粗差的轨迹数据集；步骤7，结合浮动车轨迹几何特征、运动特征变化规律及浮动车数据的空间分布规律，进行基于改进型限幅平均滤波的浮动车数据滤选。2.根据权利要求1所述基于改进型限幅平均滤波的浮动车数据滤选方法，其特征在于：步骤4的三级分割实现方式为，根据矢量地图数据将整体FCD数据集按道路节点进行分割，得到单条道路范围内的FCD数据集；根据GPS轨迹...

【专利技术属性】
技术研发人员：李小龙，吴玉珍，谭永滨，程朋根，吴静，王毓乾，
申请(专利权)人：东华理工大学，
类型：发明
国别省市：江西,36