一种基于强化学习的自适应调节地图匹配搜索半径的方法技术

本发明专利技术公开了一种基于强化学习的自适应调节地图匹配搜索半径的方法。运用强化学习中的Q学习算法完成自适应调节搜索半径，确定Q学习算法自适应调节搜索半径的智能体、环境、状态和动作变量，构建兼顾搜索候选路段集合大小和地图匹配准确性能的双目标奖励函数，制定基于策略的动作价值函数来确定最佳搜索半径策略。此外，利用启发式算法对GPS样本进行筛选以选择一定数量的训练数据，提高强化学习的训练效果。本发明专利技术能根据GPS的位置信息，自适应确定搜索半径，从而提高地图匹配的计算效率。从而提高地图匹配的计算效率。从而提高地图匹配的计算效率。

【技术实现步骤摘要】
一种基于强化学习的自适应调节地图匹配搜索半径的方法


[0001]本专利技术涉及计算机
和数据处理技术，具体涉及地图匹配中搜索候选路段技术，可应用于定位、导航、路线规划等基于位置的服务，尤其涉及一种基于强化学习的自适应调节地图匹配搜索半径的方法。

技术介绍

[0002]随着GPS传感器等定位技术和设备的日益普及和应用(如导航和路线规划等)，大量的GPS轨迹数据被收集和应用于不同的领域。由于GPS传感器的读数存在一定的定位误差和采样误差，原始GPS轨迹需要在使用前进行预处理。地图匹配是最重要的预处理任务之一，其目的是通过GPS定位序列与底层道路网络的匹配，确定给定GPS轨迹的实际行驶路线。地图匹配算法的基本思想是根据车辆的GPS位置和其对应的路网数据信息确定该车辆实际行驶的道路，将一系列有序的车辆原始GPS采样点映射到道路网络中，通过地图匹配算法找出原始GPS采样点在道路网络中真实位置。地图匹配算法主要流程如下(见图1)：
[0003](1)基于原始GPS采样点和给定的搜索半径确定采样点的候选路段；
[0004](2)候选路段的特征提取和候选路段之间的时空关系建模；
[0005](3)选取最优的候选路段序列成为匹配路径。
[0006]大量的地图匹配方法已经被提出，其中大多方法都基于隐马尔科夫模型(Hidden Markov Model，HMM)开发的。HMM模型善于通过结合额外的特征(如道路连通性和旅行方向)对GPS位置序列进行建模。文献(Paul Newson and John Krumm.2009.Hidden Markov map matching through noise and sparseness.In Proceedings of the 17th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems(GIS'09).Association for Computing Machinery,New York,NY,USA,336
–
343.)将原始GPS采样点的位置信息和开源地图OpenStreetMap(OSM)的道路网络信息联系起来，计算原始GPS采样点到附近的路段概率值(即观察概率)，以及候选路段之间的转移概率，最终选取累积概率值最大的候选路段序列作为最终的匹配路径。该基于隐马尔科夫模型地图匹配算法对原始GPS采样点的位置信息和路段之间连通的合理性都很敏感。HMM地图匹配的主要流程如下：
[0007](1)利用R树或四叉树索引对路网构建索引，并运用索引搜索各个GPS采样点的候选路段；
[0008](2)计算候选路段状态观测概率和转移概率；
[0009](3)使用维特比(Viterbi)算法计算最优匹配路径。
[0010]观察上述计算过程发现，减少HMM地图匹配计算开销的关键是减少每个GPS采样点的候选路段数量。然而，现有的工作采用固定的搜索半径参数来搜索所有GPS采样点的候选路段(Zhihao Shen,Wan Du,Xi Zhao,and Jianhua Zou.2020.DMM:fast map matching for cellular data.Proceedings of the 26th Annual International Conference on Mobile Computing and Networking.Association for Computing Machinery,New York,
NY,USA,Article 60,1
–
14.)。在实践中，我们观察到GPS定位误差在不同城市中有较大差异。GPS定位在某些城市峡谷区域误差较大，但在其他城市区域表现较好。在GPS定位精准区域收集观测数据中，如果使用固定的搜索半径会引入不相关的路段，增加计算开销；而在误差较大的区域，过小的搜索半径也可能找不到正确路段，降低了地图匹配的准确度。

技术实现思路

[0011]本专利技术的目的在于基于上述现有技术存在的问题，提供一种基于强化学习的自适应调节地图匹配搜索半径的方法。
[0012]为实现上述技术目的，本专利技术采用如下技术方案，
[0013]一种基于强化学习的自适应调节地图匹配搜索半径的方法，包括：
[0014]基于预设大小的六边形网格对城市道路网络进行划分；
[0015]将路网空间索引作为环境，地图匹配算法作为智能体，对每个六边形网格内给定的GPS样本，以不同搜索半径值作为状态，搜索半径扩大、不变和缩小作为动作，以包含正确路段且候选路段集合尽可能小为原则建立奖励函数，将每个六边形网格的自适应调节搜索半径问题建模为马尔科夫决策过程；
[0016]利用Q学习算法获取所有六边形网格的最佳搜索半径。
[0017]作为一种优选的实施方式，所述以不同搜索半径值作为状态包括：设置最大搜索半径值后，以预设步长将搜索半径值进行离散，获得若干个基于搜索半径值表征的状态。
[0018]作为一种优选的实施方式，对搜索半径扩大、不变和缩小三个动作进行对应的赋值，利用数值表征相应的动作。
[0019]作为一种优选的实施方式，所述奖励函数定义如下：
[0020][0021]其中，为GPS样本g当前状态s
i
对应的候选路段集；G
g
为GPS样本g的正确候选路段，通过地图匹配获得；或0，表示是否包含路段G
g
。
[0022]作为一种优选的实施方式，利用Q学习算法获取所有六边形网格的最佳搜索半径的方式为：
[0023]以每个六边形网格包含的GPS样本为输入，先将状态初始化为最大搜索半径，之后对每个GPS样本依次基于即时奖励函数值更新状态
‑
动作值函数，遍历完所有GPS样本后输出状态
‑
动作表。
[0024]优选的，在学习过程中，以ε
‑
greedy策略选择一个动作从而获得一个新的状态。
[0025]优选的，对于错过正确候选路段的情况，以预设步长逐渐扩大搜索半径来进行候选路段的搜索。
[0026]作为一种优选的实施方式，所述GPS样本基于如下方式筛选：
[0027]预设筛选轨迹数量阈值，在阈值范围内进行轨迹筛选操作：
[0028]遍历轨迹数据，对每条轨迹建立包含轨迹上GPS样本的六边形网格的序列；
[0029]对每个六边形网格，按其包含的轨迹数量从少到多的顺序进行轨迹选择，对六边形网格选择一条经过的轨迹后，清除该轨迹经过的六边形网格，从其余网格中继续按照包
含的轨迹数量从少到多的顺序进行轨迹选择，直至选择的轨迹覆盖所有六边形网格。
[0030]作为一种优选的实施方式，在六边形网格包含两条或两条以上的轨迹时，选择包含GPS样本最多的轨迹。
[0031]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的自适应调节地图匹配搜索半径的方法，其特征在于，包括：基于预设大小的六边形网格对城市道路网络进行划分；将路网空间索引作为环境，地图匹配算法作为智能体，对每个六边形网格内给定的GPS样本，以不同搜索半径值作为状态，搜索半径扩大、不变和缩小作为动作，以包含正确路段且候选路段集合尽可能小为原则建立奖励函数，将每个六边形网格的自适应调节搜索半径问题建模为马尔科夫决策过程；利用Q学习算法获取所有六边形网格的最佳搜索半径。2.根据权利要求1所述的方法，其特征在于，所述以不同搜索半径值作为状态包括：设置最大搜索半径值后，以预设步长将搜索半径值进行离散，获得若干个基于搜索半径值表征的状态。3.根据权利要求1所述的方法，其特征在于，对搜索半径扩大、不变和缩小三个动作进行对应的赋值，利用数值表征相应的动作。4.根据权利要求1所述的方法，其特征在于，所述奖励函数定义如下：其中，为GPS样本g当前状态s
i
对应的候选路段集；G
g
为GPS样本g的正确候选路段，通过地图匹配获得；或0，表示是否包含路段G
g
。5.根据权利要求1所述的方法，其特征在于，利用Q学习算法获取所有六边形网格的最佳搜索半径的方式为：以每个六边形网格包含的GP...

【专利技术属性】
技术研发人员：刘志丹，周荧倩，伍楷舜，
申请(专利权)人：香港科技大学广州，
类型：发明
国别省市：