ETA的预测方法、模型训练方法、装置及存储介质制造方法及图纸

本申请实施例提供了一种ETA的预测方法、模型训练方法、装置及存储介质，涉及机器学习技术、地图、智慧交通、智慧出行等应用领域。该方法包括：获取目标用户在当前时间步的行程特征；行程特征包括当前时间步对应的时刻以及剩余导航路线的路线特征；将目标用户在当前时间步的行程特征输入至预先训练的ETA预测模型，获得当前时间步的ETA；预测模型在训练时的奖励函数的输入包括训练样本的ATA以及每一时间步的历史预测ETA序列；每一时间步的预测ETA是根据预测模型的策略函数在强化学习过程中根据每一时间步的行程特征预测出的ETA的概率分布获得的。本申请实施例考虑行程不断变化对ETA预测的影响，预测结果更加准确。

【技术实现步骤摘要】
ETA的预测方法、模型训练方法、装置及存储介质
本申请涉及机器学习
，具体而言，本申请涉及一种ETA的预测方法、模型训练方法、装置及存储介质。
技术介绍
预计到达时间（EstimatedTimeofArrival,ETA）是地图软件中的一个基础功能，它所完成的功能是：给定地图上的一条路线和出发时间，预估出走完这条路线所需要的时间。目前预测ETA最常用的算法包括基于规则的逐路段累加方法和基于树模型的方法，其中：基于规则的逐路段累加方法依赖人工经验，根据每个路段的长度、速度、红绿灯等状况，估计出每个路段的通过时间，再加上每个路口的通过时间，这样累加起来，就构成了整条路线的总时间。这种方法对人工经验的依赖很强，并且，现实路况十分复杂，人为设定的规则无法覆盖各种情形，导致给出的时间常常不准。更关键的是，这种方法将各路段的预估时间进行累加，因此每个路段预估时间的误差也会进行累积，这就使得最终结果很难取得令人满意的准确率。基于树模型的方法先提取出整条路线的特征，例如全程总路程、出发时刻的全程平均速度、全程红绿灯总数、全程拥堵里本文档来自技高网...

【技术保护点】
1.一种预计到达时间ETA的预测方法，其特征在于，包括：/n获取目标用户在当前时间步的行程特征；所述行程特征包括所述当前时间步对应的时刻以及剩余导航路线的路线特征；/n将所述目标用户在当前时间步的行程特征输入至预先训练的ETA预测模型，获得所述ETA预测模型输出的所述当前时间步的ETA；/n其中，所述ETA预测模型在训练时的奖励函数的输入包括训练样本的实际到达时间ATA以及每一时间步的历史预测ETA序列，所述奖励函数的输出用于表征对所述每一时间步的预测ETA的准确性的评价结果；/n所述历史预测ETA序列包括所述每一时间步之前的至少一个时间步的预测ETA；所述每一时间步的预测ETA是根据所述ET...

【技术特征摘要】
1.一种预计到达时间ETA的预测方法，其特征在于，包括：
获取目标用户在当前时间步的行程特征；所述行程特征包括所述当前时间步对应的时刻以及剩余导航路线的路线特征；
将所述目标用户在当前时间步的行程特征输入至预先训练的ETA预测模型，获得所述ETA预测模型输出的所述当前时间步的ETA；
其中，所述ETA预测模型在训练时的奖励函数的输入包括训练样本的实际到达时间ATA以及每一时间步的历史预测ETA序列，所述奖励函数的输出用于表征对所述每一时间步的预测ETA的准确性的评价结果；
所述历史预测ETA序列包括所述每一时间步之前的至少一个时间步的预测ETA；所述每一时间步的预测ETA是根据所述ETA预测模型的策略函数在强化学习过程中根据所述每一时间步的所述行程特征预测出的ETA的概率分布获得的。


2.根据权利要求1所述的预计到达时间ETA的预测方法，其特征在于，所述将所述目标用户在当前时间步的行程特征输入至预先训练的ETA预测模型，获得所述ETA预测模型输出的所述当前时间步的ETA，包括：
对所述当前时间步的行程特征进行编码，获得当前时间步的特征向量；
将所述当前时间步的特征向量输入至所述策略函数，获得所述策略函数输出的当前时间步的ETA的概率分布；
根据所述当前时间步的ETA的概率分布进行采样，基于采样结果，得到当前时间步的ETA。


3.根据权利要求1所述的预计到达时间ETA的预测方法，其特征在于，所述训练后的ETA预测模型通过如下方式训练得到：
获取所述训练样本的每一时间步的行程特征以及ATA；
将所述每一时间步的行程特征输入至待训练的ETA预测模型的策略函数，获得所述策略函数输出的所述每一时间步的ETA的概率分布；
根据所述ETA的概率分布进行采样，获得所述每一时间步的预测ETA；
根据所述ATA以及每一时间步的历史预测ETA序列输入所述奖励值函数，获得所述奖励值函数输出的所述每一时间步的奖励值；
根据所述每一时间步的奖励值以及预测ETA的概率分布，对所述策略函数的参数进行训练，将训练完成的策略函数作为训练后的ETA预测模型。


4.根据权利要求3所述的预计到达时间ETA的预测方法，其特征在于，所述根据所述ATA以及每一时间步的历史预测ETA序列输入所述奖励值函数，获得所述奖励值函数输出的所述每一时间步的奖励值，包括：
将所述每一时间步的预测ETA与所述ATA输入至所述奖励值函数，获得所述奖励值函数输出的所述每一时间步的预测ETA的准确性奖励值；所述准确性奖励值用于表征所述每一时间步的预测ETA的准确程度；
将所述每一时间步的预测ETA与历史预测ETA序列输入至所述奖励值函数，获得所述奖励值函数输出的所述每一时间步的平稳性奖励值；所述平稳性奖励值用于表征所述每一时间步的预测ETA相对于所述历史预测ETA序列的平稳下降程度；
结合所述每一时间步的准确性奖励值和平稳性奖励值，获得所述每一时间步的奖励值。


5.根据权利要求3所述的预计到达时间ETA的预测方法，其特征在于，所述根据所述每一时间步的奖励值以及预测ETA的概率分布，对所述策略函数的参数进行训练，包括：
根据所述每一时间步之后的所有时间步的奖励值之和，获得所述每一时间步的累加奖励值；
根据所述每一时间步的累加奖励值以及ETA的概率分布，通过梯度下降法对所述策略函数的参数进行训练。


6.根据权利要求3至5任意一项所述的预计到达时间ETA的预测方法，其特征在于，所述对所述策略函数的参数进行训练，包括：
将所述策略函数的所有参数划分为第一组参数和第二组参数，所述第一组参数和所述第二组参数中不存在相同的参数；
根据所述行程特征生成特征向量；
根据所述特征向量与所述第一组参数的内积拟合正态分布的均值，根据所述特征向量与所述第二组参数的内积拟合正态分布的标准差，以完成对所述策略函数的参数的训练。


7.根据权利要求1-5任意一项所述的预计到达时间ETA的预测方法，其特征在于，所述行程特征还包括所述...

【专利技术属性】
技术研发人员：姜正申，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44