一种基于深度强化学习的电动汽车充电导航方法技术

一种基于深度强化学习的电动汽车充电导航规划方法，采集电动汽车充电导航的历史数据；利用确定性电动汽车充电导航模型对历史数据降维并抽取特征数据；根据特征数据，建立马尔科夫决策过程模型，然后以特征数据为训练样本，训练初始化后的深度Q值网络；根据实际的各道路的平均行驶速度、各充电站的等待时间和各充电站的充电电价，利用深度Q值网络，得到综合成本最小的电动汽车充电站选择，再利用确定性电动汽车充电导航模型，得到路线规划。本发明专利技术能全面反映电动汽车在充电导航过程中的各种成本与随机性。相比已有方法，本发明专利技术更加全面完整地刻画了电动汽车充电导航问题，并通过深度强化学习的方法很好地处理了随机性，优势显著。

【技术实现步骤摘要】
一种基于深度强化学习的电动汽车充电导航方法
本专利技术属于电力系统领域，涉及一种基于深度强化学习的电动汽车充电导航方法。
技术介绍
随着电动汽车的快速发展和普及，电力网和交通网的联系日益紧密。电动汽车车主在面临充电需求时，可根据电网与交通网的实时数据规划总体成本最小的充电方案。这些数据包括各条道路的行驶时间，各充电站的等待时间和充电价格。然而，这些数据数量巨大且具有一定的随机性，这为电动汽车车主规划最优充电导航方案带来了挑战。目前的电动汽车充电规划主要分为两类：一类是静态充电，即不考虑交通网信息的电动汽车充电计划安排，这种场景多发生在住宅区和大型车库中，主要考虑的是充电电价的不确定性。另一类是确定性的充电导航，即认为道路的行驶时间、各充电站的等待时间和充电价格是已知且确定的。这两类规划都未能很好地解决电动汽车车主在实际场景中的充电导航问题。随着深度强化学习技术的迅猛发展，深度Q值网络技术被运用在越来越来的研究领域中，并由于其强大的自适应能力，使其能较好地从具有随机性的数据中提取信息和识别特征。此外，与传统的基于模型的方法相比，深本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的电动汽车充电导航规划方法，其特征在于，包括以下步骤：/n步骤一：采集电动汽车充电导航的历史数据；/n步骤二：利用确定性电动汽车充电导航模型对历史数据降维并抽取特征数据；/n步骤三：根据步骤二中的特征数据，建立马尔科夫决策过程模型；/n步骤四：利用马尔科夫决策过程模型，以特征数据为训练样本，训练初始化后的深度Q值网络；/n步骤五，根据实际的各道路数据，利用完成训练的深度Q值网络，得到综合成本最小的电动汽车充电站选择，再利用确定性电动汽车充电导航模型，得到路线规划。/n

【技术特征摘要】
1.一种基于深度强化学习的电动汽车充电导航规划方法，其特征在于，包括以下步骤：
步骤一：采集电动汽车充电导航的历史数据；
步骤二：利用确定性电动汽车充电导航模型对历史数据降维并抽取特征数据；
步骤三：根据步骤二中的特征数据，建立马尔科夫决策过程模型；
步骤四：利用马尔科夫决策过程模型，以特征数据为训练样本，训练初始化后的深度Q值网络；
步骤五，根据实际的各道路数据，利用完成训练的深度Q值网络，得到综合成本最小的电动汽车充电站选择，再利用确定性电动汽车充电导航模型，得到路线规划。


2.根据权利要求1所述的一种基于深度强化学习的电动汽车充电导航规划方法，其特征在于，步骤一中，历史数据包括：各道路的平均行驶速度、各充电站的等待时间和各充电站的充电电价。


3.根据权利要求1所述的一种基于深度强化学习的电动汽车充电导航规划方法，其特征在于，确定性电动汽车充电导航模型如下：






模型约束为：



eend≥emin(4)












其中，为行驶耗能成本，为行驶时间成本，为等待时间成本，为充电耗能成本，为到充电站k充电的除等待时间成本以外的成本之和，α为单位行驶距离耗电量，λe为单位电价，dij为交通节点i到j的距离，eend为电动汽车最终荷电状态，eini为电动汽车的初始荷电状态，Emax为电动汽车的最大电池容量，emax为电动汽车最大荷电状态，为充电站k的充电价格，vij为交通节点i到j的通行速度；yi为代表充电站位置的0-1变量。


4.根据权利要求1所述的一种基于深度强化学习的电动汽车充电导航规划方法，其特征在于，步骤...

【专利技术属性】
技术研发人员：邵成成，钱涛，李徐亮，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61