基于强化学习的新能源车充电站选择及自适应导航方法技术

本发明专利技术提供一种基于强化学习的新能源车充电站选择及自适应导航方法，包括步骤：获取道路信息以及充电站点信息；根据目前车辆剩余电量筛选出所有可到达充电站点；基于可到达充电站点，根据车辆行驶时间、充电时间、充电舒适度以及行驶能量消耗确定最优的充电站点及导航路线；根据导航路线前往最优的充电站点，并在途中根据交通情况采用强化学习自适应更新导航路线。本发明专利技术综合考虑实时路况信息、充电站点等待时间以及充电舒适度等影响因子来筛选出最优充电站点，并且提出基于强化学习的新能源汽车自适应路径导航机制，可以高效利用有限充电站点、显著缓解交通压力、大幅缩减用户整体充电时间，优化了现有新能源汽车的充电引导调度方案。导调度方案。导调度方案。

【技术实现步骤摘要】
基于强化学习的新能源车充电站选择及自适应导航方法


[0001]本专利技术属于新能源汽车充电
，特别涉及一种基于强化学习的新能源车充电站选择及自适应导航方法。

技术介绍

[0002]在倡导绿色节能的大环境下汽车产业正在向智能化、新能源化、轻量化、共享化方向蓬勃发展。因此研究一种高效可行的充电站点选择与自适应路径导航方法，以高效利用有限充电站点、缓解交通压力、满足新能源汽车庞大充电需求、提升充电舒适度具有十分重要的意义。
[0003]目前，国内外对新能源汽车充电导航的主要研究方向在于对传统路径规划算法的优化，以提高算法的可行性。但是此类方法单纯以行驶路径最短为优化目标，评判标准过于单一，忽略了真实环境下的动态车流变化、交通灯等待时间、充电时间以及充电站点可用性等关键因素。因此基于此类方法的导航方案无法有效避免交通拥堵,难以提高充电效率。

技术实现思路

[0004]本专利技术的目的在于提出一种基于强化学习的新能源车充电站选择及自适应导航方法，能够改善电动汽车充电体验，提高充电站利用率及充电效率，节约能源。
[0005]解决本专利技术目的的技术解决方案为：一种基于强化学习的新能源车充电站选择及自适应导航方法，根据车辆行驶时间、充电时间、充电舒适度以及行驶能量消耗选择备选充电站点，并结合备选充电站点的最优路径选出最终充电方案，其具体步骤为：
[0006]步骤1，获取道路信息以及附近的充电站点信息；
[0007]步骤2，根据目前车辆剩余电量筛选出所有可到达充电站点；
[0008]步骤3，基于可到达充电站点，根据车辆行驶时间、充电时间、充电舒适度以及行驶能量消耗选出最优的充电站点及导航路线；
[0009]步骤4，据步骤3的导航路线前往目标充电站点，并在途中根据交通情况使用强化学习自适应更新导航路线。
[0010]进一步地，所述步骤3包括如下步骤：
[0011]步骤3.1，根据车辆行驶时间和行驶能量消耗采用强化学习方法选择当前时间点至各可到达充电站点的最优行驶路线；
[0012]步骤3.2，根据当前可到达充电站点的最优行驶路线、充电时间、充电舒适度以及行驶能量消耗确定最优充电站点。
[0013]进一步地，所述步骤3.1包括如下步骤：
[0014]步骤3.1.1，根据现有路况信息构建城市道路图结构模型，并定义奖励函数；
[0015]步骤3.1.2，依据状态转换值构建状态转换概率函数；
[0016]步骤3.1.3，基于贝尔曼方程构建适应于路径规划的强化学习更新策略方程；
[0017]步骤3.1.4，根据当时道路交通信息和随机初始化状态，重复步骤3.1.2和3.1.3迭
代更新Q值，得到该时段的Q值表；
[0018]步骤3.1.5，根据Q值表中数值最高的路线移动，得到当前最优路径。
[0019]进一步地，所述步骤3.2具体包括如下步骤：
[0020]步骤3.2.1，根据等待红灯时间以及车辆移动时间推断出车辆行驶时间；
[0021]步骤3.2.2，分情况推断出恒流恒压两步充电策略下的充电时间；
[0022]步骤3.2.3，根据充电等待时间与充电站点位置计算出充电舒适度；
[0023]步骤3.2.4，根据电机传动效率和汽车平均行驶速度计算出行驶能量消耗；
[0024]步骤3.2.5，根据所述车辆行驶时间、充电时间、充电舒适度、以及能量消耗计算出各充电站点的可行性并选出最优充电站点。
[0025]本专利技术与现有技术相比，其显著效果为：
[0026](1)本专利技术综合考虑路况信息、充电站点等待时间和充电舒适度等情况选择充电站点，并且使用强化学习方法根据交通情况实时调整前往充电站的路径；有效避免了充电排队时间过长，前往途中的交通拥堵等影响用户体验，同时动态调整路径使得用户可以更快的到达充电站点；
[0027](2)本专利技术充分挖掘现有交通情况以及充电站点信息，动态选择导航路线，可以合理地为新能源车辆用户进行调度，有效缩进用户充电时间，提升用户充电舒适度。
附图说明
[0028]图1为本专利技术实施例方法所设计的框架设计图。
[0029]图2为本专利技术实施例方法的动态路径规划流程图。
[0030]图3为本专利技术实施例方法的最优充电站点选择流程图。
[0031]图4为本专利技术实施例方法的路径规划结构模型简图。
具体实施方式
[0032]为更好地理解本专利技术地目的、技术方案以及技术效果，以下结合附图对本专利技术进行进一步的讲解说明。
[0033]本专利技术充分考虑动态车流信息、交通灯等待时间、充电时间、车辆行驶时间以及能量消耗等因素构建站点选择与路径规划模型，更加符合新能源汽车的真实充电场景；此外，利用实时交通流信息，本专利技术提出一种强化学习方法的自适应路径导航机制，有效减少了用户前往充电站点的能量消耗和行驶时间，其实施流程结合图1和图2，具体包括如下详细步骤：
[0034]S1，通过蜂窝网络/车联网获取道路信息以及附近的充电站点信息；通过蜂窝网络或者车联网技术从交通系统调度机构、充电站运营商处获得各个交通道路的实时通行速度、各充电桩的空闲余额等信息。
[0035]S2，根据目前车辆剩余电量选出所有可到达的充电站点；获取附近可用充电站点后，通过比对当前车辆剩余里程和充电站点的距离挑选出所有可用充电站点。
[0036]S3，根据车辆行驶时间、充电时间、充电舒适度以及行驶能量消耗选出最优的充电站点；根据确定好的最优路径，确定每个备选充电站点的车辆行驶时间、充电时间、充电舒适度以及行驶能量消耗，计算出各个站点的可行性指标，选择可行性最好的充电站点作为
最终的充电站点。
[0037]S4，根据步骤S3预测的导航路线前往目标充电站点，并在途中根据交通情况使用强化学习自适应更新导航路线。
[0038]步骤S3具体包括以下步骤：
[0039]S3.1，根据车辆行驶时间和能量消耗使用强化学习方法选择当前时间点各备选站点的最优行驶路线；
[0040]S3.2，根据当前最优路径、充电时间、充电舒适度选出最优充电站点。
[0041]具体的，S3.1包括如下步骤：
[0042]S3.1.1，根据现有路况信息构建城市道路图结构模型，并定义奖励函数：将城市道路抽象为图G(E)，E表示路段集，城市路段由{e1,
…
e
i
,
…
e
j
}组成，e
i
∈E,J表示城市环境中的道路总数，定义状态转移函数g
s
(s,a)表示在当前状态s下采取a行动时将会转移到下一状态，奖励函数g
r
(s,a)表示为：
[0043][0044]其中e
s
代表充电站点所在路段，当在s状态下采用a行动可以得到e
s
状态则奖励值为100否则为零。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，包括步骤：步骤1，获取道路信息以及充电站点信息；步骤2，根据目前车辆剩余电量筛选出所有可到达充电站点；步骤3，基于可到达充电站点，根据车辆行驶时间、充电时间、充电舒适度以及行驶能量消耗确定最优的充电站点及导航路线；步骤4，根据导航路线前往最优的充电站点，并在途中根据交通情况采用强化学习自适应更新导航路线。2.根据权利要求1所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3具体包括：步骤3.1，根据车辆行驶时间和行驶能量消耗采用强化学习方法选择当前时间点至各可到达充电站点的最优行驶路线；步骤3.2，根据当前可到达充电站点的最优行驶路线、充电时间、充电舒适度以及行驶能量消耗确定最优充电站点。3.根据权利要求2所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3.1具体包括：步骤3.1.1，根据现有路况信息构建城市道路图结构模型，并定义奖励函数；步骤3.1.2，依据状态转换值构建状态转换概率函数；步骤3.1.3，基于贝尔曼方程构建适应于路径规划的强化学习更新策略方程；步骤3.1.4，根据当时道路交通信息和随机初始化状态，重复步骤3.1.2和3.1.3迭代更新Q值，得到该时段的Q值表；步骤3.1.5，根据Q值表中数值最高的路线移动，得到当前最优路径。4.根据权利要求3所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3.1.1具体包括：将城市道路抽象为图G(E)，E表示路段集，城市路段由{e1,
…
e
i
,
…
e
j
}组成，e
i
∈E,j表示城市环境中的道路总数，定义状态转移函数g
s
(s,a)表示在当前状态s下采取a行动时将会转移到下一状态,其奖励函数g
r
(s,a)表示为：其中e
s
代表充电站点所在路段，当在s状态下采用a行动可以得到e
s
状态则奖励值为100否则为零。5.根据权利要求3所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3.1.2中状态转换概率函数为：其中Q(s,a)表示在状态s下采取a行动时所得到的可行性数值，称为Q值；A(s)表示在状态s下所有可以采取状态的集合，N(A(s))表示s下状态下可采取行动的总数，ε是一个随时间推移而逐渐减小的参数，ε∈(0,1)，P(a|s)表示在状态s下采取a行动的概率；
所述步骤3.1.3中强化学习更新策略方程为：其中表示学习率，γ是一个与行驶时间和能量消耗有关的参数，a'为在经过g
s
(s,a)之后的状态所采取的行动。6.根据权利要求2所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3.2具体包括：步骤3.2.1，根据等待红灯时间以及车辆移动时间推断出车辆行驶时间；步骤3.2.2，分情况推断出恒流恒压两步充电策略下的充电时间；步骤3.2.3，根据充电等待时间与充电站点位置计算出充电舒适度；步骤3.2.4，根据电机传动效率和汽车平均行驶速度计算出行驶能量消耗；步骤3.2.5，根据所述车辆行驶时间、充电时间、充电舒适度、以及能量消耗计算出各充电站点的可行性并选出最优充电站点。7.根据权利要求6所述的一种基于强化学习的新能源车充电站选择及自适应导航方法，其特征在于，所述步骤3.2.1中车辆行驶时间为：其中L(e
i
)代表e
i
段的长度，v
k
(e
i
)代表e
i
段的平均速度，η(e
i
)∈{0,1}代表e
i
路段是否有交通灯，p(e
i
)表示汽车在e
i

【专利技术属性】
技术研发人员：李广宇，曹恒硕，郭伟立，肖建文，刘兴泽，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：