一种基于Sarsa算法的移动充电桩群体智能调度方法技术

本发明专利技术公开了一种基于Sarsa算法的移动充电桩群体智能调度方法，包括以下步骤：聚合商综合各移动充电桩的当前状态以及实时电价，提出对移动充电桩群体的参与辅助服务的功率需求；建立针对移动充电桩所使用电池的老化模型；设计移动充电桩电池的损耗成本目标函数与约束条件；通过聚合商获得移动充电桩的日前规划；通过Sarsa强化学习算法的调度指令，充电桩自主移动至电动汽车充电区域与电力市场辅助服务区域。本发明专利技术设计了整个调度系统的模型以及相应的约束条件，并且通过强化学习的使用，使整个调度系统具备学习能力，使得移动充电桩，在满足自身日常充电服务的前提下，积极参与到电力市场辅助服务中。

【技术实现步骤摘要】
一种基于Sarsa算法的移动充电桩群体智能调度方法
本专利技术属于充电装置应用领域，涉及一种基于Sarsa算法的移动充电桩群体智能调度方法。
技术介绍
移动充电桩能够有效提高充电桩的灵活性，避免了停车位与充电桩之间的耦合，能够在新能源汽车电量充满时，充电桩闲置时，开启下一个任务，具有更高的使用效率。移动充电桩在车辆充电的闲置时间，仍然具备参与电力市场辅助服务的能力，这将为移动充电桩带来全新的应用价值。对某个区域内闲置的移动充电桩进行统一的调度，是实现和发挥移动充电桩全部商业价值的重要手段。而如何通过设计优化调度算法，满足电力辅助服务的功率需求，同时最小化充电桩群体的运营成本，对于该模式下的系统运营具有重要意义。移动充电桩由储能装置及配套的移动装置构成，目前，对于此类移动充电桩集群智能调度方法的研究仍然相对较少。要实现移动充电桩集群的智能调度，必须首先建立该运营模式的系统模型；在此基础上，建立相应的目标函数，设定约束条件；采取相应的优化算法，通过求解，实现集群装置的优化调度。然而，当前的集群调度算法实际应用中多依赖于精确的物理模型，预先建立的物理模型随着实时环境的变化，会呈现出较大的不确定性。
技术实现思路
本专利技术针对现有技术中的不足，站在移动充电桩群体的立场，以满足电力辅助服务的功率需求为约束条件，以移动充电桩调度损耗成本最小为目标函数，提出一种基于Sarsa算法的移动充电桩群体智能调度方法。本专利技术首先建立移动充电桩系统的运营模型，设计相应的损耗成本目标函数与约束条件；通过聚合商获得移动充电桩的提日前调度，再以强化学习的方式，在短时间尺度内进一步优化调度策略，实现移动充电桩集群的智能调度。为实现上述目的，本专利技术采用以下技术方案：一种基于Sarsa算法的移动充电桩群体智能调度方法，括以下步骤：聚合商综合各移动充电桩的当前状态以及实时电价，提出对移动充电桩群体的参与辅助服务的功率需求；建立针对移动充电桩所使用电池的老化模型；设计移动充电桩电池的损耗成本目标函数与约束条件；通过聚合商获得移动充电桩的日前规划；通过Sarsa强化学习算法的调度指令，充电桩自主移动至电动汽车充电区域与电力市场辅助服务区域。为优化上述技术方案，采取的具体措施还包括：进一步地，对移动充电桩的锂电池采取加速老化试验，获得动力锂电池容量衰减与循环次数之间的关系，具体结果采用下式进行拟合：式中，CBat为电池的容量，nc为循环次数，Ka为待拟合的系数；根据下式计算出锂电池衰减的百分比：式中，CEol为电池寿命截止时对应的容量，Cinit为电池的初始容量；根据将电池的初试成本平摊到各工况中，如下式所示：式中，EBat为特定工况中锂电池的使用成本，NBat为涉及的锂电池总数量，EBat_ini为锂电池的初试投资成本。进一步地，锂电池的循环次数，根据当前实际运营工况，由雨流计数法计算获得。进一步地，对移动充电桩用同款锂电池进行充放电测试来获得损耗成本：选取至少5个不同倍率进行恒流充放电，通过拟合分别获得电池充放电效率与功率之间的关系，如下式所示，ηch＝a·Ich+bηdis＝c·Idis+d式中，ηch为充电效率，ηdis为放电效率，Ich为充电电流，Idis为放电电流，a、b、c、d为拟合参数；得到移动充电桩充放电损耗为：Lch＝r·Ich·Ubat·(1-ηch)·t式中，Ubat为电池的端电压，Lch为充电损耗成本，Ldis为放电损耗成本，r为电价，t为持续时间。进一步地，将移动充电桩群体最小化损耗成本的目标函数设定为：minJ＝EBat+LBatLBat＝Lch+Ldis式中，EBat为老化成本，LBat为充放电损耗成本，min为求取最小值，J为目标函数。进一步地，移动充电桩群体的功率满足如下约束：式中，M为移动充电桩的数目，为第i充电桩的功率，Pcommand提供辅助服务的功率参考值，为第i个充电桩所能提供功率的最大值。进一步地，采用的Sarsa算法结构包括：智能调度决策、环境、行动、观测值、奖赏五个要素；环境即为通过聚合商对移动充电桩群体的调度，Sarsa算法通过调度移动充电桩的具体行动，从环境中观测相应结果，以获利为目标计算奖赏，最优的调度方法即为通过智能调度方法获得最大收益。进一步地，使用Sarsa算法的强化学习移动充电桩的统一调度步骤如下列步骤所示：Step1.任意初始化Q表Q(st，at)，Q表为选择不同动作时所获得奖赏的表格，同时，初始化学习率α以及折扣因子γ，α取值为小于1的数，γ取值为0～1之间；以包含a1与a2两个动作，s1、s2两个状态的Q表为例，该Q表可表示如下所示，表中每一行记录为在当前状态下执行相应动作所获得的奖励。Step2.采用ε-greedy方式从Q表中随机选择调度方法at，观察系统收益Rt以及下一个状态Si，t；Step3.采用如下方式更新Q表：Q(st，at)＝Q(st，at)+α·[Rt+γ·Q(s′t，a′t)-Q(st，at)]Step4.重复步骤Step2～Step3直到状态Si，t到达目标期望值St，结束算法。进一步地，当移动充电桩给电动汽车充电或者处于备用状态时，移动充电桩处于运营模模式；运行模式以外，移动充电桩处于闲置模式，能够用于参与电力市场辅助服务。进一步地，移动充电桩是能够自主移动的充电装置，包括储能单元、移动装置、电力电子装置。本专利技术的有益效果是：本专利技术提出了通过Sarsa强化学习算法，获取到移动充电桩群体损耗成本最小。设计了整个调度系统的模型以及相应的约束条件，并且通过强化学习的使用，使整个调度系统具备学习能力，通过数据不断驱动实际应用逐渐趋于优化，避免了对于精确物理模型的过度依赖。本专利技术使得移动充电桩，在满足自身日常充电服务的前提下，积极参与到电力市场辅助服务中，并从中获利，能够实现区域电网与移动充电桩运行商的双赢模式。附图说明图1是本专利技术智能调度方法的步骤示意图。图2是本专利技术一个实施例中移动充电桩的主要结构示意图。图3是本专利技术一个实施例中移动充电桩参与电力市场辅助服务的系统结构示意图。图4是本专利技术一个实施例中强化学习的主要结构示意图。具体实施方式现在结合附图对本专利技术作进一步详细的说明。需要注意的是，专利技术中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本专利技术可实施的范围，其相对关系的改变或调整，在无实质变更
技术实现思路
下，当亦视为本专利技术可实施的范畴。本专利技术根据聚合商平台的日前调度规划，在此基础上，鉴于日内情况较为复杂，实时物理模型难以准确建立，提出了通过数据驱动的方式，以人工智能领域强化学习本文档来自技高网...

【技术保护点】
1.一种基于Sarsa算法的移动充电桩群体智能调度方法，其特征在于，包括以下步骤：/n聚合商综合各移动充电桩的当前状态以及实时电价，提出对移动充电桩群体的参与辅助服务的功率需求；/n建立针对移动充电桩所使用电池的老化模型；/n设计移动充电桩电池的损耗成本目标函数与约束条件；/n通过聚合商获得移动充电桩的日前调度；/n通过Sarsa强化学习算法的调度指令，充电桩自主移动至电动汽车充电区域与电力市场辅助服务区域。/n

【技术特征摘要】
1.一种基于Sarsa算法的移动充电桩群体智能调度方法，其特征在于，包括以下步骤：
聚合商综合各移动充电桩的当前状态以及实时电价，提出对移动充电桩群体的参与辅助服务的功率需求；
建立针对移动充电桩所使用电池的老化模型；
设计移动充电桩电池的损耗成本目标函数与约束条件；
通过聚合商获得移动充电桩的日前调度；
通过Sarsa强化学习算法的调度指令，充电桩自主移动至电动汽车充电区域与电力市场辅助服务区域。


2.如权利要求1所述的移动充电桩群体智能调度方法，其特征在于，对移动充电桩的锂电池采取加速老化试验，获得动力锂电池容量衰减与循环次数之间的关系，具体结果采用下式进行拟合：



式中，CBat为电池的容量，nc为循环次数，a为待拟合的系数；
根据下式计算出锂电池衰减的百分比：



式中，CEol为电池寿命截止时对应的容量，Cinit为电池的初始容量；
根据将电池的初试成本平摊到各工况中，如下式所示：



式中，EBat为特定工况中锂电池的使用成本，NBat为涉及的锂电池总数量，EBat_ini为锂电池的初试投资成本。


3.如权利要求2所述的移动充电桩群体智能调度方法，其特征在于，锂电池的循环次数，根据当前实际运营工况，由雨流计数法计算获得。


4.如权利要求1所述的移动充电桩群体智能调度方法，其特征在于，对移动充电桩用同款锂电池进行充放电测试来获得损耗成本：
选取至少5个不同倍率进行恒流充放电，通过拟合分别获得电池充放电效率与功率之间的关系，如下式所示，
ηch＝a·Ich+b
ηdis＝c·Idis+d
式中，ηch为充电效率，ηdis为放电效率，Ich为充电电流，Idis为放电电流，a、b、c、d为拟合参数；
得到移动充电桩充放电损耗为：
Lch＝r·Ich·Ubat·(1-ηch)·t



式中，Ubat为电池的端电压，Lch为充电损耗成本，Ldis为放电损耗成本，r为电价，t为持续时间。


5.如权利要求1所述的移动充电桩群体智能调...

【专利技术属性】
技术研发人员：彭纪昌，孟锦豪，刘海涛，蔡磊，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：江苏;32