计及迁移强化学习电动汽车场站的配电网无功优化方法技术

本发明专利技术公开一种计及迁移强化学习电动汽车场站的配电网无功优化方法，将单辆电动汽车的充放电调度问题描述为一个马尔科夫决策过程，并采用PPO方法对该决策过程进行求解；采用TRL技术将训练好的EV策略模型迁移到不同类型和区域的车辆上得到EVS模型；将EVS模型建模成强化学习智能体参与配电网的无功优化，并使用PPO方法训练该智能体的无功优化策略，基于EVS的配电网无功调控模型；采用真实的时变电价、EV出行行为分布、PDN负荷对马尔科夫决策过程的模型进行训练，最终得到EVS的充放电策略模型和无功调节策略模型，并对该模型进行测试和在线部署。此种方法能够有效地利用EVS的无功输出能力，改善配电网的功率损耗，从而提高整个电网的运行效率和稳定性。

【技术实现步骤摘要】

本专利技术属于智能强化学习和计算机，具体涉及一种计及迁移强化学习电动汽车场站的配电网无功优化方法。

技术介绍

1、近年来我国电动汽车(ev)行业发展迅速，预计2030年ev数量将达6000万辆。然而大量电动汽车的接入也给配电网(pdn)的运行带来了诸多挑战，与传统负荷不同ev是一种灵活性负荷且用户的充放电行为高度不确定，大规模ev的聚合可能导致pdn功率急剧升高或降低，进而增加pdn的运行成本并导致频繁的节点电压违规。对于ev的管理需要从两方面进行考虑，站在ev车主的角度，需要制定有序策略引导ev用户在电价低谷时补充电能以满足出行电量需求，在电价高峰期售卖富裕电能，从而获得收益、降低充电成本、提高电能管理收益。站在配电运营商(dso)的角度，面对ev数量的急速增长，需要考虑如何错开ev负荷和其他负荷的用电高峰，同时采取一定优化措施改善大规模ev接入给pdn造成的挑战。

2、电动汽车充电站(evs)可以借助v2g双向充电机在任何p-q四象限进行充电/放电，同时可以在任何soc水平上产生/消耗无功功率而不影响电池的生命周期，即使在没有ev接入时ev本文档来自技高网...

【技术保护点】

1.一种计及迁移强化学习电动汽车场站的配电网无功优化方法，其特征在于包括如下步骤：

2.如权利要求1所述的方法，其特征在于：所述步骤1中，马尔科夫决策过程的智能体为电动汽车实时充放电决策智能体，智能体观测的环境包括电动汽车实时电池荷电状态和该时间节点的时变电价；

3.如权利要求1所述的方法，其特征在于：所述步骤1中，采用近端策略优化方法对马尔科夫决策过程进行求解，目标函数为，

4.如权利要求1所述的方法，其特征在于：所述步骤1中，使用基于Actor-Critic架构的深度强化学习算法训练单台电动汽车的充放电策略；所述步骤2中，利用真实的时变电价、电动汽...

【技术特征摘要】

1.一种计及迁移强化学习电动汽车场站的配电网无功优化方法，其特征在于包括如下步骤：

2.如权利要求1所述的方法，其特征在于：所述步骤1中，马尔科夫决策过程的智能体为电动汽车实时充放电决策智能体，智能体观测的环境包括电动汽车实时电池荷电状态和该时间节点的时变电价；

3.如权利要求1所述的方法，其特征在于：所述步骤1中，采用近端策略优化方法对马尔科夫决策过程进行求解，目标函数为，

4.如权利要求1所述的方法，其特征在于：所述步骤1中，使用基于actor-critic架构的深度强化学习算法训练单台电动汽车的充放电策略；所述步骤2中，利用真实的时变电价、电动汽车出行行为分布数据对源域中的深度强化学习网络进行训练，得到最优的神经网参数矩阵；利用源域的一部分内部表示，即下式神经网络参数w＝{actor:[wa1,wa2,wa3,wa4]}，w＝{critic:[wc1,wc2,wc3,wc4]}和b＝{actor:[ba1,ba2,ba3,ba4]}，b＝{critic:[bc1,bc2,bc3,bc4]}初始化目标域对应的神经网络参数，同时不断固定网络结构；对目标域神经网络的其他参数...

【专利技术属性】
技术研发人员：洪芦诚，吴明贺，朱进，
申请(专利权)人：东南大学，
类型：发明
国别省市：