【技术实现步骤摘要】
本说明书涉及电力，尤其是基于融合规则强化学习的储能充放电控制决策方法及装置。
技术介绍
1、随着第三产业、城乡居民用户的用电总量和用电占比不断提升，用电高峰时电网峰值负荷需求不断提高，且峰谷电价差进一步拉大并维持高位。为了降低电网负荷波动、减少电网扩容成本和提升电力系统经济效率，用户侧储能技术受到了广泛关注，拥有着较大的发展潜力。
2、在用户侧储能
，用户侧光伏储能同时包含了光伏发电、储能电池和电网供电，不同电力设备之间的高效协调亟待解决。现有研究主要关注用户侧储能设施的最优配置和储能规划方法。通过计算储能系统在充电时段需配置的第一功率和第一容量、放电时段需配置的第二功率和第二容量，取第一功率和第二功率中的最大值作为储能系统需配置的功率，取第一容量和第二容量中的最小值作为储能系统需配置的容量，提高了削峰填谷的收益。
3、现有技术中也有用户储能规划方法，构建用户侧储能规划模型，通过最小化初期消耗、运维消耗、电力消耗和基本消耗的综合目标函数，求解得到最优规划模型参数，模型简单、无法自适应调整，且未考虑光伏发电因素。此外，光伏发电受灰尘、温度和遮挡等不确定性因素的影响，其发电功率具有不确定性。因此，考虑光伏发电不确定性的用户侧储能运行控制有待进一步优化。
技术实现思路
1、为解决上述现有技术中未考虑光伏发电不确定性的用户侧储能问题，本说明书实施例提供了基于融合规则强化学习的充放电控制决策模型训练方法。
2、本说明书实例提供了一种基于融合规则强化学
3、根据本说明书实施例的一个方面，基于融合规则强化学习的充放电控制决策模型通过如下步骤训练得到：根据样本时间段与用户用电装置、储能电池、电网相关的状态变量及环境变量，确定样本状态空间；根据光伏发电不确定模型，构建充放电控制决策基础模型，其中，所述光伏发电不确定模型为考虑环境变量的高斯分布模型；将样本状态空间中的状态变量输入至所述充放电控制决策基础模型，输出充放电决策变量；根据预设充放电规则约束所述充放电决策变量，利用奖励函数迭代训练所述充放电控制决策基础模型，得到训练完成的充放电控制决策模型。
4、根据本说明书实施例的一个方面，通过如下方式，确定样本时间段储能电池的状态变量：获取样本时间段之前的历史样本时段储能电池的荷电功率；根据历史样本时段储能电池的荷电功率，通过如下公式确定样本时间段储能电池的荷电状态：
5、；其中，k表示当前样本时间段，为第1个样本时间段（即初始时刻）的储能电池的荷电状态；为储能电池的自放电率；为储能电池的开路电压；为储能电池的额定容量；为储能电池的充放电效率；，，为第 i个样本时间段的储能电池充放电功率，当储能电池放电时，，当储能电池充电时，；，，为第 i个时间段的效率指数，其满足：。
6、根据本说明书实施例的一个方面，根据光伏发电不确定模型，构建储能装置的充放电控制决策基础模型包括：基于服从高斯分布光伏发电不确定模型，确定样本时间段的光伏发电功率；根据样本时间段的光伏发电功率与用户用电功率之差，确定样本时间段光伏发电装置输出到电网的功率。
7、根据本说明书实施例的一个方面，所述方法包括：通过如下公式确定光伏发电不确定模型：；其中，为样本时间段的光伏发电功率；为光电转换效率；为光伏材料面积；表示样本时间段的太阳光辐照度；为方差；光伏发电功率服从均值期望为、方差为的高斯分布；根据光伏发电不确定模型得到的光伏发电功率，通过如下公式确定光伏发电装置的输出到电网的功率：；其中，为样本时间段光伏发电装置输出到电网的功率；pload为用户用电功率；表示光伏发电功率；为比例权重，。
8、根据本说明书实施例的一个方面，通过如下方式确定预设充放电规则包括：若当前时段属于用电高峰时间段，设定储能电池的充放电功率为负；若当前时段属于用电低谷时间段，设定储能电池的充放电功率为正；
9、若光伏发电功率小于负载功率，设定所述比例权重为零；若光伏发电功率大于负载功率，设定所述比例权重为比例权重原本值；根据上述预设充放电规则，约束充放电控制决策模型中的决策变量。
10、根据本说明书实施例的一个方面，利用奖励函数迭代训练所述充放电控制决策基础模型包括：根据各时段的卖电单价、用电单价、各时段从电网的输入功率，确定经济性奖励函数；根据当前时刻的储能电池充放电功率及上一时刻储能电池的充放电功率，构建平顺性奖励函数；根据各时段的电网的输入功率，确定最大需求功率奖励函数；根据储能电池的最小荷电状态、储能电池的最大荷电状态及当前时刻储能电池的荷电状态，确定约束惩罚奖励函数；根据所述经济性奖励函数、平顺性奖励函数、最大需求功率奖励函数及约束惩罚奖励函数，迭代训练所述充放电控制决策模型，当上述奖励取得最大值且在预设迭代次数中保持稳定，确定充放电控制决策模型训练完成。
11、本说明书实施例还提供了一种基于融合规则强化学习的光伏储能系统，所述系统包括：电网，与用户侧光伏储能设备通信连接，用于向用户侧光伏储能设备供电；用户侧光伏储能设备，包括：光伏发电装置、用户用电装置及储能电池，其中，所述光伏发电装置用于向用户用电装置提供光伏发电的电量，并用于当电量剩余时，将剩余电量输送至储能电池或电网；所述储能电池用于存储光伏发电装置的剩余电量，并用于向用户用电装置供电。
12、本说明书实施例还提供了一种基于融合规则强化学习的充放电控制决策模型训练装置，所述装置包括：样本状态空间构建单元，用于根据样本时间段与用户用电装置、储能电池、电网相关的状态变量及环境变量，确定样本状态空间；基础模型构建单元，用于根据光伏发电不确定模型，构建储能装置的充放电控制决策基础模型，其中，所述光伏发电不确定模型为考虑环境变量的高斯分布模型；输出单元，用于将样本状态空间中的状态变量输入至所述充放电控制决策基础模型，输出充放电决策变量；模型训练单元，用于根据预设充放电规则，迭代训练所述充放电控制决策基础模型，直到基础模型满足预设条件，得到训练完成的充放电控制决策模型。
13、本说明书实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于融合规则强化学习的充放电控制决策模型训练方法。
14、本本文档来自技高网...
【技术保护点】
1.一种基于融合规则强化学习的储能充放电控制决策方法，其特征在于，所述方法应用于电网及用户侧光伏储能设备，其中，用户侧光伏储能设备包括：光伏发电装置、用户用电装置及储能电池，所述方法包括：
2.根据权利要求1所述的基于融合规则强化学习的储能充放电控制决策方法，其特征在于，基于融合规则强化学习的充放电控制决策模型通过如下步骤训练得到：
3.根据权利要求2所述的基于融合规则强化学习的储能充放电控制决策方法，其特征在于，通过如下方式，确定样本时间段储能电池的状态变量：
4.根据权利要求2所述的基于融合规则强化学习的储能充放电控制决策方法，其特征在于，在输出充放电决策变量之后，所述方法还包括：
5.根据权利要求4所述的基于融合规则强化学习的储能充放电控制决策方法，其特征在于，所述方法包括：
6.根据权利要求5所述的基于融合规则强化学习的储能充放电控制决策方法，其特征在于，通过如下方式确定预设充放电规则包括：
7.根据权利要求6所述的基于融合规则强化学习的储能充放电控制决策方法，其特征在于，利用奖励函数迭代训练所述充放
8.一种基于融合规则强化学习的光伏储能系统，其特征在于，所述系统包括：
9.一种基于融合规则强化学习的储能充放电控制决策装置，其特征在于，所述装置包括：
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任意一项所述的方法。
...【技术特征摘要】
1.一种基于融合规则强化学习的储能充放电控制决策方法，其特征在于，所述方法应用于电网及用户侧光伏储能设备，其中，用户侧光伏储能设备包括：光伏发电装置、用户用电装置及储能电池，所述方法包括：
2.根据权利要求1所述的基于融合规则强化学习的储能充放电控制决策方法，其特征在于，基于融合规则强化学习的充放电控制决策模型通过如下步骤训练得到：
3.根据权利要求2所述的基于融合规则强化学习的储能充放电控制决策方法，其特征在于，通过如下方式，确定样本时间段储能电池的状态变量：
4.根据权利要求2所述的基于融合规则强化学习的储能充放电控制决策方法，其特征在于，在输出充放电决策变量之后，所述方法还包括：
5.根据权利要求4所述的基于融合规则强化学习的储能充放电控制决策方法，其特征在于，所述方法包括：
6.根据权利要求5...
【专利技术属性】
技术研发人员：那琼澜，李信，邢宁哲，杨艺西，马跃，彭柏，邢海瀛，苏丹，娄竞，邬小波，陈重韬，王艺霏，张海明，张实君，周子阔，李宇鹏，
申请(专利权)人：国网冀北电力有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。