一种区域电网自动发电控制方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种区域电网自动发电控制方法、装置、设备及介质，包括初始化区域电网中的算法控制器内的初始参数，并通过区域电网获取初始功率偏差和初始频率偏差；根据初始参数、初始功率偏差和初始频率偏差，确定对应的初始状态并更新值函数矩阵，生成目标值函数矩阵；根据初始状态关联的全部初始动作更新行为效用跟踪矩阵并统计当前时刻的状态访问次数；采用状态访问次数更新贪婪因子，并根据贪婪因子、目标值函数矩阵和行为效用跟踪矩阵，确定目标动作；通过算法控制器执行目标动作，输出总功率指令。解决了在强随机性负荷情况下电网频率稳定性低的技术问题。频率稳定性低的技术问题。频率稳定性低的技术问题。

【技术实现步骤摘要】
一种区域电网自动发电控制方法、装置、设备及介质


[0001]本专利技术涉及区域电网自动发电控制
，尤其涉及一种区域电网自动发电控制方法、装置、设备及介质。

技术介绍

[0002]随着化石能源供应紧张、温室效应等环境问题日益严峻，实现可再生能源转型是中国乃至全球能源发展的必然趋势。而传统AGC控制以PID控制为主，其主要单一化地根据区域控制误差值(area control error，ACE)来确定总调节功率，以控制机组出力。
[0003]由于电力系统新形态下区域间互动变化灵活，各种分布式能源不断并入电网，以PID控制为主的传统AGC系统需要根据长期历史数据进行学习、分析、存储，来多区域进行协同控制，而传统的控制方法由于强随机扰动，导致的分布式电网控制性能愈来愈差，存在在强随机性负荷情况下电网频率稳定性低的问题。

技术实现思路

[0004]本专利技术提供了一种区域电网自动发电控制方法、装置、设备及介质，解决了现有的控制方法由于强随机扰动，导致的分布式电网控制性能愈来愈差，存在在强随机性负荷情况下电网频率稳定性低的技术问题。
[0005]本专利技术提供的一种区域电网自动发电控制方法，包括：
[0006]初始化所述区域电网中的算法控制器内的初始参数，并通过所述区域电网获取初始功率偏差和初始频率偏差；
[0007]根据所述初始参数、所述初始功率偏差和所述初始频率偏差，确定对应的初始状态并更新值函数矩阵，生成目标值函数矩阵；
[0008]根据所述初始状态关联的全部初始动作更新行为效用跟踪矩阵并统计当前时刻的状态访问次数；
[0009]采用所述状态访问次数更新贪婪因子，并根据所述贪婪因子、所述目标值函数矩阵和所述行为效用跟踪矩阵，确定目标动作；
[0010]通过所述算法控制器执行所述目标动作，输出总功率指令。
[0011]可选地，所述根据所述初始参数、所述初始功率偏差和所述初始频率偏差，确定对应的初始状态并更新值函数矩阵，生成目标值函数矩阵的步骤，包括：
[0012]采用所述初始功率偏差和所述初始频率偏差，计算初始区域控制偏差；
[0013]将所述初始区域控制偏差输入至所述算法控制器，确定所述区域电网对应的初始系统状态；
[0014]采用所述初始区域控制偏差和所述初始频率偏差，计算目标奖励值；
[0015]根据所述状态访问次数、所述初始参数中的回放经验池、所述初始系统状态和所述目标奖励值更新值函数矩阵，生成目标值函数矩阵。
[0016]可选地，所述根据所述状态访问次数、所述初始参数中的回放经验池、所述初始系
统状态和所述目标奖励值更新值函数矩阵，生成目标值函数矩阵的步骤，包括：
[0017]提取回放经验池内的历史时刻动作；
[0018]采用所述历史时刻动作、所述初始系统状态和所述目标奖励值更新值函数矩阵，生成中间值函数矩阵；
[0019]若所述状态访问次数小于或等于预设次数阈值，则将所述中间值函数矩阵作为目标值函数矩阵；
[0020]若所述状态访问次数大于预设次数阈值，则采用所述回放经验池中的全部动作、所述初始系统状态和所述目标奖励值依次更新所述中间值函数矩阵，生成目标值函数矩阵。
[0021]可选地，所述行为效用跟踪矩阵的更新公式为：
[0022][0023][0024][0025]式中，E
t
(a
i
)表示在t时刻每一个动作的行为效用跟踪值；a
t
‑1表示在t
‑
1时刻的动作；a
t
‑2表示在t
‑
2时刻的动作；r
t
表示当前时刻的目标奖励值；e表示探索激励值；a
i
表示智能体的动作集合的第i个动作；β表示行为效用跟踪因子；E
t
‑1(a
i
)表示在t
‑
1时刻的每一个动作的行为效用跟踪值；t表示当前时刻；v(s
t
)表示状态访问函数；s
t
表示当前状态；V表示状态访问集合。
[0026]可选地，所述采用所述状态访问次数更新贪婪因子，并根据所述贪婪因子、所述目标值函数矩阵和所述行为效用跟踪矩阵，确定目标动作的步骤，包括：
[0027]采用所述状态访问次数更新贪婪因子，并通过预设随机数机制获取一个满足随机取值范围的随机目标值；
[0028]若所述随机目标值小于所述贪婪因子，则采用所述目标值函数矩阵关联的最大值动作作为目标动作；
[0029]若所述随机目标值大于或等于所述贪婪因子，通过所述预设随机数机制获取一个满足所述随机取值范围的新的随机目标值，并采用所述行为效用跟踪矩阵关联的行为效用跟踪值计算各个动作选择概率；
[0030]根据所述新的随机目标值和各个所述动作选择概率，确定目标动作；
[0031]所述动作选择概率的计算公式为：
[0032][0033]式中，E
t
(a
i
)表示在t时刻每一个动作的行为效用跟踪值；n表示所有动作的个数；P
t
(a
i
)表示动作选择概率；t表示当前时刻。
[0034]可选地，所述根据所述新的随机目标值和各个所述动作选择概率，确定目标动作
的步骤，包括：
[0035]基于各个所述动作选择概率，确定全部所述初始动作的动作选择区间；
[0036]将所述新的随机目标值与各个所述动作选择区间逐一匹配；
[0037]当所述新的随机目标值与任一所述动作选择区间适配时，则确定所述动作选择区间关联的初始动作为目标动作。
[0038]可选地，采用所述目标动作更新所述回放经验池；
[0039]将所述总功率指令关联的目标功率偏差和目标频率偏差作为新的初始功率偏差和新的初始频率偏差；
[0040]跳转至所述根据所述初始参数、所述初始功率偏差和所述初始频率偏差，确定对应的初始状态并更新值函数矩阵，生成目标值函数矩阵的步骤。
[0041]本专利技术第二方面提供的一种区域电网自动发电控制装置，包括：
[0042]初始参数模块，用于初始化所述区域电网中的算法控制器内的初始参数，并通过所述区域电网获取初始功率偏差和初始频率偏差；
[0043]更新矩阵模块，用于根据所述初始参数、所述初始功率偏差和所述初始频率偏差，确定对应的初始状态并更新值函数矩阵，生成目标值函数矩阵；
[0044]统计访问次数模块，用于根据所述初始状态关联的全部初始动作更新行为效用跟踪矩阵并统计当前时刻的状态访问次数；
[0045]确定动作模块，用于采用所述状态访问次数更新贪婪因子，并根据所述贪婪因子、所述目标值函数矩阵和所述行为效用跟踪矩阵，确定目标动作；
[0046]输出指令模块，用于通过所述算法控制器执行所述目标动作，输出总功率指令。
[0047]本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种区域电网自动发电控制方法，其特征在于，包括：初始化所述区域电网中的算法控制器内的初始参数，并通过所述区域电网获取初始功率偏差和初始频率偏差；根据所述初始参数、所述初始功率偏差和所述初始频率偏差，确定对应的初始状态并更新值函数矩阵，生成目标值函数矩阵；根据所述初始状态关联的全部初始动作更新行为效用跟踪矩阵并统计当前时刻的状态访问次数；采用所述状态访问次数更新贪婪因子，并根据所述贪婪因子、所述目标值函数矩阵和所述行为效用跟踪矩阵，确定目标动作；通过所述算法控制器执行所述目标动作，输出总功率指令。2.根据权利要求1所述的区域电网自动发电控制方法，其特征在于，所述根据所述初始参数、所述初始功率偏差和所述初始频率偏差，确定对应的初始状态并更新值函数矩阵，生成目标值函数矩阵的步骤，包括：采用所述初始功率偏差和所述初始频率偏差，计算初始区域控制偏差；将所述初始区域控制偏差输入至所述算法控制器，确定所述区域电网对应的初始系统状态；采用所述初始区域控制偏差和所述初始频率偏差，计算目标奖励值；根据所述状态访问次数、所述初始参数中的回放经验池、所述初始系统状态和所述目标奖励值更新值函数矩阵，生成目标值函数矩阵。3.根据权利要求2所述的区域电网自动发电控制方法，其特征在于，所述根据所述状态访问次数、所述初始参数中的回放经验池、所述初始系统状态和所述目标奖励值更新值函数矩阵，生成目标值函数矩阵的步骤，包括：提取回放经验池内的历史时刻动作；采用所述历史时刻动作、所述初始系统状态和所述目标奖励值更新值函数矩阵，生成中间值函数矩阵；若所述状态访问次数小于或等于预设次数阈值，则将所述中间值函数矩阵作为目标值函数矩阵；若所述状态访问次数大于预设次数阈值，则采用所述回放经验池中的全部动作、所述初始系统状态和所述目标奖励值依次更新所述中间值函数矩阵，生成目标值函数矩阵。4.根据权利要求1所述的区域电网自动发电控制方法，其特征在于，所述行为效用跟踪矩阵的更新公式为：矩阵的更新公式为：矩阵的更新公式为：
式中，E
t
(a
i
)表示在t时刻每一个动作的行为效用跟踪值；a
t
‑1表示在t
‑
1时刻的动作；a
t
‑2表示在t
‑
2时刻的动作；r
t
表示当前时刻的目标奖励值；e表示探索激励值；a
i
表示智能体的动作集合的第i个动作；β表示行为效用跟踪因子；E
t
‑1(a
i
)表示在t
‑
1时刻的每一个动作的行为效用跟踪值；t表示当前时刻；v(s
t
)表示状态访问函数；s
t
表示当前状态；V表示状态访问集合。5.根据权利要求1所述的区域电网自动发电控制方法，其特...

【专利技术属性】
技术研发人员：李江南，毛田，章彬，赵文猛，王滔，周保荣，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：