一种基于虚拟发电部落的AGC功率动态分配方法组成比例

技术编号:13889033 阅读:190 留言:0更新日期:2016-10-24 03:25
本发明专利技术公开了一种基于虚拟发电部落的AGC功率动态分配方法;该方法先搭建基于虚拟发电部落VGT的自动发电控制AGC功率分配框架,确定状态离散集和动作离散集;采集当前控制周期区域电网实时的总发电功率指令,并利用迁移学习初始化各虚拟发电部落的值函数矩阵和选择动作;根据领导者策略选择动作并计算部落功率;获得各虚拟发电部落的立即奖励函数值;更新当前状态下各虚拟发电部落的一致性权重、自学习权重以及值函数矩阵;判断算法是否满足收敛条件。本发明专利技术基于VGT的AGC功率分配框架下,结合QD学习和迁移学习,能满足AGC的控制时间要求,更加适用于解决具有较强随机性、不确定性的大规模复杂电网的AGC功率动态分配问题。

【技术实现步骤摘要】

本专利技术涉及电力系统自动发电控制
,特别是涉及基于协同一致性迁移Q学习的虚拟发电部落AGC功率动态分配方法,该方法适用于互联电网AGC分散控制系统功率的随机优化动态分配。
技术介绍
AGC(Automatic Generation Control,自动发电控制)作为EMS(Energy Management System,能量管理系统)的重要环节之一,保证了互联电网的频率和联络线交换功率保持在额定值。一般来说,AGC主要分为两个过程:1)总功率指令的跟踪,实际电网调度中心主要采用PI控制器,也有学者提出模糊控制、强化学习等智能控制方法;2)总功率指令的分配,实际系统中往往按照工程经验或者按相同可调容量比例固定分配的方法进行功率分配,为减少调节费用和提高CPS(Control Performance Standard,控制性能标准),余涛等学者采用了Q学习、多步回溯Q(λ)方法、改进分层Q学习等一系列强化学习算法进行功率动态分配优化。然而,上述所有的分配算法均是集中式优化算法,当AGC机组规模增加时,其优化效果也随着下降,收敛时间也随之增加,难以满足AGC的4~16秒时间尺度要求。另一方面,集中式优化算法需要对各个AGC机组的运行数据进行采集,也容易导致通信阻塞。为此,申请人在《互联电网AGC功率动态分配的虚拟发电部落协同一致性算法》(中国电机工程学报)提出了基于VGT(Virtual Generation Tribe,虚拟发电部落)的功率动态分配协同一致性算法,分别以调节费用和爬升时间为一致性状态变量,有效解决了AGC功率分配的分散自治问题,但其一致性算法只是简单的一阶一致性算法,且采用两层功率分配,对优化模型的依赖性较强,更容易陷入局部最优解。为提高一致性算法在动态随机环境的适应性,Moura教授在《QD‐Learning:a collaborative distributed strategy for multi‐agent reinforcement learning through consensus+innovations》(IEEE Transactions on Signal Processing)对一致性算法和经典强化学习Q算法进行了高度有机融合,提出了一种全新的分散式多虚拟发电部落强化学习——QD学习算法。然而,QD学习与传统机器学习算法一样,在学习新任务的时候并没有利用过去的学习经验和结果,使得算法每次进行探索学习新的优化任务时,将耗费大量的时间,这也无法应用到超短期控制时间尺度的AGC功率分配。近年来,为充分利用历史优化任务的有效行为及知识,以提高强化学习算法的学习效率,许多学者已经对迁移学习展开了深入的研究。Fachantidis A,Partalas I,Tsoumakas G等学者在《Transferring task models in reinforcement learning agents》(Neurocomputing)指出迁移学习旨在利用过去历史优化任务的遗留信息来处理新的优化任务,其中迁移性能的好坏完全取决于新任务与历史任务的相似性,实际上不同的优化任务也往往相互关联。
技术实现思路
本专利技术的目的在于克服现有技术的不足,提出一种基于协同一致性迁移Q学习(consensus transfer Q-learning,CTQ)的虚拟发电部落AGC功率动态分配方法。该方法在虚拟发电部落控制框架下,在每个部落与其相邻部落进行值函数矩阵的交互一致性计算后,部落领导者能自组织地协同各个部落的发电功率,从而达到“分散自治,集中协调”的效果;有效地利用历史优化信息进行快速的功率动态分配优化,以满足AGC的控制时间尺度要求。本专利技术基于协同一致性迁移Q学习的虚拟发电部落AGC功率动态分配方法,包括两个过程:1)将区域电网的总功率指令分配到各个虚拟发电部落VGT;2)将各个虚拟发电部落VGT的总功率指令分配到其发电机组群。CTQ算法应用于第一个过程进行功率分配,第二个分配过程由于机组规模庞大,为提高优化计算速度,仍采用申请人在《互联电网AGC功率动态分配的虚拟发电部落协同一致性算法》(中国电机工程学报)中简单的机组爬升时间一致性算法进行功率分配。基于迁移学习中的行为迁移,本专利技术提出了一种CTQ算法,并采用功率分配优化任务的线性相似性因子,有机地应用到虚拟发电部落的AGC功率动态分配,有效解决复杂大规模电网AGC功率动态分配的分散式优化问题,在减少AGC机组调节费用的同时,可以提高区域电网的控制性能标准。本专利技术的目的通过下述技术方案实现:基于CTQ的虚拟发电部落AGC功率动态分配方法,包括以下步骤:(1)搭建基于虚拟发电部落VGT的AGC功率分配框架,确定虚拟发电部落VGT的领导者;(2)确定状态集S和动作离散集AQ;(3)采集当前控制周期区域电网的实时的总发电功率指令ΔP∑,即为当前的状态,利用迁移学习初始化各个虚拟发电部落的值函数矩阵和选择动作;(4)根据领导者发布的策略选择动作计算第i个虚拟发电部落VGTi的调节功率ΔPi;(5)由ΔPi→Ri进行奖励函数值映射计算,获得各个虚拟发电部落的立即奖励函数值Ri,其中ΔPi是第i个虚拟发电部落VGTi的调节功率,Ri是第i个虚拟发电部落VGTi的奖励函数;(6)对当前状态下各个虚拟发电部落的一致性权重和自学习权重进行更新;(7)根据当前控制周期各个虚拟发电部落的立即奖励值更新当前控制周期下各虚拟发电部落的值函数矩阵Qi;(8)判断当前控制周期内领导者第k+1次迭代的值函数矩阵Qik+1与第k次迭代的值函数矩阵Qik的差的二范数是否小于一个无限小的正数ε,即||Qik+1‐Qik||2<ε;若不满足,则返回步骤(5),若满足则转下一步;(9)求解出当前状态下的选择动作,进而得到第i个虚拟发电部落VGTi的调节功率ΔPi;(10)根据第i个虚拟发电部落VGTi的调节功率ΔPi,通过爬升时间一致性算法求得第i个虚拟发电部落VGTi的第w个机组的机组调节功率ΔPiw,并在下一个控制周期到来时,返回步骤(3)。所述步骤1中的基于虚拟发电部落的AGC功率分配框架,在此框架下,传统区域电网根据地理分布被划分为若干个领地电网,即虚拟发电部落VGT,实际上是在AGC与发电厂功率控制(Plant Controller,PLC)之间增加一个新的发电调度与控制层,是由领地电网内大型电厂PLC、主动配网AGC、微网AGC及负荷调控系统构成的发电机组群。VGT之间采用领导者‐跟随者模式进行通信协作,领导者即区域电网的调度中心,负责功率扰动平衡;跟随者即普通VGT的调度端,主要负责与领导者进行交互协同。所述步骤2的状态离散集S是由每一个总发电功率指令ΔP∑作为一个状态所构成的。所述步骤2中的动作离散集AQ是由若干个动作组合构成的。当存在y个动作策略,n个虚拟发电部落时,动作离散集AQ是一个y×n的矩阵,可表示如下:AQ=[a1 a2 … ay]=[(λ11,λ12,…,λ1n),(λ21,λ22,…,λ2n),…,(λy1,λy2,…,λyn)]其中,ay为动作离散集AQ的第y个动作;λyn为采取第y个动作策略中分配给虚拟发电部落n的分配功率本文档来自技高网
...

【技术保护点】
一种基于虚拟发电部落的AGC功率动态分配方法,其特征在于包括以下步骤:(1)搭建基于虚拟发电部落VGT的自动发电控制AGC功率分配框架,确定部落的领导者;(2)确定状态离散集S和动作离散集AQ;(3)采集当前控制周期区域电网的实时的总发电功率指令ΔP∑为当前的状态,并根据当前优化任务,利用迁移学习初始化各个虚拟发电部落的值函数矩阵和选择动作;(4)根据领导者发布的策略选择动作并计算部落调节功率ΔPi;(5)通过部落调节功率ΔPi和立即奖励函数值Ri之间的映射计算,获得各个虚拟发电部落的立即奖励函数值Ri;(6)对当前状态下各个虚拟发电部落的一致性权重和自学习权重进行更新;(7)根据当前控制周期各个虚拟发电部落的立即奖励值更新当前控制周期下各虚拟发电部落的值函数矩阵Qi;(8)判断当前控制周期内领导者第k+1次迭代的值函数矩阵Qik+1与第k次迭代的值函数矩阵Qik的差的二范数是否小于一个无限小的正数ε,即||Qik+1‐Qik||2<ε;若不满足,则返回步骤(5),若满足则转下一步;(9)根据部落调节功率ΔPi,通过爬升时间一致性算法求得机组功率ΔPiw,并在下一个控制周期到来时,返回步骤(3)。...

【技术特征摘要】
1.一种基于虚拟发电部落的AGC功率动态分配方法,其特征在于包括以下步骤:(1)搭建基于虚拟发电部落VGT的自动发电控制AGC功率分配框架,确定部落的领导者;(2)确定状态离散集S和动作离散集AQ;(3)采集当前控制周期区域电网的实时的总发电功率指令ΔP∑为当前的状态,并根据当前优化任务,利用迁移学习初始化各个虚拟发电部落的值函数矩阵和选择动作;(4)根据领导者发布的策略选择动作并计算部落调节功率ΔPi;(5)通过部落调节功率ΔPi和立即奖励函数值Ri之间的映射计算,获得各个虚拟发电部落的立即奖励函数值Ri;(6)对当前状态下各个虚拟发电部落的一致性权重和自学习权重进行更新;(7)根据当前控制周期各个虚拟发电部落的立即奖励值更新当前控制周期下各虚拟发电部落的值函数矩阵Qi;(8)判断当前控制周期内领导者第k+1次迭代的值函数矩阵Qik+1与第k次迭代的值函数矩阵Qik的差的二范数是否小于一个无限小的正数ε,即||Qik+1‐Qik||2<ε;若不满足,则返回步骤(5),若满足则转下一步;(9)根据部落调节功率ΔPi,通过爬升时间一致性算法求得机组功率ΔPiw,并在下一个控制周期到来时,返回步骤(3)。2.根据权利要求1所述基于虚拟发电部落的AGC功率动态分配方法,其特征在于,步骤(1)中的所述基于虚拟发电部落VGT的自动发电控制AGC功率分配框架,是将传统区域电网根据地理分布划分为若干个领地电网VGT,领地电网VGT由领地电网内大型电厂PLC、主动配网AGC、微网AGC及负荷调控系统构成的发电机组群组成;领地电网VGT之间采用领导者‐跟随者模式进行通信协作,领导者为区域电网的调度中心,负责功率扰动平衡;跟随者为普通VGT的调度端,主要负责与领导者进行交互协同。3.根据权利要求1所述基于虚拟发电部落的AGC功率动态分配方法,其特征在于,所述步骤(2)中的状态...

【专利技术属性】
技术研发人员:张孝顺李清徐豪余涛
申请(专利权)人:华南理工大学
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1