【技术实现步骤摘要】
本专利技术涉及电力系统及其自动化领域，具体是一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法。
技术介绍
1、电力市场机制设计对于推进碳交易市场参与的电力市场建设并加速以绿电为主体的高比例清洁能源电力系统建设具有重要作用，是构建新型电力系统、推进“双碳”战略目标的关键途径。要分阶段稳步推进全国碳市场建设，在确保碳市场平稳有效运行的基础上，不断完善碳交易系统，切实发挥市场机制在降低全社会碳减排成本方面的作用，同时，国家能源局提出拟在全国范围内试行绿证交易。
2、电力市场、碳市场与绿证市场之间通过市场机制的作用深刻影响市场主体决策，通过价格联动和供需关系等产生交互影响。三个市场在核心产品属性、政策、技术、市场定位等方面联系密切，机制层面的有效协同将有利于形成合力，共同推动清洁能源发展和行业社会碳减排。因此，研究电力市场、碳市场、绿证市场等各市场之间的耦合分析对于我国电力市场的建设有重大意义。
3、电力市场均衡分析方法常用的方法是由以市场主体利润最大化为目标的报价决策模型和以社会福利最大化为目标的市场出清模型共同构成的电力市场双层均衡模型，该模型的求解方法主要为首先基于下层模型的karush-kuhn-tucher条件(kkt条件)和线性化手段将双层均衡模型转化为带均衡约束的均衡优化模型(equilibrium problem withequilibrium constraints，epec)，再将模型中的各非线性项线性化处理后进行求解。此外，还可以使用对角化算法求解上述epec模型。上述模型驱动方法在
4、然而，在新型电力系统建设背景下，现有的均衡分析模型与求解方法难以满足电力市场机制设计的更高要求。现有的均衡分析方法，特别是epec方法，受kkt条件的限制，其建模过程难以考虑发电机组成本和运行特性的非凸性，并且模型线性化过程中产生的互补松弛条件数量随系统规模和机制复杂程度的增加而迅速增长，导致该方法在解决大规模系统和复杂机制下的市场均衡问题时面临巨大挑战。同时，上述模型本质上是一种完全信息博弈问题，每个市场主体都知晓其他主体以及市场出清的全部信息，这与实际电力市场的有限信息环境不符。因此，亟需改进和完善均衡分析方法，以有效解决电力市场建设面临的复杂机制设计问题。
技术实现思路
1、本专利技术的目的是提供一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，包括以下步骤：
2、1)建立电-碳市场双层优化模型、电-绿证市场双层优化模型；
3、2)基于电-碳市场双层优化模型、电-绿证市场双层优化模型，建立电-碳-绿证市场均衡模型。
4、3)以电-碳-绿证市场中的发电机构为智能体，利用均衡求解算法对电-碳-绿证市场均衡模型进行解算，得到令电力市场均衡的发电机构报价方案。
5、进一步，所述电-碳市场双层优化模型包括电-碳市场可再生能源发电优化模型、电-碳市场常规能源发电优化模型、电-碳市场日前电力市场出清模块；
6、所述电-碳市场可再生能源发电优化模型如下所示：
7、
8、s.t.
9、
10、式中，是下层日前市场出清模型计算出的节点电价；为在节点n上的可再生能源机组集合；为发电机构g的出力；ag和bg分别为边际成本的斜率和截距；是截距上限；为发电机构报价；
11、所述电-碳市场常规能源发电优化模型如下所示：
12、
13、s.t.
14、
15、式中，pcet为碳排放权市场中的单位碳排放成本；ef为免费碳排放配额；是下层日前市场出清模型计算出的节点电价，为在节点n上的常规能源机组集合；
16、其中，碳排放量eg如下所示：
17、
18、式中，为机组碳排放强度；
19、电-碳市场日前电力市场出清模型如下所示：
20、
21、
22、
23、-sn,m≤bn,m(θn-θm)≤sn,m (9)
24、式中，d为负荷的编号；n和m为节点的编号；为在节点n上的负荷集合，ωn为与节点n相连的节点集合，为负荷d的功率需求，θn和θm分别为节点n和节点m的相角，bn,m为连接节点n和节点m的支路电纳，bn,m(θn-θm)表示该支路上的功率，sn,m为该支路的容量上限；为机组出力上下限。为在节点n上的发电机构集合。
25、进一步，所述电-绿证市场双层优化模型包括电-绿证市场可再生能源发电优化模型、电-绿证市场常规能源发电优化模型、电-绿证市场日前电力市场出清模型；
26、电-绿证市场可再生能源发电优化模型如下所示：
27、
28、s.t.
29、
30、式中，是下层日前市场出清模型计算出的节点电价，为在节点n上的可再生能源机组集合；ptgc为绿证价格；
31、出售绿证获得的收益如下所示：
32、
33、电-绿证市场常规能源发电优化模型如下所示：
34、
35、s.t.
36、
37、式中，是下层日前市场出清模型计算出的节点电价，为在节点n上的常规能源机组集合；
38、电-绿证市场日前电力市场出清如下所示：
39、
40、
41、
42、-sn,m≤bn,m(θn-θm)≤sn,m (18)
43、式中，d为负荷的编号；n和m为节点的编号；为在节点n上的负荷集合，ωn为与节点n相连的节点集合，为负荷d的功率需求，θn和θm分别为节点n和节点m的相角，bn,m为连接节点n和节点m的支路电纳，bn,m(θn-θm)表示该支路上的功率，sn,m为该支路的容量上限；为机组出力上下限。
44、进一步，所述电-碳-绿证市场双层优化模型包括电-碳-绿证市场常规能源发电优化模型、电-碳-绿证市场可再生能源发电优化模型、电-碳-绿证市场日前电力市场出清模型；
45、电-碳-绿证市场常规能源发电优化模型如下所示：
46、
47、s.t.
48、
49、式中，是下层日前市场出清模型计算出的节点电价，为在节点n上的可再生能源机组集合；
50、电-碳-绿证市场可再生能源发电优化模型如下所示：
51、
52、s.t.
53、
54、式中，是下层日前市场出清模型计算出的节点电价，为在节点n上的可再生能源机组集合；ptgc为绿证价格；
55、电-碳-绿证市场日前电力市场出清如下所示：
56、
57、
58、
59、-本文档来自技高网...
【技术保护点】
1.一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，所述电-碳市场双层优化模型包括电-碳市场可再生能源发电优化模型、电-碳市场常规能源发电优化模型、电-碳市场日前电力市场出清模块；
3.根据权利要求1所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，所述电-绿证市场双层优化模型包括电-绿证市场可再生能源发电优化模型、电-绿证市场常规能源发电优化模型、电-绿证市场日前电力市场出清模型；
4.根据权利要求1所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，所述电-碳-绿证市场双层优化模型包括电-碳-绿证市场常规能源发电优化模型、电-碳-绿证市场可再生能源发电优化模型、电-碳-绿证市场日前电力市场出清模型；
5.根据权利要求1所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，利用均衡求解算法对电-碳-绿证市场均衡模型进行解算的步骤包
6.根据权利要求5所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，策略网络的输入是反映市场出清结果的智能体本地局部观测值输出是表征智能体报价的动作
7.根据权利要求5所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，所述价值网络的输入是所有智能体本地局部观测值，即全局状态s＝[o1,o2,...,om]，输出是智能体动作优劣评价q(s,a；ωi)；a为动作；ωi为价值网络参数。
8.根据权利要求5所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，策略网络和价值网络通过从经验回放池中取出的四元组(st,at,rt,st+1)训练；
9.根据权利要求8所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，训练策略网络μ(oi；θi)的目标是提高价值网络对该智能体的动作优劣评价q(s,a；ωi)；
10.根据权利要求8所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，训练价值网络的目标是使价值网络对智能体动作优劣评价q(s,a；ωi)更加接近动作价值函数
...【技术特征摘要】
1.一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，所述电-碳市场双层优化模型包括电-碳市场可再生能源发电优化模型、电-碳市场常规能源发电优化模型、电-碳市场日前电力市场出清模块；
3.根据权利要求1所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，所述电-绿证市场双层优化模型包括电-绿证市场可再生能源发电优化模型、电-绿证市场常规能源发电优化模型、电-绿证市场日前电力市场出清模型；
4.根据权利要求1所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，所述电-碳-绿证市场双层优化模型包括电-碳-绿证市场常规能源发电优化模型、电-碳-绿证市场可再生能源发电优化模型、电-碳-绿证市场日前电力市场出清模型；
5.根据权利要求1所述的一种基于多智能体强化学习的电-碳-绿证多市场均衡分析方法，其特征在于，利用均衡求解算法对电-碳-绿证市场均衡模型进行解算的步骤包括：
6.根据权利...
【专利技术属性】
技术研发人员：魏阳，刘畅，刘洪利，胥威汀，马瑞光，李晨，梁晖辉，陈玉敏，张凌浩，陈雨帆，
申请(专利权)人：国网四川省电力公司电力科学研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。