发电商自由联合竞价模拟仿真方法、装置及设备制造方法及图纸

本发明专利技术公开了发电商自由联合竞价模拟仿真方法、装置及设备，涉及电力市场中发电侧市场成员联合竞价模拟技术领域。本发明专利技术对发电商智能体选择合谋对象和策略竞价的行为进行建模；其次，将竞争深度Q网络算法(DuelingDeep QNetwork，DuelingDQN)和柔性决策

【技术实现步骤摘要】
发电商自由联合竞价模拟仿真方法、装置及设备


[0001]本专利技术涉及电力市场中发电侧市场成员联合竞价模拟
，具体为发电商自由联合竞价模拟仿真方法、装置及设备。

技术介绍

[0002]现阶段，电力市场仍不完善的市场监管机制使得市场主体有机会通过私下互通，策略性地协同竞价来影响市场出清结果，干扰市场的正常运营。想要对市场力进行研究就离不开对市场主体策略竞价行为的建模与模拟，基于仿真结果研究市场主体的最佳竞价策略及市场均衡状态，进而分析市场机制的缺陷并对其进行改进。近些年，强化学习算法因可以对非完全信息下的竞价决策行为进行模拟，更加贴近实际情况，被广泛的用来模拟传统机组、新能源机组、负荷以及储能等市场主体的竞价行为。
[0003]现有研究中使用强化学习求解的大多是单一决策量的问题。对于多决策量问题的求解方法主要有以下两种，其一是简化问题建模，直接减少决策动作的数量，但这需要原问题具有特殊的性质；其二是让算法直接给出多维决策动作，但动作之间的耦合会给算法训练带来困难，为此我们提出一种发电商自由联合竞价模拟仿真方法、装置及设备。

技术实现思路

[0004]本专利技术的目的在于提供一种发电商自由联合竞价模拟仿真方法、装置及设备，可以在考虑网络拓扑的情况下，模拟市场主体在长期市场出清过程中可能出现的自由联合竞价行为，进而为电力现货市场中市场力的控制提供一定的参考。
[0005]为实现上述目的，本专利技术提供如下技术方案：发电商自由联合竞价模拟仿真方法，包括：
[0006]采集发电商合谋意向数据作为合谋向量，根据合谋向量形成合谋矩阵，使用合谋向量和合谋矩阵来建立发电商的联合行为模型；
[0007]采集发电侧传统机组的发电成本以及其参与市场的方式，建立对应的成本模型及收益模型，在此基础上，结合建立的发电商的联合行为模型，构建考虑自由联合行为的发电商策略竞价模型中的离散、连续混合决策量进行求解；
[0008]将竞争深度Q网络算法(Dueling DQN)和柔性决策
‑
评价算法(SAC)结合形成一种两阶段深度强化学习算法，对考虑自由联合行为的发电商策略竞价模型，实现对市场主体自由联合行为的模拟仿真。
[0009]进一步的，所述发电商联合行为模型的建立方法，具体如下：
[0010]合谋向量，使用一个向量来表示发电商与其他主体联合的意愿，该向量中的每一个元素代表与对应主体的合谋意向。如果元素为0，表示发电商不愿意进行合谋；如果元素为1，表示发电商愿意进行合谋；
[0011]合谋矩阵，收集市场中所有主体的合谋意向形成合谋矩阵，对合谋矩阵进行转置并于原始矩阵进行与操作，来计算合谋结果，判断合谋是否成功。
[0012]进一步的，所述构建考虑自由联合行为的发电商策略竞价模型的建立方法，具体包括如下：
[0013](1)基于边际成本的策略报价方式，以传统发电侧火电机组的边际发电成本作为报价曲线的基准，通过调节报价系数k的大小，实现调节报价曲线上浮或下降的目的，具体模型如下：
[0014][0015][0016][0017]式中：C
i
(p
i
)和C
mi
(p
i
)分别为发电商i的发电成本和边际发电成本；B
i
(p
i
)为发电商i提交的报价曲线；a
i
，b
i
分别为发电商i成本的二次项和一次项系数；G为所有发电商的集合；p
i
为发电商i的中标电量；k
i
为发电商i提交的报价系数；
[0018](2)考虑自由联合的策略竞价模型，结合发电商的联合行为模型与基于边际成本的策略报价方式结合形成考虑自由联合的策略竞价模型。该模型采用利他系数表示与其他发电商合谋所能带来的超额收益，具体模型如下：
[0019]max[R
i
(k
i
,dK
i
)+εR
‑
i
][0020][0021]式中：R
i
为发电商i自身的收益；k
i
，dK
i
分别为发电商i提交的报价系数、合谋向量；R
‑
i
为发电商所选择的合谋对象的收益；ε为合谋收益系数，若合谋不成功则为0，若合谋成功则位于(0,1]区间；λ
i
，p
i
，C
i
分别为发电商i的节点电价、中标电量和发电成本；f为市场购电总成本。
[0022]根据本专利技术的一个方面，本专利技术提供一种发电商自由联合竞价模拟仿真装置，具体包括：
[0023]Dueling
‑
DQN算法构建模块，用于建立Current Q Network和Target QNetwork来组成Dueling
‑
DQN算法框架、状态机制计算网络和优势函数计算网络构成的市场主体进行联合策略竞价的收益估计模块；
[0024]合谋意向生成模块，用于根据Dueling
‑
DQN算法估计出的与不同主体联合策略竞价收益的估计结果，生成发电商的合谋意向，并将合谋意向提交给合谋结果判断模块；
[0025]SAC算法构建模块，用于构建Current Critic Network和Target Critic Network来组成双Critic网络，构建ActorNetwork网络模块以及历史经验回放库。
[0026]策略报价动作转换模块，根据SAC算法给出的动作，将其转化为实际的报价曲线，并提交给市场运营商；
[0027]两阶段深度强化学习算法训练模块，用于按照从后到前的顺序对两阶段算法分析进行训练，以保证算法在训练时考虑另一阶段算法的策略，最终使算法收敛在更接近最优的位置。
[0028]进一步的，所述Dueling
‑
DQN算法构建模块具体包括：
[0029]深度Q网络构建模块，用于建立Current Q Network和Target Q Network两个深度
神经网络，其中Current Q Network和Target Q Network的网络参数分别记为θ和θ
’
。Current Q Network网络的输入是市场状态量，输出该状态下不同动作Q值所对应的动作价值。Current Q Network和Target Q Network两个网络的网络结构一致，即两个网络的输入、输出、网络层数以及每层神经元数量完全相同。
[0030]进一步的，所述合谋意向生成模块具体包括：
[0031](1)合谋意向生成单元，用于基于Dueling
‑
DQN算法估计出的联合竞价收益选择期望的合谋对象；在生成合谋意向时按照ε
‑
greedy策略在随机策略和Dueling
‑
DQN算法给出的贪婪策略本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.发电商自由联合竞价模拟仿真方法，包括；采集发电商合谋意向数据作为合谋向量，根据合谋向量形成合谋矩阵，使用合谋向量和合谋矩阵来建立发电商的联合行为模型；采集发电侧传统机组的发电成本以及其参与市场的方式，建立对应的成本模型及收益模型，在此基础上，结合建立的发电商的联合行为模型，构建考虑自由联合行为的发电商策略竞价模型中的离散、连续混合决策量进行求解；将竞争深度Q网络算法(Dueling DQN)和柔性决策
‑
评价算法(SAC)结合形成一种两阶段深度强化学习算法，对考虑自由联合行为的发电商策略竞价模型，实现对市场主体自由联合行为的模拟仿真。2.根据权利要求1所述的发电商自由联合竞价模拟仿真方法，其特征在于：发电商联合行为模型的建立方法，具体如下：合谋向量，使用一个向量来表示发电商与其他主体联合的意愿，该向量中的每一个元素代表与对应主体的合谋意向。如果元素为0，表示发电商不愿意进行合谋；如果元素为1，表示发电商愿意进行合谋；合谋矩阵，收集市场中所有主体的合谋意向形成合谋矩阵，对合谋矩阵进行转置并于原始矩阵进行与操作，来计算合谋结果，判断合谋是否成功。3.根据权利要求1所述的发电商自由联合竞价模拟仿真方法，其特征在于：构建考虑自由联合行为的发电商策略竞价模型的建立方法，具体包括如下：(1)基于边际成本的策略报价方式，以传统发电侧火电机组的边际发电成本作为报价曲线的基准，通过调节报价系数k的大小，实现调节报价曲线上浮或下降的目的，具体模型如下：如下：如下：式中：C
i
(p
i
)和C
mi
(p
i
)分别为发电商i的发电成本和边际发电成本；B
i
(p
i
)为发电商i提交的报价曲线；a
i
，b
i
分别为发电商i成本的二次项和一次项系数；G为所有发电商的集合；p
i
为发电商i的中标电量；k
i
为发电商i提交的报价系数；(2)考虑自由联合的策略竞价模型，结合发电商的联合行为模型与基于边际成本的策略报价方式结合形成考虑自由联合的策略竞价模型。该模型采用利他系数表示与其他发电商合谋所能带来的超额收益，具体模型如下：max[R
i
(k
i
,dK
i
)+εR
‑
i
]式中：R
i
为发电商i自身的收益；k
i
，dK
i
分别为发电商i提交的报价系数、合谋向量；R
‑
i
为发电商所选择的合谋对象的收益；ε为合谋收益系数，若合谋不成功则为0，若合谋成功则位于(0,1]区间；λ
i
，p
i
，C
i
分别为发电商i的节点电价、中标电量和发电成本；f为市场购电总成本。
4.发电商自由联合竞价模拟仿真装置，其特征在于，具体包括：Dueling
‑
DQN算法构建模块，用于建立Current Q Network和Target Q Network来组成Dueling
‑
DQN算法框架、状态机制计算网络和优势函数计算网络构成的市场主体进行联合策略竞价的收益估计模块；合谋意向生成模块，用于根据Dueling
‑
DQN算法估计出的与不同主体联合策略竞价收益的估计结果，生成发电商的合谋意向，并将合谋意向提交给合谋结果判断模块；SAC算法构建模块，用于构建Current Critic Network和Target Critic Network来组成双Critic网络，构建Actor Network网络模块以及历史经验回放库。策略报价动作转换模块，根据SAC算法给出的动作，将其转化为实际的报价曲线，并提交给市场运营商；两阶段深度强化学习算法训练模块，用于按照从后到前的顺序对两阶段算法分析进行训练，以保证算法在训练时考虑另一阶段算法的策略，最终使算法收敛在更接近最优的位置。5.根据权利要求4所述的发电商自由联合竞价模拟仿真装置，其特征在于，Duel ing
‑
DQN算法构建模块具体包括：深度Q网络构建模块，用于建立Current Q Network和Target Q Network两个深度神经网络，其中Current Q Network和Target Q Network的网络参数分别记为θ和θ
’
。Current Q Network网络的输入是市场状态量，输出该状态下不同动作Q值所对应的动作价值。Current Q Network和Target Q Network两个网络的网络结构一致，即两个网络的输入、输出、网络层数以及每层神经元数量完全相同。6.根据权利要求4所述的发电商自由联合竞价模拟仿真装置，其特征在于，合谋意向生成模块具体包括：(1)合谋意向生成单元，用于基于Dueling
‑
DQN算法估计出的联合竞价收益选择期望的合谋对象；在生成合谋意向时按照ε
‑
greedy策略在随机策略和Dueling
‑
DQN算法给出的贪婪策略间进行选择，具体表达式如下：ii∈U(0,1)式中，dK
i
为发电商i的合谋向量；ii为随机值，符合0
‑
1的均匀分布；max
dKi
(Q(S
D
))为Dueling
‑
DQN网络输出结果中最大Q值对应的合谋向量；rand
dki
为在合谋向量集中随机选择的合谋向量；(2)合谋意向提交单元，用于将合谋意向提交给合谋结果判断机制获取合谋结果，将生成的合谋向量提交给合谋结果判断机制，并在市场出清完成后，获取合谋结果作为下一轮合谋动作生成的输入状态。7.根据权利要求4所述的发电商自由联合竞价模拟仿真装置，其特征在于，SAC算法构建模块具体包括：(1)Critic网络构建模块，用于建立Current Critic Network和Target Critic Network两个深度神经网络，其中Current Critic Network和Target Critic Network的网
络参数分别记为θ
c
和θ
’
c
，Current Critic Network网络的输入是市场电价、市场合谋状态、合谋意向以及报价系数，输出为考虑合谋的联合竞价动作的期望收益，Current Critic Network和Target Critic Network两个网络的网络结构一致，即两个网络的输入、输出、网络层数以及每层神经元数量完全相同。(2)Actor网络构建模块，用于建立ActorNetwork深度神经网络，其网络参数记为θ
a
，ActorNetwork网络的输入是市场电价、市场合谋状态、第一阶段算法动作，输出为发电侧市场成员报价系数的均值和方差。(3)历史经验回放库构建模块，用于存储发电商智能体报价以后得到的样本数据，该模块将发电侧市场成员参与市场联合竞价的历史数据作为样本存储起来，每条样本数据记录发电商智能体的市场电价、市场合谋状态、合谋意向、报价系数、奖励以及下一轮的市场电价、下一轮的市场合谋状态七个信息。8.根据权利要求4所述的发电商自由联合竞价模拟仿真装置，其特征在于，策略报价动作转换模块...

【专利技术属性】
技术研发人员：梁肖，王正风，王吉文，高卫恒，赵福林，栾喜臣，刘飞宇，王蓓蓓，
申请(专利权)人：东南大学，
类型：发明
国别省市：