一种多重产业链下需求响应的分层图注意力强化学习方法技术

本专利提出一种多重产业链下需求响应的分层图注意力强化学习方法，该专利首先利用长短期记忆网络根据电价的动态变化特征做出决策，然后基于该决策利用分层空间图注意力机制来评估动态因素对多重产业链结构的影响，最后利用这种影响来更新决策

【技术实现步骤摘要】
一种多重产业链下需求响应的分层图注意力强化学习方法


[0001]本专利技术涉及一种多重产业链下需求响应的分层图注意力强化学习方法
。
具体来说，算法会综合考虑电价的变化趋势以及多重产业链网络中各网络节点的工作状态
、
耗电量等信息，自适应地为各个网络内的节点分配生产任务，使生产任务更多地集中在电价低谷期，达到降低产业链网络能源成本的目标
。

技术介绍

[0002]随着全球化和人工智能技术的进步，需求响应在产业链网络中的重要性日益增长，需求响应是指工业产业链里的企业能够根据外部实时动态电价动态调整能源管理计划，这已成为降低企业生产成本的重要手段
。
与此同时，当前产业链结构也变得越发复杂，形成了每条网络化产业链由级联拓扑结构和相关主体
(
企业
)
组成，多条网络化产业链相互耦合完成整个生产任务的多重工业产业链网络新特征
。
相比于以往的单重网络而言，这种多重产业链结构为有效的需求响应实施带来了独特的挑战
。
>[0003]在多重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多重产业链下需求响应的分层图注意力强化学习方法，其特征是：首先强化学习的
actor
神经网络利用长短期记忆网络根据电价的动态变化特征做出决策，然后分层空间图注意力机制构成的
critic
网络评估动态因素对多重产业链结构的影响，最后利用这种影响来更新
actor
网络和
critic
网络；其中，分层空间图注意力机制利用空间图注意力将网络多个节点的信息聚合为单个关键节点，然后，
Critic
神经网络基于图注意力机制结合各个关键节点信息对当前决策进行评估；空间图注意力机制能捕获节点间的物理空间关系，并去除冗余节点信息对评估策略的影响
。2.
根据权利要求1所述的一种多重产业链下需求响应的分层图注意力强化学习方法，其特征是：一组生产智能体
A
＝
{a1,a2,
…
,a
N
}
可以能够按照生产任务的类型划分为
M
条产业链，每一条产业链内的智能体则按照货物的处理顺序依次排列，前
M
‑1条产业链相互平行，并与第
M
条产业链耦合，形成一个完整的多重产业链网络；多重产业链能够描述为一个包含
M
种链接的生产智能体集合每种链接表示多重产业链中存在的一个产业链网络，由链接类型为
l
连通的产业链网络中的智能体集合表示为
A
[l]
＝
{a1,a2,
…
,a
N
}
；这样的存在多个产业链网络的多重产业链结构可以用超拉普拉斯矩阵表示；中任意元素
L
[l]
表示邻接矩阵若存在从智能体
i
到智能体
j
的货物迁移，则为常数，其值为货物的迁移成本，否则
3.
根据权利要求2所述的一种多重产业链下需求响应的分层图注意力强化学习方法，其特征是：多重产业链中的智能体在工作过程中需考虑环境中电价动态变化导致的各个时间段内能源成本的不确定性；以第
i
号网络的智能体
a
ij
为例，为智能体建模；每个智能体在时间
t
内有两种可选的工作状态
——
运行或空闲；在运行状态下，智能体
a
ij
不仅要消耗电能，还会使用来自系统外的原材料；相比于运行状态，智能体在空闲状态下仅会在低功率模式下保持待机，而不会执行生产任务；因此，智能体
a
ij
在单位时间内的工作成本由电力成本与原料成本组成；给出智能体
a
ij
工作成本的形式化描述；
a)
电力成本令为智能体
a
ij
的决策变量，如果
a
ij
处于运行状态，则如果
a
ij
处于空闲状态，则在时间
t
内，每个智能体仅有一种工作状态；于是，得到
a
ij
在时间
t
内的耗电量内的耗电量式中，为智能体
a
ij
运行状态下单位时间内的耗电量，为待机状态下单位时间内的耗电量；得到智能体在时间
t
内的耗电量后，进一步推出设备的能源消耗成本内的耗电量后，进一步推出设备的能源消耗成本式中，
π
t
是
t
时间的电价，该数据会随时间
t
动态变化；
b)
原料成本智能体
a
ij
在某段时间内的原料消耗量主要取决于该时间内的生产量；不考虑由于原料供应不足
、
生产智能体故障等因素导致的生产效率下降，将智能体在单位时间内的生产量
视为与外界条件无关的固定值；智能体
a
ij
在时间
t
内的实际生产量可以描述如下：其中，
p
ij
是
a
ij
单位时间内的生产量；设备在运行时会将多种原材料组合成新的产品，而且对每种原材料的消耗量各不相同；令
m
ij
为智能体
a
ij
在运行时消耗的原料集合，对于任意的一种原料
m
k
(m
k
∈m
ij
)
，在时间
t
内的消耗量描述如下：式中，
n
k
是
a
ij
生产单位数量的产品所需要的原料
r
k
的数量；在得到每种原料的消耗量后，即推出
a
ij
在时间
t
内的原料成本内的原料成本式中
u
k
为原料
r
k
的单位成本
。4.
根据权利要求2所述的一种多重产业链下需求响应的分层图注意力强化学习方法，其特征是：在产业链执行生产任务的过程中，货物会依次迁移至不同的智能体，经过层层加工后，最终形成完整的输出产品；在多重产业链场景中，智能体间可能通过不同类型的链接来迁移货物；同时，由于货物迁移受到智能体仓储容量的限制，因此要描述智能体间的级联关系，不仅需给出货物在不同条件下的迁移成本，还需要给出智能体仓储容量的形式化描述；
a)
货物迁移成本由于货物迁移前后的智能体可能属于不同产业链网络，因此用智能体
a
p
和
a

【专利技术属性】
技术研发人员：蒋嶷川，武星宇，姜元爽，狄凯，
申请(专利权)人：东南大学，
类型：发明
国别省市：