一种能源互联网中基于深度强化学习的数字孪生映射方法技术

一种能源互联网中基于深度强化学习的数字孪生映射方法，涉及能源互联网数据映射领域

【技术实现步骤摘要】
一种能源互联网中基于深度强化学习的数字孪生映射方法


[0001]本专利技术涉及能源互联网数据映射领域，特别涉及一种能源互联网中基于深度强化学习的数字孪生映射方法
。

技术介绍

[0002]能源互联网系统
(IoE)
是由光伏
、
风力涡轮机
、
发电机等与发电相关的设备相互连接形成的系统
。
为了保证
IoE
系统的稳定运行，需要对
IoE
系统的电网系统进行实时监控，主动诊断系统故障
(K.Wang,J.Yu,Y.Yu,Y.Qian,D.Zeng,S.Guo,Y.Xiang,and J.Wu,“Asurvey on energy internet:Architecture,approach,and emergingtechnologies,”IEEE Systems Journal,vol.12,no.3,pp.2403
‑
2416,2018.)。IoE
系统的电网系统监控需要实时数据处理
。
因此，这样的监测系统应该能够实时处理数据
。
数字孪生
(DT)
作为一种网络物理集成技术，越来越受到学术界和工业界的关注
。
数字孪生被广泛应用于不同行业
(T.Fei,Z.Meng,C.JiangFeng,and Q.QingLin,“Digital twin workshop:a new paradigm for future workshop,”Computer Integrated Manufacturing Systems,vol.23,no.no.1,2017.)
，如产品设计
(G.L.Knapp,T.Mukherjee,J.S.Zuback,H.L.Wei,T.A.Palmer,A.De,and T.Debroy,“Building blocks for a digital twin of additivemanufacturing,”Acta Materialia,vol.135,pp.390
‑
399,2017.)、
预测
(G.Zhang,C.Huo,L.Zheng,and X.Li,“An architecture based on digitaltwins for smart power distribution system,”in 2020 3rd InternationalConference on Artificial Intelligence and Big Data(ICAIBD),2020.)、
医疗
(B.Koen,S.Filippo,and V.Jeroen,“Digital twins in health care:Ethical implications of an emerging engineering paradigm,”Frontiersin Genetics,vol.9,pp.31
‑
,2018.)、(B.Zhang,K.Anastasia,B.Lai,and R.Milica,“Advances in organ
‑
ona
‑
chip engineering,”Nature Reviews Materials,2018.)、(J.Pang,J.Li,Z.Xie,Y.Huang,and Z.Cai,“Collaborative city digitaltwin for covid
‑
19pandemic:A federated learning solution,”2020.)。DT
可以使用实时数据创建系统的虚拟数字描述，从而提供物理世界和虚拟空间之间的实时交互
。
由于
DT
可以有效地处理实时数据，
DT
已被用于实现
IoE
的实时监测系统
(X.He,Q.Ai,J.Wang,F.Tao,B.Pan,R.Qiu,and B.Yang,“Situationawareness of energy internet of thing in smart city based on digital twin:From digitization to informatization,”IEEE Internet of Things Journal,pp.1
‑
1,2022.)。
[0003]数字孪生利用物联网
(IoT)
技术和机器学习
(ML)
知识来创建能源互联网的虚拟数字描述
。
虚拟数字描述可以真实地反映物理对象的特征
、
行为
、
形成过程和性能
。IoE
系统中传感器收集的实时数据可以映射到数字孪生中，以跟踪和监控物理对象
。
此外，
DT
还可以对物理对象进行预测
、
分析
、
故障诊断和预警
。
传感器采集的所有实时数据都可以映射到
DT
上，形成与物理对象具有相同状态
、
相同属性和相同变化过程的虚拟数字描述，而这个与物理世界相同的
DT
系统可能非常复杂或包含不必要的冗余信息
。
事实上，没有必要构建一个
与真实世界相同的
DT
系统
(L.Zhang,L.Zhou,and B.Horn,“Building a right digital twin withmodel engineering,”Journal of Manufacturing Systems,vol.59,no.2,pp.151
‑
164,2021.)
，这意味着不是所有传感器采集的实时数据都要映射到数字空间
。
因此，需要一种数据映射机制来选择和传输物理世界中的数据到虚拟世界中
。
[0004]目前的数字孪生映射机制包括完全映射机制和不完全映射机制
。
完全映射机制将物理世界中传感器收集的所有实时数据映射到数字孪生
。L.Zhang,L.Zhou,and B.Horn,“Building a right digital twin withmodel engineering,”Journal of Manufacturing Systems,vol.59,no.2,pp.151
‑
164,2021.
认为
DT
数据应该包括传感器数据
(
如材料库存
、
人力工作量
、
设备容量
)
和企业信息系统数据
(...

【技术保护点】

【技术特征摘要】
1.
一种能源互联网中基于深度强化学习的数字孪生映射方法，其特征在于所述方法具体过程为：步骤一
、
获取实体数据；所述实体数据为能源互联网系统中传感器获取的数据，包括：电压幅值
、
相角
、
发电机负荷
、
线路上的有功与无功功率；步骤二
、
将步骤一获取的实体数据输入到映射模型中，获得待映射的实体数据；所述映射模型基于深度强化学习
PPO
算法学习映射数据的特征，从而获得待映射实体数据的时刻；所述映射模型包括：单传感器映射模型
、
多传感器映射模型；若步骤一获取的实体数据从一种类型的传感器中获取，则采用单传感器映射模型获取待映射的实体数据；若步骤一获取的实体数据从多种类型的传感器中获取，则采用多传感器映射模型获取待映射的实体数据
。2.
根据权利要求1所述的一种能源互联网中基于深度强化学习的数字孪生映射方法，其特征在于：所述实体数据从一种类型的传感器或多种类型的传感器中获取，具体为：获取每个传感器获取的实体数据，并绘制曲线作为物理世界曲线；获取所有物理世界曲线中极值点对应时刻之间的误差，将极值点对应的时刻误差与预设误差比较；若所有物理世界曲线极值点对应的时刻误差都小于等于预设误差，则随机获取一个类型的传感器获取的实体数据；若一部分物理世界曲线极值点对应的时刻误差小于预设误差，一部分物理世界曲线极值点对应的时刻误差大于预设误差，则在小于等于预设误差的时刻误差对应的传感器中，随机从一个类型的传感器获取实体数据；从所有大于预设误差的时刻误差对应的传感器中获取实体数据；若所有物理世界曲线极值点对应的时刻误差都大于预设误差，则从所有大于预设误差的时刻误差对应的传感器中获取实体数据
。3.
根据权利要求2所述的一种能源互联网中基于深度强化学习的数字孪生映射方法，其特征在于：所述映射模型基于深度强化学习
PPO
算法学习映射数据的特征，从而获得待映射实体数据的时刻，具体为：
S1、
基于步骤一获取的实体数据获取
t
时刻的环境状态集
S
t
；
S2、
将
t
时刻的环境状态
S
t
转换为动作集
A
t
；
S3、
基于动作集
A
t
获取
PPO
网络选择的映射时刻，并基于映射时刻对待映射实体数据进行三次样条插值，获得重构后的虚拟空间曲线；
S4、
对步骤一获得的所有实体数据进行三次样条插值，获得重构后的物理世界曲线；
S5、
获取重构后的物理世界曲线和重构后的虚拟空间曲线误差
E
error
，若
E
error
≤
ε
，则当前重构后的空间曲线中的实体数据即为待映射实体数据，若
E
error
＞
ε
，则根据动作集
A
t
将环境状态转换为
S
t+1
同时输出奖励值集，并返回
S2
；其中，
ε
是误差阈值
。4.
根据权利要求3所述的一种能源互联网中基于深度强化学习的数字孪生映射方法，
其特征在于：所述
S1
中的
t
时刻的环境状态集
S
t
，如下式：
S
t
＝
{InPre|t∈[t
s
,t
f
]}
其中，
[t
s
,t
f
]
是步骤一获得所有实体数据所在时间段，
t
是
[t
s
,t
f
]
中任一时刻，
P
i
′
是重构后的虚拟空间曲线中
i
时刻对应的实体数据预测值，
t
s
是获取实体数据的起始时刻，
t
f
是获取实体数据的终止时刻，
i
是
[t
s
,t]
中的任一时刻；所述重构后的虚拟空间曲线通过以下方式获得：在步骤一中获得的实体数据中选择部分数据，对部分实体数据进行三次样条插值，获得重构后的虚拟空间曲线
。5.
根据权利要求4所述的一种能源互联网中基于深度强化学习的数字孪生映射方法，其特征在于：所述
S2
中的将
t
时刻的环境状态
S
t
转换为动作集
A
t
，如下式：
A...

【专利技术属性】
技术研发人员：关心，许丝语，
申请(专利权)人：黑龙江大学，
类型：发明
国别省市：