一种用于数字孪生模型在线同步的预训练模型获取方法技术

一种用于数字孪生模型在线同步的预训练模型获取方法，包括：构建并初始化数字孪生模型与强化学习网络模型，数字孪生模型包括数字孪生模型本体以及差分进化算法，强化学习网络模型的状态包括迭代百分比、种群多样性和个体停滞变化的持续时间，强化学习网络模型的动作包括控制差分进化算法的伸缩因子F与交叉概率CR，以数字孪生模型本体作为待优化对象分批次进行训练，直至数字孪生模型本体的损失函数不再下降，获取此时优化该数字孪生模型的自适应差分进化算法的动作网络，该动作网络能够根据在线同步过程中不同的迭代状态提供差分进化算法的最优超参数组合，实现数字孪生模型与机组快速、高效的状态同步。高效的状态同步。高效的状态同步。

【技术实现步骤摘要】
一种用于数字孪生模型在线同步的预训练模型获取方法


[0001]本专利技术属于核电厂安全运行
，具体涉及一种用于核电数字孪生模型自动同步中的差分进化算法超参数优化的预训练模型获取方法以及基于预训练模型的数字孪生模型自动同步方法
。

技术介绍

[0002]从核电站运行角度看，核电站是由堆芯
、
一回路
、
二回路以及三回路组成，忽略各个回路之间的输入输出，整个核电厂的输入参数主要包含设备状态
、
堆芯的棒位
、
硼浓度
、
氙毒
、
海水温度
、
海水流量，输出则是电功率以及各类传感器的测量值，输入输出关系明确，并且几乎都可以从机组数据中获取，同时由于机组绝大多数情况下都处于满功率运行状态，样本多并且输入数据的变化范围能够确定，因此基于这些数据，核电数字孪生模型的开发具有非常大的可行性
。
[0003]在机组实际运行过程中，由于设备特性会随时间变化，例如蒸汽系统汽轮机级组的管道随着其内部结垢和阻塞，表征汽轮机流通能力的导纳系数会发生改变，导致数字孪生模型很难实现与实际机组的同步，在人工调试的过程中，工程师们只能从单个节点出发进行调试，无法从全局考虑各个节点对整个系统的影响，没有根据实际机组运行情况进行调整的能力，而且也缺乏高精度的自动化同步计算程序，因此长时间运行后蒸汽系统数字孪生系统与实际机组的数据偏差会越来越大，研究自动化同步调整方案意义重大
。
[0004]目前，已使用差分进化算法进行数字孪生模型在同步过程的超参数调节，但是差分进化算法作为智能优化算法中的一种，在进行超参数调节时很依赖具体的优化问题，故即使使用差分进化算法进行数字孪生模型的参数调整，还是需要人工反复调试才能找到较优的参数组合，因此，如何实现智能优化算法尤其是差分进化算法在核电蒸汽系统数字孪生模型中的超参数自适应调节，以改善核电蒸汽系统数字孪生模型与实际机组偏差逐渐增大的情形，提高核电蒸汽系统数字孪生模型与实际机组的自动化同步能力是亟需解决的问题
。

技术实现思路

[0005]本专利技术的目的是提供一种用于数字孪生模型在线同步的预训练模型获取方法，其构建强化学习网络并通过离线训练获取用于指定数字孪生系统同步时的动作网络，以用于后续数字孪生系统同步时的超参数自适应调节
。
[0006]为实现上述目的，本专利技术提供了一种用于数字孪生模型在线同步的预训练模型获取方法，包括如下步骤：
S1
构建并初始化数字孪生模型与强化学习网络模型，其中，所述数字孪生模型包括数字孪生模型本体以及用于优化所述数字孪生模型本体的差分进化算法，所述强化学习网络模型用于基于所述数字孪生模型进行离线训练以获取所述数字孪生模型对应的预训练模型；
所述强化学习网络模型包括动作
‑
值网络与目标动作
‑
值网络，所述动作
‑
值网络包括动作网络和估值网络，所述动作网络接受状态
S
t
作为输入并输出动作
a
t
，所述估值网络接受所述状态
S
t
和所述动作
a
t
作为输入并输出对应动作的估值，其中，基于差分进化算法迭代过程中生成的状态变量统计获取所述状态
S
t
，所述状态
S
t
包括迭代百分比
、
种群多样性和个体停滞变化的持续时间，所述动作
a
t
为二维，包括动作值
a0与动作值
a1，所述动作值
a0和所述动作值
a1分别用于控制所述差分进化算法的伸缩因子
F
与交叉概率
CR
，且所述动作值
a0与所述动作值
a1介于
‑
1~1
之间；所述动作
a
t
包括
a0和
a1，所述
a0和
a1分别用于控制所述差分进化算法的伸缩因子
F
与交叉概率
CR
；所述目标动作
‑
值网络包括目标动作网络与目标估值网络，所述目标动作网络
、
所述目标估值网络分别与所述动作网络
、
估值网络相同设置，所述目标动作
‑
值网络用于生成目标值，并基于所述动作
‑
值网络降低所述目标值的估计误差；
S2
获取待优化参数，以所述数字孪生模型本体作为待优化对象，将待优化参数划分为多个批次进行训练，每批次训练包括如下步骤：
S21
将本批次的待优化参数输入至数字孪生模型本体中，并经由差分进化算法进行数字孪生模型本体的优化，所述待优化参数为从对所述数字孪生系统计算结果有重要影响的标定参数中选取；
S22
收集数字孪生模型优化过程中所生成的四元组（
S
t
，
a
t
，
r
t
，
S
t+1
）作为所述强化学习网络模型的经验回放数据，其中，
S
t
为状态，
S
t+1
为下一时间的状态，
a
t
为动作，
r
t
为奖励，由所述数字孪生模型本体根据本次的迭代损失生成；
S23
从所述经验回放数据中随机选出四元组作为所述强化学习网络模型的训练数据，并通过小批量梯度下降的方式更新所述估值网络的权重参数，通过小批量梯度上升的方式更新所述动作网络的权重参数；
S3
对每批次的所述待优化参数执行上述
S2
，直至所述数字孪生模型本体的损失函数不再下降，获取此时优化该数字孪生模型的自适应差分进化算法的动作网络作为所述数字孪生模型的预训练模型
。
[0007]优选的，所述
S23
中，所述通过小批量梯度下降的方式更新所述估值网络的权重参数，通过小批量梯度上升的方式更新所述动作网络的权重参数，包括：
S231
将随机选取四元组中的当前时间状态
S
t
作为所述动作网络的输入，所述动作网络对应生成动作
a
t
，将当前生成动作
a
t
反馈至所述差分进化算法中，由所述差分进化算法基于所述动作
a
t
进行迭代，获取所述数字孪生模型的下一轮伸缩因子
F
与交叉概率
CR
；
S232
将下一轮伸缩因子
F
与交叉概率
CR
反馈至数字孪生模型本体进行数字孪生模型本体的优化，所述数字孪生模型本体根据本次的迭代损失生成奖励
r
t本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于数字孪生模型在线同步的预训练模型获取方法，其特征在于，包括如下步骤：
S1
构建并初始化数字孪生模型与强化学习网络模型，其中，所述数字孪生模型包括数字孪生模型本体以及用于优化所述数字孪生模型本体的差分进化算法，所述强化学习网络模型用于基于所述数字孪生模型进行离线训练以获取所述数字孪生模型对应的预训练模型；所述强化学习网络模型包括动作
‑
值网络与目标动作
‑
值网络，所述动作
‑
值网络包括动作网络和估值网络，所述动作网络接受状态
S
t
作为输入并输出动作
a
t
，所述估值网络接受所述状态
S
t
和所述动作
a
t
作为输入并输出对应动作的估值，其中，基于差分进化算法迭代过程中生成的状态变量统计获取所述状态
S
t
，所述状态
S
t
包括迭代百分比
、
种群多样性和个体停滞变化的持续时间，所述动作
a
t
为二维，包括动作值
a0与动作值
a1，所述动作值
a0和所述动作值
a1分别用于控制所述差分进化算法的伸缩因子
F
与交叉概率
CR
，且所述动作值
a0与所述动作值
a1介于
‑
1~1
之间；所述目标动作
‑
值网络包括目标动作网络与目标估值网络，所述目标动作网络
、
所述目标估值网络分别与所述动作网络
、
估值网络相同设置，所述目标动作
‑
值网络用于生成目标值，并基于所述动作
‑
值网络降低所述目标值的估计误差；
S2
获取待优化参数，以所述数字孪生模型本体作为待优化对象，将待优化参数划分为多个批次进行训练，每批次训练包括如下步骤：
S21
将本批次的待优化参数输入至数字孪生模型本体中，并经由差分进化算法进行数字孪生模型本体的优化，所述待优化参数从对所述数字孪生系统计算结果有重要影响的标定参数中选取；
S22
收集数字孪生模型优化过程中所生成的四元组（
S
t
，
a
t
，
r
t
，
S
t+1
）作为所述强化学习网络模型的经验回放数据，其中，
S
t
为状态，
S
t+1
为下一时间的状态，
a
t
为动作，
r
t
为奖励，由所述数字孪生模型本体根据本次的迭代损失生成；
S23
从所述经验回放数据中随机选出四元组作为所述强化学习网络模型的训练数据，并通过小批量梯度下降的方式更新所述估值网络的权重参数，通过小批量梯度上升的方式更新所述动作网络的权重参数；
S3
对每批次的所述待优化参数执行上述
S2
，直至所述数字孪生模型本体的损失函数不再下降，获取此时优化该数字孪生模型的自适应差分进化算法的动作网络作为所述数字孪生模型的预训练模型
。2.
根据权利要求1所述一种用于数字孪生模型在线同步的预训练模型获取方法，其特征在于，所述
S23
中，所述通过小批量梯度下降的方式更新所述估值网络的权重参数，通过小批量梯度上升的方式更新所述动作网络的权重参数，包括：
S231
将随机选取四元组中的当前时间状态
S
t
作为所述动作网络的输入，所述动作网络对应生成动作
a
t
，将当前生成动作
a
t
反馈至所述差分进化算法中，由所述差分进化算法基于所述动作
a
t
进行迭代，获取所述数字孪生模型的下一轮伸缩因子
F
与交叉概率
CR
；
S232
将下一轮伸缩因子
F
与交叉概率
CR
反馈至数字孪生模型本体进行数字孪生模型本体的优化，所述数字孪生模型本体根据本次的迭代损失生成奖励
r
t...

【专利技术属性】
技术研发人员：肖云龙，刘浩，景应刚，程敏敏，
申请(专利权)人：核动力运行研究所，
类型：发明
国别省市：