一种高能效的基于数字孪生的联邦学习框架制造技术

一种高能效的基于数字孪生的联邦学习框架，涉及工业物联网的联邦学习技术领域，解决现有工业物联网系统中利用数字孪生和联邦学习技术存在能量消耗及降低模型收敛速度和训练模型的质量等问题，在联邦学习的每次迭代过程中，工业物联网设备用于根据部署在宏基站中的策略选择不同的训练方式进行训练，小型基站用于将工业物联网设备上传的模型按比例融合并传递到宏基站的参数融合器上进行最终的参数融合，宏基站用于实现信道分配及控制工业物联网设备选择本地训练或选择小型基站的服务器连接到数字空间的虚拟对象，并使用小型基站的附属服务器来训练模型；宏基站将全局模型广播至所有的工业物联网设备，直至全局模型达到预设的准确率或者模型收敛。预设的准确率或者模型收敛。预设的准确率或者模型收敛。

【技术实现步骤摘要】
一种高能效的基于数字孪生的联邦学习框架


[0001]本专利技术涉及工业物联网的联邦学习技术，具体涉及一种高能效的基于数字孪生的联邦学习框架。

技术介绍

[0002]工业物联网的出现极大地赋能了现代社会的生产生活，推动了包括农业、制造业等行业的快速发展，特别是在基于人工智能的工业4.0中。与此同时，接入物联网设备也随之爆发式增长。在工业4.0中，工业物联网设备需要支持即时的智能服务，这对即时获取和分析动态状态信息提出了迫切需求。
[0003]数字孪生作为一种将工业物联网设备即时映射到数字空间的技术，可以实时捕获工业物联网设备的动态状态信息。此外，借助先进的传感器技术，6G中的数字孪生可以实现虚拟对象和物理实体之间极其可靠和近乎即时的连接。具体来说，通过软件定义和传感器更新，可以在数字空间中创建从物理世界映射的虚拟对象，虚拟对象通过实时传感器数据进行演进。工业物联网设备的实时演进的虚拟对象由于需要足够的计算资源通常维护在服务器中。同时，对于物联网设备来说，数字孪生在协助工业物联网设备构建智能模型时，不仅需要依赖自身的数据，还需要依赖其他分布式工业物联网设备和服务器的数据。然而，出于商业竞争和隐私保护的目的，不同运营商的不同服务器在交换他们自身捕获的工业物联网设备传感器数据的意愿低迷，这就带来了“数据孤岛”的问题，给工业4.0中的智能服务带来了很大的挑战。
[0004]联邦学习在模型建立过程中交换梯度或模型参数来替代原始数据，可以避免“数据孤岛”问题。它允许分布式列车的不同设备或服务器协同构建智能模型。在上述的工业物联网系统中，这些工业物联网设备和服务器可以通过联邦学习来训练提供智能服务的神经网络模型。
[0005]尽管数字孪生和联邦学习都被认为是重新设计工业物联网系统的关键技术，但将它们集成到工业物联网系统中仍然存在很多挑战。一方面，联邦学习中的大量梯度或模型参数需要传输和处理，这是非常消耗能量的。同时，在通过实时传感器数据不断演化数字空间中维护工业物联网设备的虚拟对象也非常耗能。考虑到大量的工业物联网设备，为联邦学习的所有工业物联网设备部署数字孪生是不切实际的。另一方面，直接减少通信、计算和能源资源可能会降低收敛速度和训练模型的质量，并抵消数字孪生的即时获取状态信息的积极增益。
[0006]因此，考虑到动态复杂的网络环境，应小心的将工业物联网设备的训练方法选择和资源分配进行联合优化，以提高联邦学习的能量效率和收敛速度。

技术实现思路

[0007]本专利技术为解决现有工业物联网系统中利用数字孪生和联邦学习技术存在能量消耗及降低模型收敛速度和训练模型的质量等问题，提供一种高能效的基于数字孪生的联邦
学习框架。
[0008]一种高能效的基于数字孪生的联邦学习框架，包括M个小型基站，N个工业物联网设备和一个宏基站；在联邦学习的每次迭代过程中，每个工业物联网设备用于根据部署在宏基站中的策略选择不同的训练方式进行训练，即本地训练或者利用数字孪生技术在小型基站的服务器上进行训练；
[0009]所述小型基站用于将工业物联网设备上传的模型和利用数字孪生技术训练的模型按比例融合得到基站的当地模型；所述小型基站将当地模型传递到宏基站的参数融合器上进行最终的参数融合，获得本次迭代后的全局模型；
[0010]所述融合方式定义为：
[0011][0012]式中，G为融合的参数模型数目，D
i
为训练模型w
i
的数据大小；
[0013]所述宏基站用于实现信道分配及控制工业物联网设备选择本地训练并选择某个小型基站传输训练后的模型参数或选择某个小型基站的服务器连接到数字空间的虚拟对象，并使用小型基站的附属服务器来训练模型；
[0014]所述宏基站将全局模型广播至所有的工业物联网设备，直至全局模型达到预设的准确率或者模型收敛。
[0015]本专利技术的有益效果：所提框架根据基于数字孪生的IIoT系统中的状态信息在联邦学习的每轮迭代中动态的选择物联网设备的训练方式及信道的分配方式，有效的降低了基于数字孪生的联邦学习的能量消耗，并为每轮迭代添加时间阈值，避免了联邦学习可能存在的长时间消耗，有效提升了基于数字孪生的联邦学习的能量效率。
附图说明
[0016]图1为工业物联网系统模型示意图。
具体实施方式
[0017]结合图1说明本实施方式，本实施方式基于数字孪生的工业物联网提出了一种高能效的联邦学习框架。在该框架中，工业物联网设备可以动态选择在本地训练或在数字孪生的协助下连接到小型基站相应服务器中虚拟对象，利用小型基站的计算资源来训练模型。通过量化了基于数字孪生的工业物联网联邦学习的能耗和时间消耗，并得到了联合工业物联网设备训练方法和资源分配的优化问题。考虑到该问题使用传统方法难以解决，本实施方式中采用基于深度强化学习(DRL)的算法来获得最佳策略。
[0018]如图1所示，图1为支持数字孪生的工业物联网系统模型。设定有M个小型基站，表示为B1B
m
...B
M
，N个物联网设备，表示为D1D
n
...D
N
，以及一个宏基站，记为B
MBS
。在联邦学习的每次迭代过程中，所有工业物联网设备都需要根据一定的策略选择模型训练方法，即本地训练或者利用数字孪生协助训练。具体而言，基于每次迭代中系统的整体状态信息，需要探索出每个工业物联网设备的训练方法和信道分配的策略以实现高能效的联邦学习。策略可以部署在宏基站中，根据具体的策略，宏基站可以实现信道分配及控制工业物联网设备选
择本地训练并选择某个小型基站传输训练后的模型参数或选择某个小型基站的服务器连接到数字空间的虚拟对象，并使用小型基站的附属服务器来训练模型。
[0019]将设备i的数字孪生表示为其中为设备i的模型，D
i
为设备i的实时数据。将物联网设备d
n
的选择记为S
n
，则S
n
的值构成的集合为O＝
‑
M,
‑
(M1)...
‑
1,1,2...M。例如，S
n
(t)＝
‑
m表示设备d
n
进行当地训练，后将参数模型传递给基站B
m
。S
n
(t)＝m表示工业物联网设备d
n
选择小型基站B
m
的服务器来创建连接虚拟对象，各个基站将利用数字空间的数据训练得到的模型与接收到的设备传递的模型进行融合后，将融合后参数模型传递给宏基站。使和Φ
n,m
(t)分别表示工业物联网设备d
n
是否连接到小型基站B
m
的虚拟对象和本地训练后是否选择B
m
作为上传模型参数的通信链路。表示为：
[0020][0021]则且
[0022]以及：
[0023][002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高能效的基于数字孪生的联邦学习框架，包括M个小型基站，N个工业物联网设备和一个宏基站；其特征是：在联邦学习的每次迭代过程中，每个工业物联网设备用于根据部署在宏基站中的策略选择不同的训练方式进行训练，即本地训练或者利用数字孪生技术在小型基站的服务器上进行训练；所述小型基站用于将工业物联网设备上传的模型和利用数字孪生技术训练的模型按比例融合得到基站的当地模型；所述小型基站将当地模型传递到宏基站的参数融合器上进行最终的参数融合，获得本次迭代后的全局模型；所述融合方式定义为：式中，G为融合的参数模型数目，D
i
为训练模型w
i
的数据大小；所述宏基站用于实现信道分配及控制工业物联网设备选择本地训练并选择某个小型基站传输训练后的模型参数或选择某个小型基站的服务器连接到数字空间的虚拟对象，并使用小型基站的附属服务器来训练模型；所述宏基站将全局模型广播至所有的工业物联网设备，直至全局模型达到预设的准确率或者模型收敛。2.根据权利要求1所述的一种高能效的基于数字孪生的联邦学习框架，其特征在于：在所述工业物联网设备中，采用有限状态的马尔可夫信道模型表示信道的变化，用于接收信噪比SNR表示信道状态Γ；接收信噪比被分为I+1个不同的幅度，构成的集合表示为h0,h1,h2...h
I
；其中，h0与h
I
分别为最小信噪比和最大的信噪比，设定有限状态的马尔科夫链状态集合为并且Γ(t)＝H
i
表示在第t次的迭代过程中，信道状态信息即接收信噪比为H
i
位于h
i
‑1与h
i
之间；设定在某个迭代过程中，信道的状态信息是不发生变化的；在马尔可夫模型中，某个状态会根据马尔可夫转移矩阵进行转移进入下一状态；设定某次迭代过程某两个通信设备之间的信道状态为Γ(t)＝H
a
，从该状态转移到H
b
的概率为表示为转移矩阵表示为设定共有K个信道被工业物联网设备与小型基站分配，子信道的带宽为W0；则：式中，和分别表示小型基站B
m
与工业物联网设备d
n
分得的信道数目；工业物联网设备到小型基站的数据传递速度表示为：式中，表示物联网设备d
n
与基站B
m
的信道状态。小型基站到宏基站的数据传输速率表示为：
3.根据权利要求2所述的一种高能效的基于数字孪生的联邦学习框架，其特征在于：采用有限状态的马尔可夫模型，将计算能力分为J+1个分散的值f0,f1,f2…
f
J
，有限马尔可夫的所有状态集合表示为尔可夫的所有状态集合表示为为某个工业物联网设备或者小型基站的计算能力从F
a
到F
b
的转移概率为转移矩阵表示为4.根据权利要求3所述的一种高能效的基于数字孪生的联邦学习框架，其特征在于：通过量化基于数字孪生的工业物联网联邦学习的时间消耗和能量消耗，获得联合工业物联网设备的训练方式选择和信道分配联合优化问题，并采用深度强化学习算法获得最优策略；所述优化问题具体如下示表示为：s.t.0≤T
total
(t)≤T
limit
Acc
preset
≤Acc
Z
式中，S
t
和W
t
分别为第t次迭代中工业物联网设备的训练方式选择和信道分配，Z为模型达到预设精度所需的迭代次数，Acc
preset
为预设的模型所需要的精度，Acc
Z
为第Z次迭代后的模型精度，T
limit
为保证系统综合性能的训练时间阈值；T
total
(t)为总时延，E
total
(t)为总的能量消耗；和分别表示基站B
m
与物联网设备d
n
分得的信道数目。5.根据权利要求4所述的一种高能效的基于数字孪生的联邦学习框架，其特征在于：所述时间消耗中包括传输时延和计算时延；所述传输时延包括本地训练的工业物联网设备到相应的小型基站的传输时延，小型基站到宏基站的传输时延以及宏基站到工业物联网设备的传输时延；所述工业物联网设备d
n
到小型基站B
m
的传输时延定义为：式中，为物联网设备d
n
的模型参数的大小；小型基站B
m
到宏基站的传输时延为：式中，Φ
n,m
(t)为本地训练后是否选择B
m
作为上传模型参数的通信链路；|w|为每个物联
网设备的训练的模型参数；为第t次迭中小型基站到宏基站的数据传输速率；宏基站到物联网设备d
n

【专利技术属性】
技术研发人员：刘宜明，张家祥，秦晓琦，许晓东，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：