一种基于联邦学习的工业异构设备多作业调度方法技术

本发明专利技术提出了一种基于联邦学习的工业异构设备多作业调度方法，包括以下步骤：

【技术实现步骤摘要】
一种基于联邦学习的工业异构设备多作业调度方法


[0001]本专利技术涉及工业计算及网络
，特别是涉及一种基于联邦学习的工业异构设备多作业调度方法
。

技术介绍

[0002]随着工业生产制造在信息化和智能化方面要求的不断提高以及通信网络技术的不断演进，催生出了工业物联网技术
。
同时由于各类复杂的生产制造场景，特别是需要机器学习提供辅助决策和智能化支撑的新应用越来越多，通过边缘计算
(Edge Computing,EC)
的引入，使得这类新智能化工业新应用在个性化
、
低时延以及运行效率等方面得到了更好地平衡
。
但在工业生产制造环境下部署机器学习模型与传统机器学习的部署存在很大的不同，后者通常采用集中方式对模型进行训练，将多方数据汇集至一个节点
(
如：数据中心
)
用于计算和训练模型，而在单一节点聚集起规模化数据虽然可有利于得到精准模型，但是由于此类节点通常距离业务请求端较远，难免会导致较高的数据传输时延，同时还存在用户隐私数据在传输过程中被泄露的巨大风险
。
因此在工业生产场景下，在保护用户数据隐私的前提下充分利用各参与实体的本地数据进行模型训练，从而得到一个具有较高精度的全局模型，则是在工业场景下更为合适的一种机器学习模型构建方式
。
[0003]基于上述分析，本专利技术面向工业生产制造场景，在联邦学习
(Federated Learning,FL)
的基础上研究优化调度来自于异构工业设备业务请求的新方法
。
在联邦学习模型下，各工业客户端
(
如：工业数据采集器
、
工业传感器或者工业计算单元
)
由位于工业物联网边缘的参数服务器
(
如：工业边缘服务节点或工业网关
)
进行协调计算，工业客户端的原始本地数据不会在通信链路中传输，仅传输经梯度下降而得到的模型参数，一方面因无需传输原始的数据
(
如：工业图像
、
工业视频等数据
)
可降低网络带宽的压力，另一方面有效保护了工业过程中数据的隐私安全，缓解了隐私保护和机器学习需求大规模数据之间的矛盾
。
[0004]联邦学习的训练模式和模型架构虽然在分布式机器学习以及隐私计算领域具有优势，可解决数据孤岛
、
通信压力等问题，但是仍存在许多问题值得研究与优化
。
对于单任务的联邦学习而言，为保证模型的精度和性能，需要在庞大的工业客户端集合中选择设备参与训练，然而考虑到分布式模型训练的时间开销等问题，服务器仅选择一部分设备参与任务，未被调度选择的设备则处于闲置状态，则将导致工业客户端的使用效率低下
。
不仅如此，边缘计算需要为处于网络边缘侧的终端设备在实时性和低能耗性方面，提供更多的优化服务，使得大量的工业客户端可通过联邦学习的方式获得更加精准的服务和较少的代价
。

技术实现思路

[0005]本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于联邦学习的工业异构设备多作业调度方法
。
[0006]为了实现本专利技术的上述目的，本专利技术提供了一种基于联邦学习的工业异构设备多作业调度方法，包括以下步骤：
[0007]S1
，将多作业面向实际边缘网络的优化问题描述为以下的优化问题公式：
[0008][0009]其中表示作业
j
在
r
轮对应的值函数；
[0010]ψ1和
ψ2均为常数，用于衡量两项指标的权重；
[0011]表示由工业客户端参与作业
j
的时间敏感度；
[0012]表示由工业客户端参与作业
j
的工作积极性；
[0013]且在任意训练轮次
r
中，满足以下限制条件：
[0014][0015]其中
L
j
表示作业
j
给定的损失值；
[0016]表示作业
j
所对应的全局损失函数；
[0017]表示作业集合；
[0018]表示索引为
n
的工业客户端在第
r
轮中是否参与作业
j
的执行；
[0019]N
表示总的训练轮次数；
[0020]J
表示作业总数量；
[0021]S2
，将优化问题公式建模为
Dec
‑
POMDP
模型，所涉及到的参数包括：
S、A、O、R、P
，其中
S
为各智能体的状态集集合表示，
A
为多智能体的联合动作集合，
O
为智能体的观察集合，
R
为多智能体系统的整体奖励，
P
为环境的状态转移概率；
[0022]S3
，采用联邦多作业调度算法
FMJS
求解
Dec
‑
POMDP
模型，得到调度策略
。
[0023]进一步地，和的计算公式为：
[0024][0025][0026]其中表示作业
j
所对应的全局损失函数；
[0027]λ
j
表示对应作业的权重值；
[0028]D
j
表示作业
j
的数据量大小；
[0029]N
表示工业客户端的总数量；
[0030]表示索引为
n
的工业客户端是否参与作业
j
的执行；
[0031]表示索引为
n
的工业客户端参与作业
j
的数据量大小；
[0032]表示工业客户端基于作业
j
的相关数据而计算得到的损失值；
[0033]表示基于输入输出数据对
(x,y)
，采用梯度下降算法得到的损失值
。
[0034]进一步地，联邦多作业调度算法
FMJS
包括以下步骤：
[0035]将各个联邦作业抽象为多个智能体，分别执行对应的智能体网络，该网络的输入为智能体的观测值
O
n,r
和上一轮次的动作
A
n,r
‑1，输出为对应智能体的值函数
Q
n
；其中
O
n,r
表示第
n
个智能体，第
r
轮次的观测值，
Q
n
为强化学习中的值函数；所述智能体网络依次由
FC
全连接网络层
、GRU
门控制单元
、FC
全连接网络层构成；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于联邦学习的工业异构设备多作业调度方法，其特征在于，包括以下步骤：
S1
，将多作业面向实际边缘网络的优化问题描述为以下的优化问题公式：其中表示作业
j
在
r
轮对应的值函数；
ψ1和
ψ2均为常数，用于衡量两项指标的权重；表示由工业客户端参与作业
j
的时间敏感度；表示由工业客户端参与作业
j
的工作积极性；且在任意训练轮次
r
中，满足以下限制条件：其中
L
j
表示作业
j
给定的损失值；表示作业
j
所对应的全局损失函数；表示作业集合；表示索引为
n
的工业客户端在第
r
轮中是否参与作业
j
的执行；
N
表示总的训练轮次数；
J
表示作业总数量；
S2
，将优化问题公式建模为
Dec
‑
POMDP
模型，所涉及到的参数包括：
S、A、O、R、P
，其中
S
为各智能体的状态集集合表示，
A
为多智能体的联合动作集合，
O
为智能体的观察集合，
R
为多智能体系统的整体奖励，
P
为环境的状态转移概率；
S3
，采用联邦多作业调度算法
FMJS
求解
Dec
‑
POMDP
模型，得到调度策略
。2.
根据权利要求1所述的一种基于联邦学习的工业异构设备多作业调度方法，其特征在于，和的计算公式为：的计算公式为：其中表示作业
j
所对应的全局损失函数；
λ
j
表示对应作业的权重值；
D
j
表示作业
j
的数据量大小；
N
表示工业客户端的总数量；表示索引为
n
的工业客户端是否参与作业
j
的执行；表示索引为
n
的工业客户端参与作业
j
的数据量大小；
表示工业客户端基于作业
j
的相关数据而计算得到的损失值；表示基于输入输出数据对
(x,y)
，采用梯度下降算法得到的损失值
。3.
根据权利要求1所述的一种基于联邦学习的工业异构设备多作业调度方法，其特征在于，联邦多作业调度算法
FMJS
包括以下步骤：将各个联邦作业抽象为多个智能体，分别执行对应的智能体网络，该网络的输入为智能体的观测值
O
n,r
和上一轮次的动作
A
n,r
‑1，输出为对应智能体的值函数
Q
n
；其中
O
n,r
表示第
n
个智能体，第
r
轮次的观测值，
Q
n
为强化学习中的值函数；所述智能体网络依次由
FC
全连接网络层
、GRU
门控制单元
、FC
全连接网络层构成；将智能体网络的输出与多作业环境相关的数据存...

【专利技术属性】
技术研发人员：陈卓，周川，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：