用于联邦学习的仲裁器制造技术

提供了一种用于在联邦学习系统中训练中央模型的方法。方法包括：从一组本地模型中的第一本地模型接收第一更新；从所述一组本地模型中的第二本地模型接收第二更新；使第一更新和第二更新入队列进与所述一组本地模型对应的一个或多个队列中；基于确定满足选择标准而从一个或多个队列中选择更新以应用到中央模型，选择标准与中央模型的质量有关；以及将选择的更新应用到中央模型或者指示节点将选择的更新应用到中央模型。的更新应用到中央模型。的更新应用到中央模型。

【技术实现步骤摘要】
【国外来华专利技术】用于联邦学习的仲裁器


[0001]公开了与使用仲裁器（moderator）的联邦学习有关的实施例。

技术介绍

[0002]机器学习是常用的，包括在分布式环境中。例如，在大规模分布式信息物理系统（cyber
‑
physical systems）中，可以使用本地可用的数据在分布式节点处构建基于机器学习的预测模型（例如神经网络、贝叶斯网络、决策树等等）。自然地，模型预测的可靠性依赖于模型输出的统计置信度。然而，由于例如时间分辨率、要预测的值（目标）基于变化的本地数据而经历快速变化的目标分布、或者诸如存储成本的其他数据挖掘相关的约束导致分布式节点中的本地模型可能不具有本地足够丰富的数据来构建可靠的模型。在这种情况下，需要利用分散学习方法，也被称为联邦学习，其中通过组合来自一组分布式节点的收集的数据来构建由中央节点维护的中央公共模型。
[0003]联邦学习的最终目标是从多个节点收集观测值以便在分布式环境的中央节点处构建更可靠的中央模型。然而，由于隐私约束和通信成本导致将本地数据发送到中央节点的中央模型通常是不可能的。相反，在联邦本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在联邦学习系统中训练中央模型的方法，所述方法包括：从一组本地模型中的第一本地模型接收第一更新；从所述一组本地模型中的第二本地模型接收第二更新；使所述第一更新和所述第二更新入队列进与所述一组本地模型对应的一个或多个队列中；基于确定满足选择标准而从所述一个或多个队列中选择更新以应用到中央模型，所述选择标准与所述中央模型的质量有关；以及将选择的更新应用到所述中央模型或者指示节点将所述选择的更新应用到所述中央模型。2.如权利要求1所述的方法，其中，所述选择标准包括下列条件：在对所述中央模型的任何N次更新期间，所述中央模型的精度不会被降低超过阈值量达超过M次，其中M<N。3.如权利要求2所述的方法，其中，所述阈值量为5%。4.如权利要求1至3中的任一项所述的方法，其中，从所述一个或多个队列中选择所述更新以应用到所述中央模型包括采用强化学习来确定要选择所述一个或多个队列中的所述更新当中的哪个更新。5.如权利要求4所述的方法，其中，采用强化学习来确定要选择所述一个或多个队列中的所述更新当中的哪个更新包括：采用上下文多臂老虎机（CMAB）算法，使得一组臂对应于所述一组本地模型，其中所选臂指示其更新将被用来更新所述中央模型的本地模型，并且上下文对应于所述一个或多个队列，其中所述一组臂和所述上下文约束所述CMAB算法。6.如权利要求5所述的方法，其中，采用CMAB算法包括：评估成本函数，使得使用所述中央模型的当前版本和测试集来计算动作的成本。7.如权利要求1至6中的任一项所述的方法，进一步包括：使所述选择的更新从与所述一组本地模型对应的所述一个或多个队列中出队列；从所述一组本地模型的所述模型中的一个或多个模型接收附加更新；使所述附加更新入队列进与所述一组本地模型对应的所述一个或多个队列中；在使所述选择的更新从与所述一组本地模型对应的所述一个或多个队列中出队列之后，基于确定满足所述选择标准而从所述一个或多个队列中选择另一个更新以应用到所述中央模型，所述选择标准与所述中央模型的质量有关；以及将选择的另一个更新应用到所述中央模型或者指示所述节点将所述选择的另一个更新应用到所述中央模型。8.一种仲裁器节点，所述仲裁器节点包括：存储器；以及处理器，其中，所述处理器被配置成：从一组本地模型中的第一本地模型接收第一更新；从所述一组本地模型中的第二本地模型接收第二更新；使所述第一更新...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：