联邦学习环境中的通信制造技术

公开了一种在联邦学习环境中进行通信的计算机实现的方法，该联邦学习环境包括：聚合器和多个联邦学习参与者，该多个联邦学习参与者分别地维持它们自己的数据并且与聚合器通信。聚合器针对与落后者相关联的因素监测多个联邦学习参与者。基于对因素的监测，联邦学习参与者被分配到多个层中。聚合器查询在所选择的层中的联邦学习参与者并且将晚响应者指定为落后者。可针对每一层定义最大等待时间。聚合器应用针对退学者的预测响应以更新联邦学习模型的训练，该预测响应包括所收集的参与者的回答以及与所述落后者相关联的计算预测。在指定等待时间内未响应的联邦学习参与者被指定为退学者。联邦学习模型的训练用所收集的参与者的回答以及与退学者相关联的计算预测来更新。

Communication in federated learning environment

【技术实现步骤摘要】
联邦学习环境中的通信
本公开一般涉及联邦学习，并且更特别地，涉及聚合器与联邦学习参与者之间的通信。
技术介绍
在联邦学习系统中，多个数据源合作学习预测模型。此类合作导致比拥有一个此类源的任何一方可独立地学习的更准确的模型。然而，在机器学习中，受信任的第三方通常访问来自同一个地方的多方的数据，在联邦学习中，每个数据拥有者(例如，联邦学习参与者)本地维持其数据并且与聚合器通信。因此，聚合器从每个数据拥有者收集经训练的模型更新而不从每个数据拥有者收集数据。针对每个数据拥有者的响应时间可变化，并且特定数据拥有者可停止学习期的响应(即，退学(dropout))。
技术实现思路
根据各种实施例，提供了在联邦学习环境中进行通信的计算机实现的方法、计算设备、和非暂态计算机可读存储介质。在一个实施例中，在联邦学习环境中进行通信的计算机实现的方法包括：针对与落后者(straggler)相关联的一个或多个因素对多个联邦学习参与者的监测操作。基于对该一个或多个因素的监测，联邦学习参与者被分配到多个层中，每一层具有指定等待时间。聚合器查询在所本文档来自技高网...

【技术保护点】
1.一种在联邦学习环境中进行通信的计算机实现的方法，所述方法包括：/n针对与落后者相关联的一个或多个因素监测多个联邦学习参与者；/n基于对所述一个或多个因素的所述监测，将所述联邦学习参与者分配到多个层中，所述多个层中的每一层具有指定等待时间；/n查询在所选择的层中的所述联邦学习参与者；/n将在所述指定等待时间内在预定时间之后响应的联邦学习参与者指定为落后者；以及/n通过应用针对所述落后者的预测响应来更新联邦学习模型的训练，所述预测响应包括所收集的参与者的回答以及与所述落后者相关联的计算预测。/n

【技术特征摘要】
20190513 US 16/4110901.一种在联邦学习环境中进行通信的计算机实现的方法，所述方法包括：
针对与落后者相关联的一个或多个因素监测多个联邦学习参与者；
基于对所述一个或多个因素的所述监测，将所述联邦学习参与者分配到多个层中，所述多个层中的每一层具有指定等待时间；
查询在所选择的层中的所述联邦学习参与者；
将在所述指定等待时间内在预定时间之后响应的联邦学习参与者指定为落后者；以及
通过应用针对所述落后者的预测响应来更新联邦学习模型的训练，所述预测响应包括所收集的参与者的回答以及与所述落后者相关联的计算预测。


2.根据权利要求1所述的计算机实现的方法，还包括：
将在所述指定等待时间内未响应的联邦学习参与者识别为退学者；以及
响应于识别法定人数的联邦学习参与者是否已经对所述查询作出响应，用所收集的参与者的回答以及与所述退学者相关联的计算预测来更新所述联邦学习模型的所述训练。


3.根据权利要求2所述的计算机实现的方法，其中，针对更新所述联邦学习模型的所述训练的每一轮，更新每一层的所述指定等待时间，所述方法还包括：
根据一个或多个预定标准来确定所述联邦学习模型的所述训练的准确性，以及
当所述准确性在预定数量的异步时间段之后不增加时，终止所述联邦学习模型的异步训练阶段。


4.根据权利要求1所述的计算机实现的方法，其中，用于查询的所选择的层通过随机过程来选择。


5.根据权利要求1所述的计算机实现的方法，还包括：
用所收集的参与者的回答和所述落后者的计算预测来周期性地更新所述联邦学习模型的所述训练。


6.根据权利要求1所述的计算机实现的方法，还包括：
更新对所述联邦学习参与者的所述监测；以及
基于针对多个同步时间段中的每个同步时间段的所更新的监测，确定是否将所述联邦学习参与者重新分配到不同层中。


7.根据权利要求1所述的计算机实现的方法，还包括：
基于对所述联邦学习参与者的所更新的监测来动态地重新布置所述多个层。


8.根据权利要求1所述的计算机实现的方法，还包括：
应用如下的预测步骤以聚合来自所选择的层的用来自在未被选择的层中的所述联邦学习参与者的信息来响应所述查询的所述联邦学习参与者的响应：



其中：
Gk是来自最后一个时期的聚合结果；
pi是所查询的层ti的对应概率；
replies是来自所查询的层ti的所接收的回答，以及
mostRecent_replies是来自所查询的层ti的最新回答。


9.一种在联邦学习环境中进行通信的计算机实现的方法，所述方法包括：
在联邦学习模型的训练中初始化多个联邦学习参与者；以及
(a)响应于确定运行时期的数量小于同步时期的数量(n_syn)：
接收来自所述多个联邦学习参与者中的至少一些联邦学习参与者的响应；以及
更新响应时间(RTi)直到最大时间(Tmax)消逝；
(b)响应于确定运行时期的数量大于同步时期的数量：
将来自所述多个联邦学习参与者中RTi＝n_syn×Tmax的联邦学习参与者识别为退学者；
移除所述退学者的响应时间并且创建剩余响应时间的直方图；以及
将平均回答时间分配到多个层中的每一层，其中...

【专利技术属性】
技术研发人员：A·安瓦尔，周亦，N·B·安杰尔，H·H·路德维希，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US