【技术实现步骤摘要】
【国外来华专利技术】
本专利技术大体上涉及机器学习，具体涉及一种联邦学习系统，该联邦学习系统使用来自不由系统直接控制的任意大量客户端的异步贡献。
技术介绍
1、人工智能(artificial intelligence，ai)，也称为机器学习，使用模拟推理过程的机器过程。例如，机器学习可以采用使用各种参数的问题模型。计算设备可以将模型应用于包括对应于已知结果的输入数据的各种训练数据。然后，设备可以基于输入数据确定正确预测结果的各种参数的范围。然后，设备可以例如通过将加权因子应用于参数，加重预测性参数和去加重预测性较低的参数，从而更新模型。此过程可以使用各种训练数据重复应用(例如，数千次迭代)，直到模型收敛于参数的一致加权因子集。更大的潜在参数组和训练数据的更多变化可以使模型更准确。例如，在某些特定情况下看起来具有预测性的参数在更一般的情况下可能不具有预测性，因此不应依赖。多样化的训练数据支持从模型中删除此类误报。使用大型参数组的一个问题是，训练此类模型可能需要大量计算资源。此外，对于某些问题，获取多样化的训练数据可能会变得困难。例如，由于隐私问题，描述用户相关活动的多样化的训练数据只能在用户许可的情况下使用。
技术实现思路
1、在一个实施例中，本专利技术包括一种联邦学习系统，包括：可扩展队列，用于从多个客户端接收模型更新贡献，所述模型更新贡献包括更新的模型参数；模型仓库，用于存储模型以供所述多个客户端访问；配置仓库，用于存储包括更新阈值的模型策略，所述更新阈值指示需要从所述多个客户端接收多少响应以启动所述
2、联邦学习是一种使用多个去中心化终端来计算模型更新的方法。在联邦学习模型中，每个终端保留本地训练数据，不与系统的其余部分交换训练数据。终端获取模型，应用本地训练数据，并向联邦学习系统发送模型更新。这样一来，就不会共享本地训练数据，从而可以维护终端所有者的隐私。因此，联邦学习系统可以利用参与的用户硬件资源和各种真实世界用户数据来训练模型，只要可以获得用户权限。
3、本实施例包括用于与不在系统直接控制下的各种用户终端一起操作的联邦学习系统。联邦学习系统是异步的，因此不等待在其上操作的任何特定终端或客户端。联邦学习系统基于来自客户端的模型更新贡献更新模型，但也基于响应阈值或其它机制更新模型。这样一来，延迟响应就不会停止模型更新过程。此外，联邦学习系统跟踪模型序列标识符(identifier，id)，因此可以应用陈旧因子以减少延迟响应对系统的影响。例如，联邦学习系统包括：模型仓库，包括模型的当前版本；和客户端配置仓库，包括与特定客户端或一组客户端相关的客户端配置参数集合。当客户端开始本地模型优化周期时，客户端获取模型的当前版本和相关的客户端配置参数。然后，客户端通过使用本地私有数据基于客户端配置参数训练模型的当前版本来执行本地模型优化。因此，联邦学习系统可以使用客户端配置参数来控制客户端的模型相关操作。一旦本地模型优化周期完成，客户端将模型更新贡献发送到可扩展队列集合。模型更新贡献包括参数变化以及模型序列id，以便系统可以确定陈旧性。然后，模型更新贡献可以存储在可扩展队列中，直到联邦学习系统决定再次更新模型。模型更新贡献可以基于哈希函数被分类到其中一个可扩展队列中。这种方法支持联邦学习系统扩展以支持任意数量的客户端，并支持异步操作。
4、联邦学习系统还包括分层聚合器集合和关联的流处理器。分层聚合器执行聚合周期以使模型更新贡献出列和聚合模型更新贡献，流处理器基于模型更新贡献更新模型。然后，更新的模型可以存储在模型仓库中，供客户端异步下载。联邦学习系统还包括参与者监控仓库和策略引擎。分层聚合器/流处理器可以使用可扩展队列中的数据为客户端生成日志，并将此类日志发送到参与者监控仓库。然后，策略引擎可以异步分析参与者监控仓库中的客户端日志。这种分析可以基于警报、触发器和/或查询。基于分析结果，策略引擎可以更新客户端配置仓库中的参数。例如，策略引擎可以在特定客户端或客户端组更改或停止本地模型优化周期，例如当客户端被标记为恶意时，以提高能效、减少性能不佳客户端的负载、导致模型回滚等。此外，联邦学习系统包括聚合配置仓库，该聚合配置仓库包括由分层聚合器/流处理器使用的参数。策略引擎还可以基于日志对聚合配置仓库进行更改，例如更改聚合周期的频率。此外，联邦学习系统可以在通信中使用安全签名来防止恶意干扰。因此，所描述的联邦学习系统异步运行，支持大规模可扩展性，对客户端变化和不一致具有弹性，安全，适应变化，并维护用户隐私(客户端特定数据可能不会离开终端)，同时仍利用用户硬件和用户数据更新模型参数以改进模型。
5、可选地，在上述方面中的任一方面中，所述方面的另一种实现方式提供：所述配置仓库还用于存储客户端配置策略，所述客户端配置策略包括影响所述多个客户端处的模型操作的客户端参数。
6、可选地，在上述方面中的任一方面中，所述方面的另一种实现方式提供：所述客户端参数指示模型下载操作和所述模型更新贡献。
7、可选地，在上述方面中的任一方面中，所述方面的另一种实现方式提供：所述客户端参数指示模型分析恢复、模型分析停止和模型分析退出。
8、可选地，在上述方面中的任一方面中，所述方面的另一种实现方式提供：所述客户端参数指示所述多个客户端处的本地优化。
9、可选地，在上述方面中的任一方面中，所述方面的另一种实现方式提供：所述模型策略还包括陈旧策略。
10、可选地，在上述方面中的任一方面中，所述方面的另一种实现方式提供：还包括策略引擎，所述策略引擎用于设置所述模型策略和所述客户端配置策略。
11、可选地，在上述方面中的任一方面中，所述方面的另一种实现方式提供：还包括参与者监控仓库，所述参与者监控仓库用于：接收指示所述多个客户端的参与者质量的监控日志；将所述监控日志发送到所述策略引擎，以支持设置所述模型策略和所述客户端配置策略。
12、可选地，在上述方面中的任一方面中，所述方面的另一种实现方式提供：所述可扩展队列根据哈希函数从所述多个客户端接收模型更新贡献。
13、可选地，在上述方面中的任一方面中，所述方面的另一种实现方式提供：所述分层聚合器用于使所述模型更新贡献从所述可扩展队列出列和聚合所述模型更新贡献。
14、可选地，在上述方面中的任一方面中，所述方面的另一种实现方式提供：所述策略引擎还用于使用超参数配置所述分层聚合器，以缩放聚合权重。
15、可选地，在上述方面中的任一方面中，所述方面的另一种实现方式提供：所述分层聚合器用于将监控日志发送到所述参与者监控仓库。
16、在一个实施例中，本专利技术包括一种配置联邦学习系统的方法，所述方法包括：模型仓库向多个客户端传输模型；可扩展队列从所述多个客户端接收模型更新贡献，所述模型更新贡献包括更新的模型参数；分层聚合器基于来自所述多个客户本文档来自技高网...
【技术保护点】
1.一种联邦学习系统，其特征在于，包括：
2.根据权利要求1所述的联邦学习系统，其特征在于，所述配置仓库还用于存储客户端配置策略，所述客户端配置策略包括影响所述多个客户端处的模型操作的客户端参数。
3.根据权利要求1或2所述的联邦学习系统，其特征在于，所述客户端参数指示模型下载操作和所述模型更新贡献。
4.根据权利要求1至3中任一项所述的联邦学习系统，其特征在于，所述客户端参数指示模型分析恢复、模型分析停止和模型分析退出。
5.根据权利要求1至4中任一项所述的联邦学习系统，其特征在于，所述客户端参数指示所述多个客户端处的本地优化。
6.根据权利要求1至5中任一项所述的联邦学习系统，其特征在于，所述模型策略还包括陈旧策略。
7.根据权利要求1至6中任一项所述的联邦学习系统，其特征在于，还包括策略引擎，所述策略引擎用于设置所述模型策略和所述客户端配置策略。
8.根据权利要求1至7中任一项所述的联邦学习系统，其特征在于，还包括参与者监控仓库，所述参与者监控仓库用于：
9.根据权利要求1至8中
10.根据权利要求1至9中任一项所述的联邦学习系统，其特征在于，所述分层聚合器用于使所述模型更新贡献从所述可扩展队列出列并聚合所述模型更新贡献。
11.根据权利要求1至10中任一项所述的联邦学习系统，其特征在于，所述策略引擎还用于使用超参数配置所述分层聚合器，以缩放聚合权重。
12.根据权利要求1至11中任一项所述的联邦学习系统，其特征在于，所述分层聚合器用于将监控日志发送到所述参与者监控仓库。
13.一种配置联邦学习系统的方法，其特征在于，所述方法包括：
14.根据权利要求13所述的方法，其特征在于，传输所述模型包括向所述多个客户端传输模型参数、所述模型的版本的模型序列标识符、系统签名或其组合。
15.根据权利要求13或14所述的方法，其特征在于，所述模型更新贡献包括与所述更新的模型参数相关联的所述模型的版本的模型序列标识符、由对应客户端使用的训练因子、与所述对应客户端相关联的客户端标识符、参与者签名或其组合。
16.根据权利要求13至15中任一项所述的方法，其特征在于，还包括：所述分层聚合器向参与者监控仓库发送指示参与者质量的监控日志。
17.根据权利要求13至16中任一项所述的方法，其特征在于，所述监控日志包括计数器、客户端标识符、包括模型序列标识符、客户端陈旧数据、客户端速度数据、客户端吞吐量数据或其组合。
18.根据权利要求13至17中任一项所述的方法，其特征在于，还包括：策略引擎将所述分层聚合器的聚合配置发送到配置仓库。
19.根据权利要求13至18中任一项所述的方法，其特征在于，所述聚合配置包括聚合超参数，所述聚合超参数包括窗口大小、折扣率或其组合。
20.根据权利要求13至19中任一项所述的方法，其特征在于，还包括：策略引擎将客户端配置策略发送到配置仓库。
21.根据权利要求13至20中任一项所述的方法，其特征在于，所述客户端配置策略包括影响所述多个客户端处的模型操作的参数，所述参数包括模型下载策略、模型贡献策略、恢复命令、停止命令、退出命令、系统签名或其组合。
22.一种联邦学习系统，其特征在于，包括：
23.根据权利要求22所述的联邦学习系统，其特征在于，所述系统还用于执行根据权利要求1至21所述的元素的任何组合。
...【技术特征摘要】
【国外来华专利技术】
1.一种联邦学习系统，其特征在于，包括：
2.根据权利要求1所述的联邦学习系统，其特征在于，所述配置仓库还用于存储客户端配置策略，所述客户端配置策略包括影响所述多个客户端处的模型操作的客户端参数。
3.根据权利要求1或2所述的联邦学习系统，其特征在于，所述客户端参数指示模型下载操作和所述模型更新贡献。
4.根据权利要求1至3中任一项所述的联邦学习系统，其特征在于，所述客户端参数指示模型分析恢复、模型分析停止和模型分析退出。
5.根据权利要求1至4中任一项所述的联邦学习系统，其特征在于，所述客户端参数指示所述多个客户端处的本地优化。
6.根据权利要求1至5中任一项所述的联邦学习系统，其特征在于，所述模型策略还包括陈旧策略。
7.根据权利要求1至6中任一项所述的联邦学习系统，其特征在于，还包括策略引擎，所述策略引擎用于设置所述模型策略和所述客户端配置策略。
8.根据权利要求1至7中任一项所述的联邦学习系统，其特征在于，还包括参与者监控仓库，所述参与者监控仓库用于：
9.根据权利要求1至8中任一项所述的联邦学习系统，其特征在于，所述可扩展队列根据哈希函数从所述多个客户端接收模型更新贡献。
10.根据权利要求1至9中任一项所述的联邦学习系统，其特征在于，所述分层聚合器用于使所述模型更新贡献从所述可扩展队列出列并聚合所述模型更新贡献。
11.根据权利要求1至10中任一项所述的联邦学习系统，其特征在于，所述策略引擎还用于使用超参数配置所述分层聚合器，以缩放聚合权重。
12.根据权利要求1至11中任一项所述的联邦学习系统，其特征在于，所述分层聚合器用于将监控日志发送到所述参与者监控仓库。
13.一种配置联邦学习...
【专利技术属性】
技术研发人员：马苏德·赛义德·莫塔扎维，颜宁，巾宏伟，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。