联邦学习方法及装置制造方法及图纸

本申请提供一种联邦学习方法及装置。该方法中，服务器接收并记录客户端在本地模型训练后上传的模型参数；并对已记录的各客户端的模型参数进行聚合，得到新的模型参数；将该新的模型参数下发给客户端，使客户端根据该新的模型参数继续训练本地模型。本申请不需要各客户端同时在线传参，各客户端可根据自身情况动态加入联邦学习，从而降低联邦学习的难度，提升联邦学习灵活性。联邦学习灵活性。联邦学习灵活性。

【技术实现步骤摘要】
联邦学习方法及装置


[0001]本申请涉及计算机
，尤其涉及一种联邦学习方法及装置。

技术介绍

[0002]联邦学习又名联邦机器学习、联合学习、联盟学习，是一个机器学习框架，在满足各参与方用户隐私保护(数据不出本地)、数据安全以及政府法规的情况下，通过多方数据联合训练(联合建模)，共享建模成果，有效解决数据孤岛问题。
[0003]现有联邦学习框架，比如，联邦智能使能器(英文：Federated AI Technology Enabler，缩写：FATE)，要求联邦学习过程中所有参与方必须同时一直在线。但是，实际应用中很难保证所有参与方同时一直在线，这无疑增加了联邦学习的难度。

技术实现思路

[0004]有鉴于此，本申请提出一种联邦学习方法及装置，用以降低联邦学习难度，提升联邦学习的灵活性。
[0005]为实现上述申请目的，本申请提供了如下技术方案：
[0006]第一方面，本申请提供一种联邦学习方法，应用于联邦系统包括的服务器，所述联邦系统还包括多个客户端，所述方法包括：
[0007]接收目标客户端发送的参数上传请求，所述参数上传请求包括所述目标客户端本地模型训练后提取的第一模型参数；
[0008]本地记录所述目标客户端的第一模型参数；
[0009]对已记录的各客户端的第一模型参数进行聚合，得到第二模型参数；
[0010]向所述目标客户端下发所述第二模型参数，以使所述目标客户端基于所述第二模型参数继续训练本地模型。
[0011]可选的，所述向所述目标客户端下发所述第二模型参数，包括：
[0012]接收所述目标客户端发送的参数更新请求；
[0013]基于接收到的参数更新请求向所述目标客户端下发所述第二模型参数。
[0014]可选的，所述服务器预先配置有用于接收参数上传请求的第一端口，以及用于接收参数更新请求的第二端口，所述接收目标客户端发送的参数上传请求，包括：
[0015]通过监听所述第一端口，接收所述目标客户端发送的参数上传请求；
[0016]所述接收所述目标客户端发送的参数更新请求，包括：
[0017]通过监听所述第二端口，接收所述目标客户端发送的参数更新请求。
[0018]可选的，所述对已记录的各客户端的第一模型参数进行聚合，得到第二模型参数，包括：
[0019]对已记录的各客户端的第一模型参数进行加权平均，得到所述第二模型参数。
[0020]可选的，所述方法还包括：
[0021]记录所述第一模型参数的接收时间；
[0022]如果当前时间与所述接收时间的差值大于预设差值阈值，删除所述第一模型参数。
[0023]第二方面，本申请提供一种联邦学习方法，应用于联邦系统包括的客户端，所述联邦系统还包括服务器，所述方法包括：
[0024]通过本地模型训练，提取训练后模型的第一模型参数；
[0025]向所述服务器发送参数上传请求，所述参数上传请求包括所述第一模型参数，以使所述服务器本地记录所述客户端的第一模型参数，并对已记录的各客户端的第一模型参数进行聚合，得到第二模型参数；
[0026]向所述服务器发送参数更新请求，以使所述服务器基于所述参数更新请求向本客户端下发第二模型参数；
[0027]基于所述第二模型参数继续训练本地模型。
[0028]可选的，所述向所述服务器发送参数更新请求，包括：
[0029]在发送所述参数上传请求之后，开始计时；
[0030]当计时时间达到预设时间阈值时，向所述服务器发送所述参数更新请求。
[0031]第三方面，本申请提供一种联邦学习装置，应用于联邦系统包括的服务器，所述联邦系统还包括多个客户端，所述装置包括：
[0032]接收单元，用于接收目标客户端发送的参数上传请求，所述参数上传请求包括所述目标客户端本地模型训练后提取的第一模型参数；
[0033]记录单元，用于本地记录所述目标客户端的第一模型参数；
[0034]聚合单元，用于对已记录的各客户端的第一模型参数进行聚合，得到第二模型参数；
[0035]下发单元，用于向所述目标客户端下发所述第二模型参数，以使所述目标客户端基于所述第二模型参数继续训练本地模型。
[0036]可选的，所述接收单元，还用于接收所述目标客户端发送的参数更新请求；
[0037]所述下发单元，具体用于基于接收到的参数更新请求向所述目标客户端下发所述第二模型参数。
[0038]可选的，所述服务器预先配置有用于接收参数上传请求的第一端口，以及用于接收参数更新请求的第二端口，
[0039]所述接收单元，具体用于通过监听所述第一端口，接收所述目标客户端发送的参数上传请求；通过监听所述第二端口，接收所述目标客户端发送的参数更新请求。
[0040]可选的，所述聚合单元，具体用于对已记录的各客户端的第一模型参数进行加权平均，得到所述第二模型参数。
[0041]可选的，所述装置还包括：
[0042]所述记录单元，还用于记录所述第一模型参数的接收时间；
[0043]删除单元，用于如果当前时间与所述接收时间的差值大于预设差值阈值，删除所述第一模型参数。
[0044]第四方面，本申请提供一种联邦学习装置，应用于联邦系统包括的客户端，所述联邦系统还包括服务器，所述装置包括：
[0045]提取单元，用于通过本地模型训练，提取训练后模型的第一模型参数；
[0046]发送单元，用于向所述服务器发送参数上传请求，所述参数上传请求包括所述第一模型参数，以使所述服务器本地记录本客户端的第一模型参数，并对已记录的各客户端的第一模型参数进行聚合，得到第二模型参数；
[0047]所述发送单元，还用于向所述服务器发送参数更新请求，以使所述服务器基于所述参数更新请求向本客户端下发第二模型参数；
[0048]训练单元，用于基于所述第二模型参数继续训练本地模型。
[0049]可选的，所述装置还包括：
[0050]计时单元，用于在发送所述参数上传请求之后，开始计时；
[0051]所述发送单元，具体用于当计时时间达到预设时间阈值时，向所述服务器发送所述参数更新请求。
[0052]由以上描述可以看出，本申请实施例中，由于服务器可存储已上传的客户端的模型参数，因此，即使有客户端下线或新的客户端加入，服务器仍可根据已存储的模型参数，为各客户端计算需要更新的模型参数，以使各客户端根据新的模型参数进行本地模型训练。可以看出，本申请无需所有客户端同时一直在线，各客户端可根据自身情况动态加入联邦学习，因此，相对于现有联邦学习方式，本申请实施例可有效降低联邦学习难度，提升联邦学习的灵活性。
附图说明
[0053]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习方法，其特征在于，应用于联邦系统包括的服务器，所述联邦系统还包括多个客户端，所述方法包括：接收目标客户端发送的参数上传请求，所述参数上传请求包括所述目标客户端本地模型训练后提取的第一模型参数；本地记录所述目标客户端的第一模型参数；对已记录的各客户端的第一模型参数进行聚合，得到第二模型参数；向所述目标客户端下发所述第二模型参数，以使所述目标客户端基于所述第二模型参数继续训练本地模型。2.如权利要求1所述的方法，其特征在于，所述向所述目标客户端下发所述第二模型参数，包括：接收所述目标客户端发送的参数更新请求；基于接收到的参数更新请求向所述目标客户端下发所述第二模型参数。3.如权利要求2所述的方法，其特征在于，所述服务器预先配置有用于接收参数上传请求的第一端口，以及用于接收参数更新请求的第二端口，所述接收目标客户端发送的参数上传请求，包括：通过监听所述第一端口，接收所述目标客户端发送的参数上传请求；所述接收所述目标客户端发送的参数更新请求，包括：通过监听所述第二端口，接收所述目标客户端发送的参数更新请求。4.如权利要求1所述的方法，其特征在于，所述对已记录的各客户端的第一模型参数进行聚合，得到第二模型参数，包括：对已记录的各客户端的第一模型参数进行加权平均，得到所述第二模型参数。5.如权利要求1所述的方法，其特征在于，所述方法还包括：记录所述第一模型参数的接收时间；如果当前时间与所述接收时间的差值大于预设差值阈值，删除所述第一模型参数。6.一种联邦学习方法，其特征在于，应用于联邦系统包括的客户端，所述联邦系统还包括服务器，所述方法包括：通过本地模型训练，提取训练后模型的第一模型参数；向所述服务器发送参数上传请求，所述参数上传请求包括所述第一模型参数，以使所述服务器本地记录所述客户端的第一模型参数，并对已记录的各...

【专利技术属性】
技术研发人员：王美娟，
申请(专利权)人：新华三技术有限公司，
类型：发明
国别省市：