【技术实现步骤摘要】
本说明书涉及计算机，尤其涉及一种大模型联邦学习方法、装置、存储介质及电子设备。
技术介绍
1、联邦学习是一种常用的分布式机器学习方法，其能够使各参与方在不泄露原始数据的情况下，通过安全的机制交互模型参数，从而达到协同训练的效果。这种方法能有效帮助多个机构在保护私有数据的情况下进行神经网络模型的协同训练。
2、随着人工智能技术的不断发展，基于人工智能构建的大模型在各领域中的应用越来越广泛，例如大语言模型(large language model，llm)等生成式模型。由于大模型的参数量级非常庞大，通常在十亿以上，导致在联邦学习中频繁的模型参数交换过程会十分冗长且复杂，产生大量的成本。
3、因此，如何更加简单高效地实现大模型的联邦学习是一个亟待解决的问题。
技术实现思路
1、本说明书提供一种大模型联邦学习方法、装置、存储介质及电子设备，以至少部分地解决现有技术存在的上述问题。
2、本说明书采用下述技术方案：
3、本说明书提供了一种大模型联邦学习方法，所述方法应用于服务端，包括：
4、针对每个参与联邦学习的客户端，接收该客户端在训练该客户端的目标大模型后发送的增量参数，其中，该客户端的模型参数由原始参数和增量参数构成，且所述增量参数的量级小于所述原始参数的量级，该客户端在训练所述目标大模型时，所述原始参数不变，所述增量参数改变；
5、采用各客户端的增量参数对该客户端的增量参数进行聚合，得到该客户端的聚合参数，其中，所
6、将所述聚合参数返回给该客户端，使该客户端根据所述聚合参数更新该客户端的增量参数，根据所述原始参数和更新后的增量参数重新确定模型参数，并采用重新确定的模型参数重新对所述目标大模型进行训练，直到所述目标大模型收敛。
7、可选地，采用各客户端增量参数对该客户端的增量参数进行聚合，得到该客户端的聚合参数，具体包括：
8、确定该客户端的增量参数与每个客户端的增量参数之间的聚合权重；
9、根据所述聚合权重，采用各客户端的增量参数对该客户端的增量参数进行聚合，得到该客户端的聚合参数。
10、可选地，确定该客户端的增量参数与每个客户端的增量参数之间的聚合权重，具体包括：
11、确定各客户端在训练目标大模型时采用的训练样本的总数量；
12、将参与联邦学习的客户端确定为聚合客户端，并将该客户端确定为目标客户端；
13、针对每个聚合客户端，确定该聚合客户端在训练目标大模型时采用的训练样本的数量在所述总数量中的占比，并确定该聚合客户端的增量参数与所述目标客户端的增量参数之间的相似度；
14、根据所述占比与所述相似度，确定该聚合客户端与所述目标客户端之间的聚合权重。
15、本说明书提供了一种大模型联邦学习方法，所述方法应用于客户端，包括：
16、获取目标大模型，冻结所述目标大模型的原始参数，并初始化所述目标大模型的增量参数，其中，所述目标大模型的模型参数由所述原始参数与所述增量参数构成，所述增量参数的量级小于所述原始参数的量级；
17、对所述目标大模型进行训练，调整所述目标大模型的增量参数；
18、将所述增量参数发送给服务端，得到所述服务端返回的聚合参数，其中，所述聚合参数是所述服务端根据参与联邦学习的各客户端发送的增量参数进行聚合得到的；
19、根据所述聚合参数更新所述目标大模型的增量参数，根据所述原始参数和更新后的增量参数重新确定所述目标大模型的模型参数，并采用重新确定的模型参数重新对所述目标大模型进行训练，直到所述目标大模型收敛。
20、可选地，调整所述目标大模型的增量参数，具体包括：
21、采用正则化规则调整所述目标大模型的增量参数。
22、本说明书提供了一种大模型联邦学习装置，包括：
23、接收模块，用于针对每个参与联邦学习的客户端，接收该客户端在训练该客户端的目标大模型后发送的增量参数，其中，该客户端的模型参数由原始参数和增量参数构成，且所述增量参数的量级小于所述原始参数的量级，该客户端在训练所述目标大模型时，所述原始参数不变，所述增量参数改变；
24、聚合模块，用于采用各客户端的增量参数对该客户端的增量参数进行聚合，得到该客户端的聚合参数，其中，所述各客户端的目标大模型的模型结构相同；
25、返回模块，用于将所述聚合参数返回给该客户端，使该客户端根据所述聚合参数更新该客户端的增量参数，根据所述原始参数和更新后的增量参数重新确定模型参数，并采用重新确定的模型参数重新对所述目标大模型进行训练，直到所述目标大模型收敛。
26、可选地，所述聚合模块，具体用于确定该客户端的增量参数与每个客户端的增量参数之间的聚合权重；根据所述聚合权重，采用各客户端的增量参数对该客户端的增量参数进行聚合，得到该客户端的聚合参数。
27、可选地，所述聚合模块，具体用于确定各客户端在训练目标大模型时采用的训练样本的总数量；将参与联邦学习的客户端确定为聚合客户端，并将该客户端确定为目标客户端；针对每个聚合客户端，确定该聚合客户端在训练目标大模型时采用的训练样本的数量在所述总数量中的占比，并确定该聚合客户端的增量参数与所述目标客户端的增量参数之间的相似度；根据所述占比与所述相似度，确定该聚合客户端与所述目标客户端之间的聚合权重。
28、本说明书提供了一种大模型联邦学习装置，包括：
29、获取模块，用于获取目标大模型，冻结所述目标大模型的原始参数，并初始化所述目标大模型的增量参数，其中，所述目标大模型的模型参数由所述原始参数与所述增量参数构成，所述增量参数的量级小于所述原始参数的量级；
30、训练模块，用于对所述目标大模型进行训练，调整所述目标大模型的增量参数；
31、发送模块，用于将所述增量参数发送给服务端，得到所述服务端返回的聚合参数，其中，所述聚合参数是所述服务端根据参与联邦学习的各客户端发送的增量参数进行聚合得到的；
32、更新模块，用于根据所述聚合参数更新所述目标大模型的增量参数，根据所述原始参数和更新后的增量参数重新确定所述目标大模型的模型参数，并采用重新确定的模型参数重新对所述目标大模型进行训练，直到所述目标大模型收敛。
33、可选地，所述训练模块，具体用于采用正则化规则调整所述目标大模型的增量参数。
34、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述大模型联邦学习方法。
35、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述大模型联邦学习方法。
36、本说明书采用的上述至少一个技术方案能够达到以下有益效果：
3本文档来自技高网...
【技术保护点】
1.一种大模型联邦学习方法，所述方法应用于服务端，所述方法包括：
2.如权利要求1所述的方法，采用各客户端增量参数对该客户端的增量参数进行聚合，得到该客户端的聚合参数，具体包括：
3.如权利要求2所述的方法，确定该客户端的增量参数与每个客户端的增量参数之间的聚合权重，具体包括：
4.一种大模型联邦学习方法，所述方法应用于客户端，所述方法包括：
5.如权利要求4所述的方法，调整所述目标大模型的增量参数，具体包括：
6.一种大模型联邦学习装置，包括：
7.如权利要求6所示的装置，所述聚合模块，具体用于确定该客户端的增量参数与每个客户端的增量参数之间的聚合权重；根据所述聚合权重，采用各客户端的增量参数对该客户端的增量参数进行聚合，得到该客户端的聚合参数。
8.如权利要求7所示的装置，所述聚合模块，具体用于确定各客户端在训练目标大模型时采用的训练样本的总数量；将参与联邦学习的客户端确定为聚合客户端，并将该客户端确定为目标客户端；针对每个聚合客户端，确定该聚合客户端在训练目标大模型时采用的训练样本的数量在所
9.一种大模型联邦学习装置，包括：
10.如权利要求9所示的装置，所述训练模块，具体用于采用正则化规则调整所述目标大模型的增量参数。
11.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～5任一项所述的方法。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1～5任一项所述的方法。
...【技术特征摘要】
1.一种大模型联邦学习方法，所述方法应用于服务端，所述方法包括：
2.如权利要求1所述的方法，采用各客户端增量参数对该客户端的增量参数进行聚合，得到该客户端的聚合参数，具体包括：
3.如权利要求2所述的方法，确定该客户端的增量参数与每个客户端的增量参数之间的聚合权重，具体包括：
4.一种大模型联邦学习方法，所述方法应用于客户端，所述方法包括：
5.如权利要求4所述的方法，调整所述目标大模型的增量参数，具体包括：
6.一种大模型联邦学习装置，包括：
7.如权利要求6所示的装置，所述聚合模块，具体用于确定该客户端的增量参数与每个客户端的增量参数之间的聚合权重；根据所述聚合权重，采用各客户端的增量参数对该客户端的增量参数进行聚合，得到该客户端的聚合参数。
8.如权利要求7所示的装置，所述聚合模块，具体用于确定各客户端在训练...
【专利技术属性】
技术研发人员：吴若凡，刘腾飞，张天翼，王维强，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。