一种联邦学习中基于秘密共享的模型聚合方法技术

本发明专利技术属于人工智能安全领域，提出了一种联邦学习中基于秘密共享的模型聚合方法，包括如下步骤：步骤1，中心服务器选取参与迭代训练的客户端，并下发一个初始全局模型参数；步骤2，在每轮迭代训练中，中心服务器为每个参与本轮训练的客户端分配一个非零参数，客户端将本轮训练出的本地模型参数构建成关于这些非零参数的秘密多项式；步骤3，每个客户端将秘密多项式值发送给其它客户端，客户端将所有与自身非零参数相关的多项式值相加，并将得到的和值传给中心服务器；步骤4，中心服务器构建方程组，求解得到本轮训练的聚合模型参数

【技术实现步骤摘要】
一种联邦学习中基于秘密共享的模型聚合方法


[0001]本专利技术属于人工智能安全领域
。

技术介绍

[0002]为了能够提高机器学习的准确性，需要用到大量的数据进行训练
。
然而，受到各种因素的制约，不同的数据来源方无法直接共享数据进行训练，从而导致“数据孤岛”问题
。
为了解决该问题，联邦学习的概念被提出
。
在联邦学习中，不同的机构作为参与训练的客户端，可以单独在自己的本地数据集上训练模型，然后将训练得到的本地模型参数发送给中心服务器
。
中心服务器聚合来自不同客户端的模型参数得到中心模型，并下发给客户端
。
在这个过程中，客户端无需共享数据而能共同完成训练，一定程度上解决了数据孤岛以及数据隐私问题
。
[0003]然而，客户端在上传本地模型参数时，如果不采取任何保密措施，极易导致客户端的本地模型被网络中的其他设备所获取
。
一些“不怀好意”的窃听者完全可以通过窃取的模型反推出用于训练的数据，从而威胁客户端的数据安全
。

技术实现思路

[0004]技术问题：在联邦学习中，参与学习的客户端需要将每轮迭代训练出的模型参数发送给中心服务器进行聚合
。
然而，在传递模型的过程中，极易造成模型参数被不法分子所获取，进一步根据模型反推出客户端的训练数据，威胁其数据安全
。
因此，在聚合客户端的本地模型时，需要对模型参数实施一定的保护措施，使得其他方无法窃取客户端的本地模型，但同时不影响中心服务器对客户端模型进行聚合
。
[0005]技术方案：为解决上述技术问题，本专利技术提供一种联邦学习中基于秘密共享的模型聚合方法，其特征在于该方法在联邦学习中聚合客户端的本地模型参数时，利用秘密共享技术，使得本地模型参数以加密的形式传输，除客户端自身以外的其他方
(
包括负责聚合模型的中心服务器
)
无从获知客户端的本地模型参数
。
[0006]具体的，包括如下步骤：
[0007]步骤1，在联邦学习开始时，中心服务器选取参与下一轮迭代训练的客户端，并向所有选中的客户端下发一个初始全局模型参数；客户端在全局模型参数的基础上进行本地训练，得到新一轮的本地模型参数；
[0008]步骤2，
[0009]在每轮迭代训练中，中心服务器为每个参与本轮训练的客户端分配一个非零参数，参数的形式与客户端训练的模型参数的形式相统一并且是公开的，客户端将本轮训练出的本地模型参数构建成关于这些非零参数的秘密多项式，具体构建方法为：
[0010]假设参与本轮训练的客户端有
N
个，分别记为
C1,C2…
,C
N
，客户端集合记为中心服务器分配给客户端
C
i
的非零参数记为
x
i
(i
＝
1,2,...,N)。
客户端
C
i
构建如下
N
个秘密多项式：
[0011][0012]其中，
D
i
为客户端
C
i
上数据集的大小，
D
为所有参与训练的客户端数据集大小的总和，
w
i
是客户端
C
i
本轮训练出的本地模型参数，
γ
i(k)
(k
＝
1,2,...,N
‑
1)
是客户端
C
i
本地生成的只有自己知道的随机数
。
[0013]步骤3，每个客户端将秘密多项式值发送给其它对应的客户端，每个客户端将所有与自身非零参数相关的多项式值相加，并将得到的和值传给中心服务器
。
[0014]客户端
C
i
将构建出的多项式的值分别发送给对应的客户端
C
j
，每个客户端
C
i
将接收到的所有客户端的多项式值相加：
[0015][0016]并将得到的和值
V
i
传给中心服务器
。
[0017]步骤4，中心服务器构建方程组，求解得到本轮训练的聚合模型参数，同时也是下一轮训练的全局模型参数
。
[0018]中心服务器将接收到的来自所有客户端得到的和值构建如下方程组：
[0019][0020]中心服务器求解方程组得到的值，将其作为本轮训练得到的聚合模型参数
。
[0021]重复步骤1至步骤4，直到达到整体的训练收敛目标
。
[0022]有益效果：本专利技术充分考虑在联邦学习过程中可能存在的客户端本地模型泄露问题，提出在客户端上传本地模型给中心服务器进行聚合时，采用秘密共享的方式对模型参数进行加密传输
。
所提方法能够在不影响中心服务器聚合模型的同时，保证客户端的本地模型不被除自身以外的其他任意方所获知，有效保障了客户端的本地数据安全
。
附图说明
[0023]图1是本专利技术提出的联邦学习中基于秘密共享的模型聚合方法的流程图
。
具体实施方式
[0024]为使本专利技术的目的
、
技术方案和优点更加清楚，下面将结合附图对本专利技术的实施方式作进一步地详细描述
。
[0025]一种联邦学习中基于秘密共享的模型聚合方法，其特征在于该方法在联邦学习中聚合客户端的本地模型参数时，利用秘密共享技术，使得本地模型参数以加密的形式传输，除客户端自身以外的其他方
(
包括负责聚合模型的中心服务器
)
无从获知客户端的本地模型参数
。
[0026]结合附图1及相关公式，对本专利技术方案设计作进一步的具体描述
。
[0027]在联邦学习开始时，中心服务器选取参与下一轮迭代训练的客户端，并向所有选中的客户端下发一个初始全局模型参数
。
客户端在全局模型参数的基础上进行本地训练，得到新一轮的本地模型参数
。
[0028]假设在联邦学习的第
t
轮训练时，共有
N
个客户端参与本轮训练，分别记为
C1,C2…
,C
N
，参与训练的客户端构成的集合记为中心服务器给每个参与的客户端分配一个非零参数，参数的形式与客户端训练的模型参数的形式相统一，并且每个客户端所持有的非零参数对其他客户端是公开的
。
[0029]假设中心服务器分配给客户端
C
i
的非零参数记为
x
i
(i
＝
1,2,...,N)。
客户端在训练出本地的模型参数
w
i
后，构建如下<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种联邦学习中基于秘密共享的模型聚合方法，其特征在于，包括如下步骤：步骤1，在联邦学习开始时，中心服务器选取参与下一轮迭代训练的客户端，并向所有选中的客户端下发一个初始全局模型参数；客户端在全局模型参数的基础上进行本地训练，得到新一轮的本地模型参数；步骤2，在每轮迭代训练中，中心服务器为每个参与本轮训练的客户端分配一个非零参数，参数的形式与客户端训练的模型参数的形式相统一并且是公开的，客户端将本轮训练出的本地模型参数构建成关于这些非零参数的秘密多项式；步骤3，每个客户端将秘密多项式值发送给其它对应的客户端，每个客户端将所有与自身非零参数相关的多项式值相加，并将得到的和值传给中心服务器；步骤4，中心服务器构建方程组，求解得到本轮训练的聚合模型参数，同时也是下一轮训练的全局模型参数；重复步骤1至步骤4，直到达到整体的训练收敛目标
。2.
根据权利要求1所述的联邦学习中基于秘密共享的模型聚合方法，其特征在于：步骤2中：在每轮迭代训练中，中心服务器为每个参与本轮训练的客户端分配一个非零参数，参数的形式与客户端训练的模型参数的形式相统一并且是公开的，客户端将本轮训练出的本地模型参数构建成关于这些非零参数的秘密多项式，具体构建方法为：假设参与本轮训练的客户端有
N
个，分别记为
C1,C2…
,C
N
，客户端集合记为中心服务器分配给客户端
C
i
的非零参数记为
x
i
(i
＝
1,2,...,N)
；客户端
C<...

【专利技术属性】
技术研发人员：朱亚萍，王洁，王俊元，
申请(专利权)人：同济大学，
类型：发明
国别省市：