一种模型安全聚合方法及装置制造方法及图纸

本申请涉及网络安全技术领域，公开了一种模型安全聚合方法及装置，能够降低模型聚合时的通信开销

【技术实现步骤摘要】
一种模型安全聚合方法及装置


[0001]本申请实施例涉及网络安全
，尤其涉及一种模型安全聚合方法及装置
。

技术介绍

[0002]联邦学习
(federated learning
，
FL)
系统是面向多服务节点的模型训练系统，各个服务节点在参与训练时，训练数据保留在本地，不会被发送给其他服务节点或中心节点
。
中心节点通过对服务节点发送的子模型或子模型的更新数据进行整合，最终完成聚合模型的训练
。
服务节点在进行本地子模型训练时，由于服务节点间计算能力的差异，各个服务节点完成计算的时间不同
。
联邦学习虽然能够保证各服务节点的原始训练数据不上传，但半诚实或恶意中心节点可以从服务节点发送的子模型或子模型的更新数据中反推出原始训练数据相关信息，因此没有解决隐私保护问题
。
[0003]目前，为了保护服务节点的隐私，在基于联邦学习进行模型聚合时，一种方法是利用秘密共享技术在服务节点上报的子模型或子模型的更新数据中增加扰动，也即增加噪声，避免中心节点从子模型或子模型的更新数据中反推服务节点的原始训练数据，来保护服务节点的隐私，实现模型的安全聚合
。
然而，目前利用秘密共享技术增加扰动实现模型安全聚合的方式，每个服务节点对于每个扰动均需要向系统中的
N
个服务节点共享该扰动所对应的
N
个子秘密，并在中心节点需要对该扰动进行消除时，也需要中心节点从
N
个服务节点中的至少
T
个服务节点中获取相应的子秘密，通信开销较大
。

技术实现思路

[0004]本申请实施例提供一种模型安全聚合方法及装置，能够降低模型聚合时的通信开销
。
[0005]第一方面，本申请实施例提供一种模型安全聚合方法，该方法包括：中心节点接收来自
M
个在线服务节点的
M
个加扰模型，其中
M
个在线服务节点中的任一个在线服务节点的加扰模型由该在线服务节点对应的第一扰动项和第二扰动项对该服务节点的子模型加扰确定；中心节点向
M
个在线服务节点中的至少
T
个在线服务节点发送离线服务节点信息，离线服务节点信息包括中心节点对应的服务节点集群中
N
‑
M
个离线服务节点的信息，其中服务节点集群中包括
N
个服务节点，
N
大于或等于
M
，
M
大于或等于
T
，
T
大于或等于
1、
且小于或等于
N
；中心节点接收来自
T
个在线服务节点的解扰秘密，
T
个在线服务节点中任一个在线服务节点的解扰秘密根据该在线服务节点对应
M
个在线服务节点的
M
个第一共享密钥和对应
N
‑
M
个离线服务节点的
N
‑
M
个第二共享密钥确定；中心节点根据
M
个加扰模型和
M
个加扰模型的扰动向量，确定聚合模型，扰动向量根据来自
T
个在线服务节点的解扰秘密和
N
个服务节点中每个服务节点的至少
N
‑
T+1
个第一子秘密和至少
N
‑
T+1
个第二子秘密确定，其中
N
个服务节点中任一个服务节点的至少
N
‑
T+1
个第一子秘密根据该服务节点的第一扰动项
、
该服务节点对应
N
个服务节点的
N
个第一共享密钥和至少
N
‑
T+1
个设定常数确定，至少
N
‑
T+1
个第二子秘密根据该服务节点的第二扰动项
、
该服务节点对应
N
个服务节点的
N
个第二共享密钥和
至少
N
‑
T+1
个设定常数确定
。
[0006]上述模型安全聚合方法，可以由中心节点执行，还可以由能实现全部或部分中心节点功能的逻辑模块或软件实现，其中，中心节点可以为个人电脑
、
笔记本电脑
、
服务器
、
服务器集群等
。
[0007]采用上述方法，中心节点接收子秘密的通信开销可以降为
2N(N
‑
T+1)
，对应每个服务节点发送
2(N
‑
T+1)
个子秘密，接收解扰秘密的开销可以降为
T
，对应
T
个在线服务节点发送的解扰秘密
。
相对于每个服务节点对于每个扰动均需要向
N
个服务节点共享该扰动所对应的
N
个子秘密，并在中心节点需要对该扰动进行消除时，也需要中心节点从
N
个服务节点中的至少
T
个服务节点中获取相应的子秘密
(
也即解扰秘密
)
方案，在服务节点根据第一扰动项和第二扰动项对子模型进行加扰的情况下，中心节点接收子秘密的通信开销为
2N2，接收解扰秘密的开销为
NT
，所需信令或消息明显减少，节省了通信开销
。
[0008]在一种可能的设计中，该方法还包括：中心节点接收来自
N
个服务节点中任一个服务节点的至少
N
‑
T+1
个第一子秘密和至少
N
‑
T+1
个第二子秘密
。
[0009]在一种可能的设计中，
M
个在线服务节点中任一个在线服务节点的加扰模型根据该在线服务节点的子模型与加扰随机数的和确定，加扰随机数由对该在线服务节点的第一扰动项和第二扰动项的和，采用设定随机数生成算法进行随机数生成运算得到
。
[0010]可选的，设定随机数生成算法满足对第一扰动项进行随机数生成运算得到的第一子加扰随机数，与对第二扰动项进行随机数生成运算得到的第二子加扰随机数的和，等于对第一扰动项和第二扰动项的和进行随机数生成运算得到的加扰随机数
。
[0011]上述设计中，采用允许对明文
A
加密后的结果与对明文
B
加密后的结果的和，与对明文
A
和明文
B
的和加密后得到的结果一样的种子同态的随机数生成算法，对服务节点的子模型进行加扰，不仅可以支持对对应第一扰动项和第二扰动项的加扰随机数进行消除，还可以支持分别对第一扰动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型安全聚合方法，其特征在于，包括：中心节点接收来自
M
个在线服务节点的
M
个加扰模型，其中所述
M
个在线服务节点中的任一个在线服务节点的加扰模型由所述任一个在线服务节点对应的第一扰动项和第二扰动项对所述任一个服务节点的子模型加扰确定；所述中心节点向所述
M
个在线服务节点中的至少
T
个在线服务节点发送离线服务节点信息，所述离线服务节点信息包括所述中心节点对应的服务节点集群中
N
‑
M
个离线服务节点的信息，其中所述服务节点集群中包括
N
个服务节点，
N
大于或等于
M
，
M
大于或等于
T
，
T
大于或等于
1、
且小于或等于
N
；所述中心节点接收来自所述
T
个在线服务节点的解扰秘密，所述
T
个在线服务节点中任一个在线服务节点的解扰秘密根据所述任一个在线服务节点对应所述
M
个在线服务节点的
M
个第一共享密钥和对应所述
N
‑
M
个离线服务节点的
N
‑
M
个第二共享密钥确定；所述中心节点根据所述
M
个加扰模型和所述
M
个加扰模型的扰动向量，确定聚合模型，所述扰动向量根据来自所述
T
个在线服务节点的解扰秘密和所述
N
个服务节点中每个服务节点的至少
N
‑
T+1
个第一子秘密和至少
N
‑
T+1
个第二子秘密确定，其中所述
N
个服务节点中任一个服务节点的至少
N
‑
T+1
个第一子秘密根据所述任一个服务节点的第一扰动项
、
所述任一个服务节点对应所述
N
个服务节点的
N
个第一共享密钥和至少
N
‑
T+1
个设定常数确定，所述至少
N
‑
T+1
个第二子秘密根据所述任一个服务节点的第二扰动项
、
所述任一个服务节点对应所述
N
个服务节点的
N
个第二共享密钥和所述至少
N
‑
T+1
个设定常数确定
。2.
如权利要求1所述的方法，其特征在于，所述方法还包括：所述中心节点接收来自所述
N
个服务节点中任一个服务节点的所述至少
N
‑
T+1
个第一子秘密和所述至少
N
‑
T+1
个第二子秘密
。3.
如权利要求1或2所述的方法，其特征在于，所述
M
个在线服务节点中任一个在线服务节点的加扰模型根据所述任一个在线服务节点的子模型与加扰随机数的和确定，所述加扰随机数由对所述任一个在线服务节点的第一扰动项和第二扰动项的和，采用设定随机数生成算法进行随机数生成运算得到
。4.
如权利要求3所述的方法，其特征在于，所述设定随机数生成算法满足对所述第一扰动项进行随机数生成运算得到的第一子加扰随机数，与对所述第二扰动项进行随机数生成运算得到的第二子加扰随机数的和，等于对所述第一扰动项和所述第二扰动项的和进行随机数生成运算得到的所述加扰随机数
。5.
如权利要求1‑4中任一项所述的方法，其特征在于，所述
N
个服务节点中任一个服务节点的所述至少
N
‑
T+1
个第一子秘密为
i
表示所述任一个服务节点的编号，
i
＝
1、2、...、N
，
W
i
表示所述任一个服务节点的第一扰动项
、
表示所述任一个服务节点对应所述
N
个服务节点的
N
个第一共享密钥，其中
x
取值为所述至少
N
‑
T+1
个设定常数中的任一设定常数，
g
i
(x)
表示对应
x
所取设定常数的第一子秘密；所述
N
个服务节点中任一个服务节点的所述至少
N
‑
T+1
个第二子秘密为个第二子秘密为
i
表示所述任一个服务节点的编号，
i
＝
1、2、...、N
，
B
i
表示所述任一个服务节点的第二扰动项
、
表示所述任一个服务节点对应所述
N
个服务节点
的
N
个第二共享密钥，其中
x
取值为所述至少
N
‑
T+1
个设定常数中的任一设定常数，表示对应
x
所取设定常数的第二子秘密
。6.
如权利要求1‑5中任一项所述的方法，其特征在于，所述
N
个服务节点中任一个服务节点对应所述
N
个服务节点的
N
个第一共享密钥，根据所述任一个服务节点对应所述
N
个服务节点的
N
个共享密钥以及第一时间参数确定；所述
N
个服务节点中任一个服务节点对应所述
N
个服务节点的
N
个第二共享密钥，根据所述任一个服务节点对应所述
N
个服务节点的
N
个共享密钥以及第二时间参数确定
。7.
如权利要求1‑6中任一项所述的方法，其特征在于，所述
N
个服务节点中任一个服务节点的第一扰动项
W
i
＝
∑
i
＜
j
s
ij
‑
∑
i
＞
j
s
ji
，其中
i
表示所述任一个服务节点的编号，
j
＝
1、2、...、N
，
s
ij
或
s
ji
表示编号为
i
的服务节点和编号为
j
的服务节点的共享密钥
。8.
一种模型安全聚合方法，其特征在于，包括：在线服务节点向中心节点发送加扰模型，所述加扰模型由所述在线服务节点对应的第一扰动项和第二扰动项对所述在线服务节点的子模型加扰确定；所述在线服务节点接收来自所述中心节点的离线服务节点信息，所述离线节点信息包括所述中心节点对应的服务节点集群中
N
‑
M
个离线服务节点的信息，其中所述服务节点集群中包括
N
个服务节点，所述
N
个服务节点包括所述在线服务节点，
N
大于或等于
M
；所述在线服务节点向所述中心节点发送解扰秘密，所述解扰秘密根据所述在线服务节点对应所述服务节点集群中
M
个在线服务节点的
M
个第一共享密钥和对应所述
N
‑
M
个离线服务节点的
N
‑
M
个第二共享密钥确定
。9.
如权利要求8所述的方法，其特征在于，所述方法还包括：所述在线服务节点向所述中心节点发送至少
N
‑
T+1
个第一子秘密和至少
N
‑
T+1
个第二子秘密，
T
大于或等于
1、
且小于或等于
N
；其中，所述至少
N
‑
T+1
个第一子秘密根据所述第一扰动项
、
所述在线服务节点对应所述
N
个服务节点的
N
个第一共享密钥和至少
N
‑
T+1
个设定常数确定；所述至少
N
‑
T+1
个第二子秘密根据所述第二扰动项
、
所述在线服务节点对应所述
N
个服务节点的
N
个第二共享密钥和所述至少
N
‑
T+1
个设定常数确定
。10.
如权利要求8或9所述的方法，其特征在于，所述加扰模型根据所述子模型与加扰随机数的和确定，所述加扰随机数由对所述第一扰动项和所述第二扰动项的和，采用设定随机数生成算法进行随机数生成运算得到
。11.
如权利要求
10
所述的方法，其特征在于，所述设定随机数生成算法满足对所述第一扰动项进行随机数生成运算得到的第一子加扰随机数，与对所述第二扰动项进行随机数生成运算得到的第二子加扰随机数的和，等于对所述第一扰动项和所述第二扰动项的和进行随机数生成运算得到的所述加扰随机数
。12.
如权利要求9所述的方法，其特征在于，所述至少
N
‑
T+1
个第一子秘密为
i
表示所述在线服务节点的编号，
i
＝
1、2、...、N
，
W
i
表示所述第一扰动项
、
表示所述在线服务节点对应所述
N
个服务节点的
N
个第一共享密钥，其中
x
取值为所述至少
N
‑
T+1
个设定常数中的任一设定常数，
g
i
(x)
表示对应
x
所取设定常数的第一子秘密；
所述至少
N
‑
T+1
个第二子秘密为
i
表示所述在线服务节点的编号，
i
＝
1、2、...、N
，
B
i
表示所述第二扰动项
、
表示所述在线服务节点对应所述
N
个服务节点的
N
个第二共享密钥，其中
x
取值为所述至少
N
‑
T+1
个设定常数中的任一设定常数，表示对应
x
所取设定常数的第二子秘密
。13.
如权利要求8‑
12
中任一项所述的方法，其特征在于，所述在线服务节点对应所述
N
个服务节点的
N
个第一共享密钥，根据所述在线服务节点对应所述
N
个服务节点的
N
个共享密钥以及第一时间参数确定；所述在线服务节点对应所述
N
个服务节点的
N
个第二共享密钥，根据所述在线服务节点对应所述
N
个服务节点的
N
个共享密钥以及第二时间参数确定
。14.
如权利要求8‑
13
中任一项所述的方法，其特征在于，所述第一扰动项
W
i
＝
∑
i
＜
j
s
ij
‑
∑
i
＞
j
s
ji
，其中
i
表示所述在线服务节点的编号，
J
＝
1、2、...、N
，
s
ij
或
s
ji
表示编号为
i
的在线服务节点和编号为
j
的服务节点的共享密钥
。15.
一种模型安全聚合装置，其特征在于，应用于中心节点，包括：输入输出单元和处理单元；所述输入输出单元，用于接收来自
M
个在线服务节点的
M
个加扰模型，其中所述
M
个在线服务节点中的任一个在线服务节点的加扰模型由所述任一个在线服务节点对应的第一扰动项和第二扰动项对所述任一个服务节点的子模型加扰确定；所述输入输出单元，还用于向所述
M
个在线服务节点中的至少
T
个在线服务节点发送离线服务节点信息，所述离线服务节点信息包括所述中心节点对应的服务节点集群中
N
‑
M
个离线服务节点的信息，其中所述服务节点集群中包括
N
个服务节点，
N
大于或等于
M
，
M
大于或等于
T
，
T
大于或等于

【专利技术属性】
技术研发人员：汪洋，严学强，赵明宇，武绍芸，邢玮俊，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：