基于BLS签名和梯度稀疏化的可验证联邦学习方法技术

本发明专利技术公开了基于BLS签名和梯度稀疏化的可验证联邦学习方法，涉及人工智能和信息安全交叉技术领域，方法包括：客户端采用基于梯度稀疏化的模型压缩算法对训练完成的本地模型进行压缩，然后采用同态加密方案对压缩后的本地模型参数进行加密。可信第三方机构采用基于BLS签名的协议对所有客户端上传给云服务器的模型参数进行完整性验证。验证通过的本地模型参数参与全局模型聚合，模型聚合完成后，使用类似的协议对云服务器聚合结果进行正确性验证。验证通过后，云服务器将更新后的全局模型发送给客户端；客户端对接收到的全局模型进行解密，并载入本地模型进行下一次迭代训练。并载入本地模型进行下一次迭代训练。并载入本地模型进行下一次迭代训练。

【技术实现步骤摘要】
基于BLS签名和梯度稀疏化的可验证联邦学习方法


[0001]本专利技术涉及信息安全和人工智能交叉
，具体涉及一种基于BLS签名和梯度稀疏化的可验证联邦学习聚合协议。

技术介绍

[0002]联邦学习(Federated Learning)作为一种新型的协作学习方法，它允许多个客户端协作开发深度学习模型，客户端将模型参数上传到云服务器，云服务器聚合上传的模型参数以更新全局模型，而无需访问客户端本地数据。
[0003]然而，在实际应用中，联邦学习显示出了一些安全问题。一方面，联邦学习系统中云服务器聚合结果的正确性无法保证。在非法利益的驱使下，恶意的云服务器可能会进行错误聚合，并向客户端返回错误的聚合结果。在这种情况下，全局模型性能将受到影响。别有用心的云服务器可能会故意向特定的客户端发送设计好的结果，以便分析该客户端数据的特征。另一方面，联邦系统可能会存在不可靠客户端。如果不可靠客户端上传的模型参数参与模型聚合，全局模型可能会中毒，梯度聚合协议可能会被破坏。

技术实现思路

[0004]本专利技术目的是提供一种基于BLS签名和梯度稀疏化的可验证联邦学习方法，旨在解决联邦学习系统中存在的云服务器恶意聚合以及不可靠客户端投毒的问题。
[0005]本专利技术的技术方案如下
[0006]基于BLS签名和梯度稀疏化的可验证联邦学习方法，应用于包括第三方可信机构、云服务器与K个客户端的联邦学习系统，其中K&gt;1,且K为整数，所述方法是在联邦学习训练的第i次迭代中，执行如下操作：<br/>[0007]第1、所述云服务器将全局模型发送给客户端，所述模型对应类型包括神经网络模型、卷积神经网络模型、LSTM神经网络模型、GAN神经网络模型或深度信念神经网络模型；
[0008]第2、第k个客户端接收到云服务器发送的全局模型Enc(w
glo
)后，对Enc(w
glo
)解密，得到全局模型参数w
glo
；
[0009]第3、第k个客户端将全局模型参数w
glo
加载到本地，并使用优化算法(包括：梯度下降法、动量梯度下降法、SGD算法、Adam算法、Adagrad算法或RMSProp等)基于本地数据集进行训练，得到本地模型参数w
a,k
；具体包括：
[0010]第3.1、第k个客户端从本地数据集中随机抽取批次大小为batch
k
的训练样本，其中batch
k
大于0并且小于等于该客户端所有数据样本的个数；
[0011]第3.2、第k个客户端进行本地模型训练，得到梯度参数
▽
w
a,k
，然后使用优化算法，计算本地模型的权重参数w
a,k
；
[0012]第4、第k个客户端使用基于梯度稀疏化的模型压缩算法对本地模型进行压缩得到Sparse(w
a,k
)；具体包括：
[0013]第4.1、第k个客户端从所述云服务器中下载稀疏化率ρ，其中0≤ρ&lt;1；
[0014]第4.2、第k个客户端根据稀疏化率ρ计算模型梯度阈值θ，其中θ大于模型梯度绝对值最小值，小于模型梯度绝对值最大值；
[0015]第4.3、第k个客户端选择梯度绝对值超过θ的模型参数得到Sparse(w
a,k
)和稀疏化模型参数的索引Idx
k
；
[0016]第5、第k个客户端使用同态加密算法对压缩后的模型参数进行加密得到Enc(Sparse(w
a,k
))，所述的同态加密算法具体包括：CKKS算法、Paillier算法或RSA算法；
[0017]第6、第k个客户端基于BLS签名的验证协议生成辅助验证信息，并将Enc(Sparse(w
a,k
))和辅助验证信息发送给云服务器；具体包括：
[0018]第6.1、第k个客户端将加密的稀疏化模型参数分成n个数据块，每块分成s个数据段得到
[0019]第6.2、第k个客户端计算标记和签名和签名计算公式为其中H是单向散列函数，是处理后的稀疏化模型参数；spσ
(k)
计算公式为其中是生成的标记，sk
k
是第三方可信机构分发给第k个客户端私钥,g是循环群G、G1的生成元，是处理后的稀疏化模型参数，λ
i
是第i个数据块的公开参数；
[0020]第6.3、第k个客户端将Enc(Sparse(w
a,k
))，标记和签名和签名发送给所述云服务器；
[0021]第7、所述的第三方可信机构联合云服务器对各所述客户端上传参数的完整性进行验证；具体包括：
[0022]第7.1、第三方可信机构使用随机数生成器生成c个整数组成的挑战信息序列{β1,β2,
…
,β
c
}，并将挑战信息序列发送给云服务器，其中1&lt;c&lt;n；
[0023]第7.2、所述云服务器根据挑战信息序列生成证明信息第7.2、所述云服务器根据挑战信息序列生成证明信息
[0024]第7.3、所述第三方可信机构进行完整性验证，计算是否成立，e是双线性配对映射，等式成立则通过完整性验证，不成立则未通过完整性验证，所述云服务器拒绝使用该客户端上传的模型进行聚合；
[0025]第8、云服务器对通过验证的本地模型进行聚合，将聚合结果返回各客户端；
[0026]第9、所述第三方可信机构联合各所述客户端对聚合结果正确性进行验证；具体包括：
[0027]第9.1、第k个客户端将加密的本地模型参数分成n个数据块，每块分成s个数据段得到其中n&gt;0,且n是一个整数，s&gt;0,且s是一个整数；
[0028]第9.2、第k个客户端计算标记和签名和签名和签名的计算公式为其中H是单向散列函数，是处理后的本地模型参数；的计算公式其中是生成的标记，sk
k
是第三方可信机构分发给第k个客户端私钥,g是循环群G、G1的生成元，是处理后的本地模型参数，λ
i
是第i个数据块的公开参数；
[0029]第9.3、第k个客户端将标记和签名和签名发送给所述云服务器；
[0030]第9.4、第三方可信机构使用随机数生成器生成c个整数组成的挑战信息序列{β
1,
β2,
…
,β
c
}，并将挑战信息发送给各所述客户端，其中1&lt;c&lt;n；
[0031]第9.5、各客户端根据挑战信息生成证明信息第9.5、各客户端根据挑战信息生成证明信息发送给所述第三方可信机构；其中c是挑战信息数量，g是循环群G、G1的生成元，是处理后的全局模型参数，λ
i
是第i个数据块的公开参数
[0032]第9.6、所述第三方可信机构计算如果等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于BLS签名和梯度稀疏化的可验证联邦学习方法，应用于包括第三方可信机构、云服务器与K个客户端的联邦学习系统，其中K&gt;1,且K为整数，其特征在于包括以下步骤：第1、云服务器将全局模型参数发送给K个客户端；第2、第k个客户端在本地进行模型训练，使用基于梯度稀疏化的模型压缩算法对本地模型参数进行压缩得到Sparse(w
a,k
),使用同态加密算法对稀疏化模型参数进行加密得到Enc(Sparse(w
a,k
))，根据基于BLS签名的验证协议生成辅助验证信息，并将Enc(Sparse(w
a,k
))和辅助验证信息发送给云服务器；第3、所述的第三方可信机构联合云服务器对各所述客户端上传参数的完整性进行验证；第4、云服务器对通过验证的本地模型进行聚合，将聚合结果返回各客户端；第5、所述第三方可信机构联合各所述客户端对聚合结果正确性进行验证；第6、聚合结果正确性验证通过后，各客户端对接收到的全局模型Enc(w
glo
)进行解密，并将全局模型w
glo
加载到本地，进行下一次训练。2.如权利要1所述的方法，其特征在于，第k个客户端在本地进行模型训练，使用基于梯度稀疏化的模型压缩算法对本地模型进行压缩得到Sparse(w
a,k
),，具体包括：第2.1、第k个客户端从本地数据集中随机抽取批次大小为batch
k
的训练样本；batch
k
大于0并且小于等于该客户端所有数据样本的个数；第2.2、第k个客户端进行本地模型训练，得到梯度参数
▽
w
,k
，然后使用优化算法，计算本地模型的权重参数w
k
；第2.3、第k个客户端从所述云服务器中下载稀疏化率ρ；0≤ρ&lt;1；第2.4、第k个客户端根据稀疏化率ρ计算模型梯度阈值θ；θ大于模型梯度绝对值最小值，小于模型梯度绝对值最大值；第2.5、第k个客户端选择模型梯度绝对值超过θ的模型参数得到Sparse(w
a,k
)和稀疏化模型参数索引Idx
k
。3.如权利要求2所述的方法，其特征在于，所述的优化算法具体包括：梯度下降算法、动量梯度下降算法、SGD算法、Adam算法、Adagrad算法或RMSProp。4.如权利要求1所述的方法，其特征在于，第k个客户端使用同态加密方法对稀疏化模型进行加密得到Enc(Sparse(w
a,k
))中，所述的同态加密算法具体包括：CKKS算法、Paillier算法或RSA算法。5.如权利要求...

【专利技术属性】
技术研发人员：何宁昕，高铁杠，张泽辉，
申请(专利权)人：南开大学，
类型：发明
国别省市：