隐私保护联邦学习方法技术

本发明专利技术提供一种隐私保护联邦学习方法

【技术实现步骤摘要】
隐私保护联邦学习方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机人工智能及数据安全
，尤其涉及一种隐私保护联邦学习方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]联邦学习
(FL)
的其核心理念是让不同的参与方将数据保持在本地，通过交换模型参数信息
(
模型权重或者梯度
)
的方式协同训练一个全局模型
。
这种避免直接交易数据的方式，提供了一定的隐私保护
。
其特殊的分布式训练方式既在一定程度上满足了数据的隐私性，又保证了数据的可用性，迅速得到了发展和应用
。
[0003]虽然联邦学习避免了对用户数据的直接访问，但相关文献指出联邦学习仍然面临着隐私和安全威胁，最典型的是针对用户模型参数对用户数据进行反向推理的推理攻击，以及可以操控参与方上传恶意模型参数的拜占庭攻击
。
[0004](1)
推理攻击：攻击的敌对方是不诚实的联邦学习服务提供商，在接收到用户上传的参数之后，相关研究指出联邦学习提供商可以根据用户上传的模型参数信息，反推出用户的隐私数据，这种攻击方式的存在意味着经典联邦学习直接上传参数的方式，不能完全保证用户的数据隐私，需要引入进一步的隐私增强策略来保证用户隐私
。
[0005](2)
拜占庭攻击：攻击的敌对方是可以操纵参与方的敌手，在用户进行本地训练以及参数上传的阶段，敌手可以通过刻意构造所上传的参数，达到扰动或者控制全局模型收敛方向，或者侵犯其它参与方数据隐私的目的
。
值得注意的是，相关文献指出尽管只有一个参与方被敌手所控制，也能破坏整个联邦学习全局模型的收敛方向
。
[0006]目前的方案存在如下的局限性：
1)
没有兼顾模型参数的隐私性和对拜占庭节点的鲁棒性
。
已有的隐私保护联邦学习方案没有考虑潜在的拜占庭节点威胁，在拜占庭攻击面前十分脆弱，一个拜占庭节点的存在就能破坏整个学习过程；已有的拜占庭鲁棒联邦学习方案则没有兼顾到其中的隐私威胁，在半诚实的服务器面前，有直接泄露用户原始数据的风险，而数据一旦泄露将造成难以挽回的损失
。2)
兼顾隐私和拜占庭鲁棒的方案在权衡隐私
、
鲁棒以及高效时，存在一定缺陷
。

技术实现思路

[0007]本专利技术实施例的主要目的在于提出一种隐私保护联邦学习方法，用于联邦学习系统，所述联邦学习系统包括计算服务器
、
服务提供商
、
联邦学习参与方及密钥助手，其包括：
[0008]根据隐私保护联邦学习请求，通过所述密钥助手生成密钥集，所述密钥集包括服务端侧密钥及用户侧密钥，所述服务端侧密钥用于对所述计算服务器与所述服务提供商之间的交互进行加密及解密，所述用户侧密钥用于对所述服务提供商与所述联邦学习参与方之间的交互进行加密和解密；
[0009]获取全局模型参数，根据所述全局模型参数及所述用户侧密钥调用本地模型及本地数据对全局模型执行学习，得到第一模型参数，对所述第一模型采用所述服务端侧密钥
进行加密并发送至服务提供商；
[0010]通过所述服务提供商根据所述第一模型参数与基准模型参数计算欧式距离，根据所述欧式距离执行聚合，得到第二模型参数，所述基准模型参数用于表征上一轮次联邦学习的全局模型参数；
[0011]将所述第二模型参数采用所述用户侧密钥进行加密，将所述第二模型参数发送至所述联邦学习参与方，执行下一轮次的学习
。
[0012]根据所述的隐私保护联邦学习方法，其中所述根据隐私保护联邦学习请求，通过所述密钥助手生成密钥集，包括：
[0013]通过所述计算服务器和所述服务提供商协同调用第一
MHE
安全协议生成所述服务端侧密钥，所述第一
MHE
安全协议包括
SecKeyGen、DKeyGen、DRelinKeyGen
及
DRotKeyGen
；
[0014]通过所述服务提供商及所述密钥助手协同调用第二
MHE
安全协议生成所述用户侧密钥，所述第二
MHE
安全协议包括
SecKeyGen
及
DKeyGen。
[0015]根据所述的隐私保护联邦学习方法，其中服务端侧密钥包括
[0016][0017]其中
s
表示所述服务端侧密钥，
SP
表示服务提供商，
CS
表示计算服务器，其中私钥由所述服务提供商持有，私钥由所述计算服务器持有，密钥
rtk
s
、
密钥及密钥为公开，密钥
pk
s
用于明文的加密，密钥
rlk
s
用于密文乘法后的重线性化，密钥
rtk
s
用于计算内部元素之和时的元素移动
。
[0018]根据所述的隐私保护联邦学习方法，其中用户侧密钥包括
[0019][0020]其中
u
为所述用户侧密钥，
SP
为所述服务提供商，
U
为所述密钥助手，私钥由所述服务提供商持有，私钥由密钥助手持有；
[0021]通过所述密钥助手接收私钥并将私钥分发至联邦学习参与方
。
[0022]根据所述的隐私保护联邦学习方法，其中获取全局模型参数，根据所述全局模型参数及所述用户侧密钥调用本地模型及本地数据对全局模型执行学习，得到第一模型参数，包括：
[0023]通过所述联邦学习参与方将所述本地数据的样本特征输入值所述本地模型，得到本地输出；
[0024]将本地输出与标签进行计算，得到交叉熵损失函数，根据所述交叉熵损失函数采用反向传播算法确定所述联邦学习参与方在轮次中更新的梯度，使用动量优化的随机梯度下降算法确定用于对所述本地模型进行更新的所述第一模型参数
。
[0025]根据所述的隐私保护联邦学习方法，其中通过所述服务提供商根据所述第一模型参数与基准模型参数计算欧式距离，根据所述欧式距离执行聚合，得到第二模型参数，包
括：
[0026]对每个联邦学习参与方执行所述第一模型参数到基准模型参数的计算，计算方式为
[0027][0028]其中为本地模型参数，其中
i
为联邦学习参与方的标号，
d
i
为欧式距离平方，
t
为联邦学习的轮次，
N
为联邦学习参与方的数量，表示上一轮次的联邦学习的全局模型参数；
[0029]根据所有的欧式距离平方，确定距离向量
{d1,d2,
…
,d
n
}
，并计算所述距离向量的中值
...

【技术保护点】

【技术特征摘要】
1.
一种隐私保护联邦学习方法，用于联邦学习系统，所述联邦学习系统包括计算服务器
、
服务提供商
、
联邦学习参与方及密钥助手，其特征在于：根据隐私保护联邦学习请求，通过所述密钥助手生成密钥集，所述密钥集包括服务端侧密钥及用户侧密钥，所述服务端侧密钥用于对所述计算服务器与所述服务提供商之间的交互进行加密及解密，所述用户侧密钥用于对所述服务提供商与所述联邦学习参与方之间的交互进行加密和解密；获取全局模型参数，根据所述全局模型参数及所述用户侧密钥调用本地模型及本地数据对全局模型执行学习，得到第一模型参数，对所述第一模型参数采用所述服务端侧密钥进行加密并发送至服务提供商；通过所述服务提供商根据所述第一模型参数与基准模型参数计算欧式距离，根据所述欧式距离执行聚合，得到第二模型参数，所述基准模型参数用于表征上一轮次联邦学习的全局模型参数；将所述第二模型参数采用所述用户侧密钥进行加密，将所述第二模型参数发送至所述联邦学习参与方，执行下一轮次的学习
。2.
根据权利要求1所述的隐私保护联邦学习方法，其特征在于，所述根据隐私保护联邦学习请求，通过所述密钥助手生成密钥集，包括：通过所述计算服务器和所述服务提供商协同调用第一
MHE
安全协议生成所述服务端侧密钥，所述第一
MHE
安全协议包括
SecKeyGen、DKeyGen、DRelinKeyGen
及
DRotKeyGen
；通过所述服务提供商及所述密钥助手协同调用第二
MHE
安全协议生成所述用户侧密钥，所述第二
MHE
安全协议包括
SecKeyGen
及
DKeyGen。3.
根据权利要求2所述的隐私保护联邦学习方法，其特征在于，所述服务端侧密钥包括其中
s
表示所述服务端侧密钥，
SP
表示服务提供商，
CS
表示计算服务器，其中私钥由所述服务提供商持有，私钥由所述计算服务器持有，密钥
rtk
s
、
密钥及密钥为公开，密钥
pk
s
用于明文的加密，密钥
rlk
s
用于密文乘法后的重线性化，密钥
rtk
s
用于计算内部元素之和时的元素移动
。4.
根据权利要求2所述的隐私保护联邦学习方法，其特征在于，所述用户侧密钥包括其中
u
为所述用户侧密钥，
SP
为所述服务提供商，
U
为所述密钥助手，私钥由所述服务提供商持有，私钥由密钥助手持有；通过所述密钥助手接收私钥并将私钥分发至联邦学习参与方
。5.
根据权利要求1所述的隐私保护联邦学习方法，其特征在于，所述获取全局模型参数，根据所述全局模型参数及所述用户侧密钥调用本地模型及本地数据对全局模型执行学
习，得到第一模型参数，包括：通过所述联邦学习参与方将所述本地数据的样本特征输入值所述本地模型，得到本地输出；将本地输出与标签进行计算，得到交叉熵损失函数，根据所述交叉熵损失函数采用反向传播算法确定所述联邦学习参与方在轮次中更新的梯度，使用动量优化的随机梯度下降算法确定用于对所述本地模型进行更新的所述第一模型参数
。6.
根据权利要求1所述的隐私保护联邦学习方法，其特征在于，所述通过所述服务提供商根据所述第一模型参数与基准模型参数计算欧式距离，根据所述欧式距离执...

【专利技术属性】
技术研发人员：付绍静，罗淞巍，柳林，王勇军，解培岱，刘强，赵文涛，夏戈明，谢涛，马行空，施江勇，许方亮，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：