一种基于同态加密的线性回归纵向联邦学习方法技术

本发明专利技术公开了一种基于同态加密的线性回归纵向联邦学习方法，包括步骤：a)建模训练；b)两种预测。建模训练：采用minist数据集，步骤如下：owner即数据应用方，利用Paillier生成公私钥对，consumer即数据持有，计算特征值与特征矩阵的乘积发送给owner，owner计算预测标签通过与实际Y对比得到然后计算梯度，利用梯度来更新特征值的权重，直到模型达收敛范围，训练结束。预测方法1：无第三方，consumer计算特征值与特征矩阵的乘积发给owner，计算预测值返回给consumer。预测方法2：基于差分隐私，Carol整合双方特征参数后发给consumer，consumer计算预测标签将结果发给Carol。本发明专利技术创新点：训练阶段，梯度始终加密，无第三方，未暴露过多特征参数；预测阶段可防止合谋攻击。测阶段可防止合谋攻击。测阶段可防止合谋攻击。

【技术实现步骤摘要】
一种基于同态加密的线性回归纵向联邦学习方法


[0001]本专利技术属于纵向联邦学习领域，特别涉及去除第三方的基于同态加密的线性回归纵向联邦学习建模训练，以及基于差分隐私的模型预测方法。

技术介绍

[0002]随着互联网技术的发展，机器学习越来越多的参与到社会建设的方方面面，然而当前机器学习始终面临两大挑战：一是数据安全难以得到保障，数据泄露问题频发；二是由于网络安全隔离和行业隐私，不同行业、不同部门之间存在数据壁垒。导致数据形成―孤岛无法安全共享，而仅凭各部门独立数据训练的机器学习模型性能无法达到全局最优化。为了解决以上问题，谷歌率先提出联邦学习技术，其通过将机器学习的数据存储和模型训练阶段转移至本地用户，而仅与中心服务器交互模型更新的方式有效保障了用户的隐私安全。
[0003]联邦学习应用场景不同，客户端之间持有的数据集特征各不相同。假设D
m
代表客户端m持有的数据，I表示样本ID，Y表示数据集的标签信息，X表示数据集的特征信息，因此一个完整的训练数据集D应由(I,Y,X)构成。根据参与训练客户端的数据集特征信息X的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于同态加密的线性回归纵向联邦学习方法，其特征在于，该方法包括下述步骤：步骤1：构建基于同态加密的线性回归训练模型：数据应用者即owner：同时持有数据矩阵和类标签的数据提供者；数据持有者即consumer：将只有一个数据矩阵的数据提供者定义为数据持有者；数据持有者在联邦学习中扮演客户的角色；步骤A1：初始化模型参数W
A
∈R
1*a
，W
B
∈R
1*b
，特征值X
A
∈R
n*a
，X
B
∈R
n*b
，owner利用Paillier算法生成公私钥对；所述W
A
∈R
1*a
为owner的模型参数，n表示有n个样本，a表示owner有a个特征值，X
A
表示owner的特征值；W
B
∈R
1*b
，b表示consumer有b个特征值，R表示矩阵，Paillier为一种同态加密算法，初始化模型阈值Limites；步骤A2：consumer和owner分别计算特征值与特征矩阵的乘积，consumer计算加密后的特征值与特征矩阵乘积：发给owner，owner将其解密，然后带入线性回归方程计算预测值并计算加密后的实际值与预测值的误差即：发给consumer，Encrypt()表示加密，y
′
表示线性回归方程的预测值，T表示矩阵转置；步骤A3：利用偏导值更新参数，owner计算偏导值owner更新模型参数W
A
＝W
A
‑
nL
A
∈R
1*a
，owner将加密的偏导值发送给consumer，同理利用加法同态性consumer更新模型参数Encrypt(W
B
)＝Encrypt(W
B
)
‑
nEncrypt(L
B
)∈R
1*b
，L
A
表示owner偏导值，L
B
表示consumer偏导值，η表示学习率；步骤A4：一直重复步骤A2和步骤A3，直到满足其中：sum是指求和，是一个向量，表示实际类标签与预测类标签的差值，整体即：本轮向量内所有元素之和与上轮向量元素之和的差与阈值Limites的比较；步骤A5：步骤4执行完毕之后owner直接获得更新后的模型参数W
A
∈R
1*a
，consumer在本地得到Encrypt(W
B
)，利用加法同态性，consumer选择随机向量R
B
∈R
1*b
并计算；Encrypt(W
B
+R
B
)＝Encrypt(R
B
W
B
)发送给owner，owner解密之后consumer再减去随机矩阵即可获得自己更新后的参数Decrypt(W
B
)＝Decrypt(Encrypt(W
B
+R
B
))
‑
R
B
；consumer和owner得到了纵向联邦学习的模型参数W
B
，W
A
；其中，Decrypt()表示解密；步骤2：去除第三方对模型进行预测或基于差分隐私的借助第三方对模型进行预测：步骤B1：owner利用得到的模型参数W
A
，计算步骤B2：consumer计算发给owner；步骤B3：owner计算并将结果返回给consumer；consumer得到了预测值：类标签y；基于差分隐私的借助第三方模型预测：步骤C1：owner计算Encrypt(W
A
)∈R...

【专利技术属性】
技术研发人员：何道敬，袁露，
申请(专利权)人：上海境山科技有限公司，
类型：发明
国别省市：