一种基于安全两方计算S型函数的隐私保护方法技术

本发明专利技术公开了一种基于安全两方计算S型函数的隐私保护方法，属于联邦学习的隐私保护技术领域。本发明专利技术在包括一个服务端和若干个客户端的联邦学习系统中，服务端响应于客户端发起的预测任务请求，将匹配于预测任务请求的神经网络模型下发给客户端；客户端基于本端的待预测数据，在本发明专利技术所设置的隐私保护数据分享的规则下通过与服务端之间的数据交互逐层完成本端对神经网络模型的前向推理运算，获取待预测数据的预测结果。本发明专利技术对联邦学习的模型训练过程中参与前向推理运算的相关参数，在服务端与客户端之间被双方以秘密分享方式存储的参数，计算后的结果仍以秘密分享方式存储，以此保证隐私安全。在一定的计算准确率下降低了计算量和通信开销。计算量和通信开销。

【技术实现步骤摘要】
一种基于安全两方计算S型函数的隐私保护方法


[0001]本专利技术属于联邦学习的隐私保护
，具体涉及一种基于安全两方计算S型函数的隐私保护方法。

技术介绍

[0002]随着深度学习技术的发展，神经网络预测技术被应用于越来越多的领域。然而，在联邦学习系统中，现有的基于深度学习的预测系统正面临着极为严重的隐私问题。如果用户直接向服务提供者发送包含隐私信息的数据，就可能导致隐私泄露，反之，如果服务提供者将神经网络模型发送给用户，无疑也侵犯了服务提供者的知识产权。为了解决上述隐私问题，需要提供安全计算神经网络模型的解决方案。
[0003]S型函数是一种有界、可微的实函数，其形状曲线至少有2个焦点，也叫“二焦点曲线函数”。S型函数在实数范围内均有取值，且导数恒为非负，有且只有一个拐点。常见的S型函数有Logistic和Tanh，被广泛应用于深度学习，例如递归神经网络预测中。尽管目前存在一些方法为这些函数提供了安全实现，但是仍有严重的性能瓶颈，无法应用到实际场景中。
[0004]当前已有一些两方安全计算数学函数的隐私保护方法被提出。一类方法使用高阶多项式来近似这些数学函数，然而它们提供的精度很低，除非多项式的次数足够高(通常需要7次或以上)，这意味着这种方法需要大量的计算和通信开销。另一类方法基于安全推理实现了高精度的数学函数，然而为了获得理想的性能，对每个数据集和模型，这种方法都需要重新平衡精度和成本，这显然是不实际的。此外，还有一类方法为浮点表示的数学函数提出了基于近似多项式的协议，不过这些协议存在高昂的开销。目前最先进的协议使用了查找表和OT扩展技术，提供了较高的精度，但是在计算和通信的效率上仍然有所欠缺。

技术实现思路

[0005]本专利技术提供了一种基于安全两方计算S型函数的隐私保护方法，可用于在保障联邦学习的隐私保护前提下降低资源开销，及保障计算准确率。
[0006]本专利技术采用的技术方案为：
[0007]一种基于安全两方计算S型函数的隐私保护方法，在包括一个服务端P1和若干个客户端P0的联邦学习系统中，执行下列步骤：
[0008]服务端P1响应于客户端P0发起的预测任务请求，将匹配于预测任务请求的神经网络模型下发给客户端P0；所述神经网络模型的网络层包括两类：线性层和非线性层；
[0009]客户端P0基于本端的待预测数据，通过与服务端P1之间的数据交互逐层完成本端对神经网络模型的前向推理运算，获取待预测数据的预测结果，具体包括：
[0010]步骤1，客户端P0对待预测数据进行数据预处理，以匹配神经网络模型的输入；
[0011]步骤2，对神经网络模型的第一层，客户端P0对神经网络模型的输入数据做加法分享，并将分享值发送给服务端P1，定义l表示当前层的输入数据长度；
[0012]步骤3，基于当前层的分享值执行前向推理运算；
[0013]I)若当前层为线性层，则前向推理运算包括：
[0014]客户端P0发送到P1，以使得服务端P1提取到输入数据其中，表示客户端P0的每一层的输入数据，N表示环的大小，r是在环中选取的一个随机数，并且以秘密分享的形式为服务端P1和客户端P0共同持有；
[0015]客户端P0基于本端的模型中间参数令当前层的输出并将作为客户端P0的下一层的输入数据
[0016]服务端P1重构当前层的数据基于本端的模型中间参数计算当前层的输出并将y1作为服务端P1的下一层的输入数据
[0017]其中，W表示服务端P1持有的神经网络模型参数，和的具体计算方式为：
[0018]服务端P1将W
‑
b发送给客户端P0，客户端P0在本地计算参数在本地计算参数
[0019]服务端P1在本地计算
[0020]a1表示当前线性层的乘积分享参数，且a1＝ab
‑
a0，a表示客户端P0选取的随机数，b表示服务端P1选取的随机数；
[0021]II)若当前层为非线性层，则前向推理运算包括：
[0022]检测当前层的执行函数，若为Logistic函数，则执行步骤(3a)，若为Tanh函数，则执行步骤(3b)；
[0023](3a)当前层执行Logistic函数的计算，包括下列步骤：
[0024](3a
‑
1)客户端P0和服务端P1分别调用最高有效位函数输入<x>
l
得到其符号位<msb>
B
，其中<x>
l
表示l比特的分享值；
[0025](3a
‑
2)客户端P0和服务端P1分别调用多路复用函数计算计算
[0026](3a
‑
3)客户端P0和服务端P1分别调用负指数函数输入<nx>
l
得到<nxe>
s+2
，其中，s表示负指数函数中设置的位数；
[0027](3a
‑3‑
1)客户端P0和服务端P1分别在本地计算分享值<px>
l
＝
‑
<nx>
l
；
[0028](3a
‑3‑
2)服务端P1调用数值分割函数以<px>
l
为输入，得到c项长度为d的分割值{<a
j
>
d
}
j∈[c]，其中
[0029](3a
‑3‑
3)对于每一个j∈[c]，客户端P0和服务端P1分别调用查找表函数输入<a
j
>
d
，得到<T
j
[a
j
]>
s+2
，其中T
j
[a
j
]表示查找表T
j
的第a
j
项，且T
j
[a
j
]＝Exp(
‑2dj
‑
s
a
j
)；
[0030](3a
‑3‑
4)客户端P0和服务端P1分别调用乘法函数和截断函数计算所有表项的累乘得到结果<nxe>
s+2
；
[0031](3a
‑
4)客户端P0和服务端P1分别调用除法函数计算
[0032](3a
‑
5)客户端P0和服务端P1分别调用多路复用函数计算<ch>
s+2
＝1+<mxb>
B
·
(&本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于安全两方计算S型函数的隐私保护方法，其特征在于，在包括一个服务端P1和若干个客户端P0的联邦学习系统中执行下列步骤：服务端P1响应于客户端P0发起的预测任务请求，将匹配于预测任务请求的神经网络模型下发给客户端P0；所述神经网络模型的网络层包括两类：线性层和非线性层；客户端P0基于本端的待预测数据，通过与服务端P1之间的数据交互逐层完成本端对神经网络模型的前向推理运算，获取待预测数据的预测结果，具体包括：步骤1，客户端P0对待预测数据进行数据预处理，以匹配神经网络模型的输入；步骤2，对神经网络模型的第一层，客户端P0对神经网络模型的输入数据做加法分享，并将分享值发送给服务端P1，定义l表示当前层的输入数据长度；步骤3，基于当前层的分享值执行前向推理运算；I)若当前层为线性层，则前向推理运算包括：客户端P0发送到P1，以使得服务端P1提取到输入数据其中，表示客户端P0的每一层的输入数据，N表示环的大小，r是在环中选取的一个随机数，并且以秘密分享的形式为服务端P1和客户端P0共同持有；客户端P0基于本端的模型中间参数令当前层的输出并将作为客户端P0的下一层的输入数据服务端P1重构当前层的数据基于本端的模型中间参数计算当前层的输出并将y1作为服务端P1的下一层的输入数据其中，W表示服务端P1持有的神经网络模型参数，和的具体计算方式为：服务端P1将W
‑
b发送给客户端P0，客户端P0在本地计算参数在本地计算参数服务端P1在本地计算a1表示当前线性层的乘积分享参数，且a1＝ab
‑
a0，a表示客户端P0选取的随机数，b表示服务端P1选取的随机数；II)若当前层为非线性层，则前向推理运算包括：检测当前层的执行函数，若为Logistic函数，则执行步骤(3a)，若为Tanh函数，则执行步骤(3b)；(3a)当前层执行Logistic函数的计算，包括下列步骤：(3a
‑
1)客户端P0和服务端P1分别调用最高有效位函数输入<x>
l
得到其符号位<msb>
B
，其中<x>
l
表示l比特的分享值；(3a
‑
2)客户端P0和服务端P1分别调用多路复用函数计算<nx>
l
＝
‑
<x>
l
+<msb>
B
·
2<x>
l
；(3a
‑
3)客户端P0和服务端P1分别调用负指数函数输入<nx>
l
得到<nxe>
s+2
，其中，s表示负指数函数中设置的位数；(3a
‑3‑
1)客户端P0和服务端P1分别在本地计算分享值<px>
l
＝
‑
<nx>
l
；
(3a
‑3‑
2)服务端P1调用数值分割函数以<px>
l
为输入，得到c项长度为d的分割值{<a
j
>
d
}
j∈[c]
，其中(3a
‑3‑
3)对于每一个j∈[c]，客户端P0和服务端P1分别调用查找表函数输入<a
j
>
d
，得到<T
j
[a
j
]>
s+2
，其中T
j
[a
j
]表示查找表T
j
的第a
j
项，且T
j
[a
j
]＝Exp(
‑2dj
‑
s
a
j
)；(3a
‑3‑
4)客户端P0和服务端P1分别调用乘法函数和截断函数计算所有表项的累乘得到结果<nxe>
s+2
；(3a
‑
4)客户端P0和服务端P1分别调用除法函数计算(3a
‑
5)客户端P0和服务端P1分别调用多路复用函数计算<ch>
s+2
＝1...

【专利技术属性】
技术研发人员：李洪伟，胡佳，冯宇扬，陈涵霄，郝猛，张希琳，张源，刘鹏飞，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：