秘密归一化指数函数计算系统、秘密归一化指数函数计算装置、秘密归一化指数函数计算方法、秘密神经网络计算系统、秘密神经网络学习系统、程序制造方法及图纸

本发明专利技术提供一种高速且高精度地对归一化指数函数进行秘密计算的技术。根据份额([[u1]]，

【技术实现步骤摘要】
【国外来华专利技术】秘密归一化指数函数计算系统、秘密归一化指数函数计算装置、秘密归一化指数函数计算方法、秘密神经网络计算系统、秘密神经网络学习系统、程序


[0001]本专利技术涉及秘密计算技术，特别是涉及对归一化指数(Softmax)函数进行秘密计算的技术。

技术介绍

[0002]作为用于对归一化指数函数进行秘密计算的现有方法，有非专利文献1所记载的SecureML、非专利文献2所记载的SecureNN。这里，归一化指数函数是由下式表示的非线性函数。
[0003][公式1][0004][0005]所谓秘密计算，是不将被加密的数值复原而得到指定的运算的运算结果的方法(例如参照参考非专利文献1)。在参考非专利文献1的方法中，能够进行将能复原数值的多个信息分散到三个秘密计算装置这样的加密，并且不将数值复原，而将加减运算、常数和、乘法运算、常数倍、逻辑运算(非、与、或、异或)、数据形式转换(整数、二进制数)的结果在被分散到三个秘密计算装置的状态、即保持被加密的状态下进行保持。一般来说，分散数量不限于3而能够设为W(W是3以上的规定的常数)，通过由W个秘密计算装置进行的协调计算来实现秘密计算的协议称为多方协议。
[0006](参考非专利文献1：千田浩司，濱田浩気，五十嵐大，高橋克巳，”軽量検証可能3
パーティ
秘匿関数計算
の
再考”(千田浩司，滨田浩气，五十岚大，高桥克己，”浅析可验证3方隐匿函数计算的再探讨”)，In CSS，2010.)
[0007]现有技术文献
[0008]非专利文献
[0009]非专利文献1：Payman Mohassel and Yupeng Zhang，”SecureML：A System for Scalable Privacy
‑
Preserving Machine Learning”，2017 IEEE Symposium on Security and Privacy，pp.19
‑
38，2017.
[0010]非专利文献2：Sameer Wagh，Divya Gupta，and Nishanth Chandran，”SecureNN：3
‑
Party Secure Computation for Neural Network Training”，Proceedings on Privacy Enhancing Technologies；2019(3)：26
‑
49，2019.

技术实现思路

[0011]专利技术要解决的课题
[0012]但是，从式(1)可知，由于归一化指数函数包含秘密计算不擅长的指数函数和除法
的计算，所以难以兼顾处理速度和精度这两者来进行秘密计算。在现有方法中，由于指数函数exp(x)的近似使用函数ReLU(x)＝max(0，x)，所以其近似精度低，特别是随着x变为大的值，误差变得非常大，归一化指数函数的计算的精度低。
[0013]因此，本专利技术的目的在于提供一种高速且高精度地对归一化指数函数进行秘密计算的技术。
[0014]用于解决课题的手段
[0015]本专利技术的一个方式是一种秘密归一化指数函数计算系统，将map1设为由表示函数exp(x)的定义域的参数(a1，
…
，a
K
)和表示值域的参数(α1，
…
，α
K
)定义的秘密批量映射，其中，K是2以上的整数，a1，
…
，a
K
是满足a1＜
…
＜a
K
的实数，并将map2设为由表示函数1/x的定义域的参数(b1，
…
，b
L
)和表示值域的参数(β1，
…
，β
L
)定义的秘密批量映射，其中，L是2以上的整数，b1，
…
，b
L
是满足b1＜
…
＜b
L
的实数，所述秘密归一化指数函数计算系统由3个以上的秘密归一化指数函数计算装置构成，并根据输入向量(u1，
…
，u
J
)的份额([[u1]]，
…
，[[u
J
]])，计算针对输入向量(u1，
…
，u
J
)的归一化指数函数的值(softmax(u1)，
…
，softmax(u
J
))的份额([[softmax(u1)]]，
…
，[softmax(u
J
)]])，其中，J为1以上的整数，所述秘密归一化指数函数计算系统包括：减法单元，根据所述份额([[u1]]，
…
，[[u
J
]])，计算份额([[u1‑
u1]]，[[u2‑
u1]]，
…
，[[u
J
‑
u1]]，[[u1‑
u2]]，
…
，[[u
J
‑
u2]]，
…
，[[u1‑
u
J
]]，
…
，[[u
J
‑
u
J
]])；第一秘密批量映射计算单元，根据所述份额([[u1‑
u1]]，[[u2‑
u1]]，
…
，[[u
J
‑
u1]]，[[u1‑
u2]]，
…
，[[u
J
‑
u2]]，
…
，[[u1‑
u
J
]]，
…
，[[u
J
‑
u
J
]])，计算map1([[u1‑
u1]]，[[u2‑
u1]]，
…
，[[u
J
‑
u1]]，[[u1‑
u2]]，
…
，[[u
J
‑
u2]]，
…
，[[u1‑
u
J
]]，
…
，[[u
J
‑
u
J
]]))＝([[α
f(1,1)
]]，[[α
f(2,1)
]]，
…
，[[α
f(J，1)
]]，[[α
f(1,2)
]]，
…
，[[α
f(J，2)
]]，
…
，[[α
f(1，J)
]]，
…
，[[α
f(J，J)
]])，并设为([[exp(u1‑
u1)]]，[[exp(u2‑
u1)]]，
…<本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种秘密归一化指数函数计算系统，将map1设为由表示函数exp(x)的定义域的参数(a1，
…
，a
K
)和表示值域的参数(α1，
…
，α
K
)定义的秘密批量映射，其中，K是2以上的整数，a1，
…
，a
K
是满足a1＜...＜a
K
的实数，并将map2设为由表示函数1/x的定义域的参数(b1，...，b
L
)和表示值域的参数(β1，...，β
L
)定义的秘密批量映射，其中，L是2以上的整数，b1，...，b
L
是满足b1＜
…
＜b
L
的实数，所述秘密归一化指数函数计算系统由3个以上的秘密归一化指数函数计算装置构成，并根据输入向量(u1，
…
，u
J
)的份额([[u1]]，
…
，[[u
J
]])，计算针对输入向量(u1，
…
，u
J
)的归一化指数函数的值(softmax(u1)，
…
，softmax(u
J
))的份额([[softmax(u1)]]，
…
，[softmax(u
J
)]])，其中，J为1以上的整数，所述秘密归一化指数函数计算系统包括：减法单元，根据所述份额([[u1]]，
…
，[[u
J
]])，计算份额([[u1‑
u1]]，[[u2‑
u1]]，
…
，[[u
J
‑
u1]]，[[u1‑
u2]]，
…
，[[u
J
‑
u2]]，
…
，[[u1‑
u
J
]]，
…
，[[u
J
‑
u
J
]])；第一秘密批量映射计算单元，根据所述份额([[u1‑
u1]]，[[u2‑
u1]]，
…
，[[u
J
‑
u1]]，[[u1‑
u2]]，...，[[u
J
‑
u2]]，...，[[u1‑
u
J
]]，...，[[u
J
‑
u
J
]])，计算map1([[u1‑
u1]]，[[u2‑
u1]]，
…
，[[u
J
‑
u1]]，[[u1‑
u2]]，
…
，[[u
J
‑
u2]]，
…
，[[u1‑
u
J
]]，
…
，[[u
J
‑
u
J
]]))＝([[α
f(1，1)
]]，[[α
f(2，1)
]]，
…
，[[α
f(J，1)
]]，[[α
f(1，2)
]]，
…
，[[α
f(J，2)
]]，
…
，[[α
f(1，J)
]]，
…
，[[α
f(J，J)
]])，并设为([[exp(u1‑
u1)]]，[[exp(u2‑
u1)]]，
…
，[[exp(u
J
‑
u1)]]，[[exp(u1‑
u2)]]，...，[[exp(u
J
‑
u2)]]，...，[[exp(u1‑
u
J
)]]，...，[[exp(u
J
‑
u
J
)]])＝([[α
f(1，1)
]]，[[α
f(2，1)
]]，
…
，[[α
f(J，1)
]]，[[α
f(1，2)
]]，
…
，[[α
f(J，2)
]]，
…
，[[α
f(1，J)
]]，
…
，[[α
f(J，J)
]])，其中，f(i，j)(1≤i，j≤K)为a
p
≤u
i
‑
u
j
＜a
p+1
的p；加法单元，根据所述份额([[exp(u1‑
u1)]]，[[exp(u2‑
u1)]]，
…
，[[exp(u
J
‑
u1)]]，[[exp(u1‑
u2)]]，
…
，[[exp(u
J
‑
u2)]]，
…
，[[exp(u1‑
u
J
)]]，
…
，[[exp(u
J
‑
u
J
)]])，计算份额([[∑
j＝1J
exp(u
j
‑
u1)]]，[[∑
j＝1J
exp(u
j
‑
u2)]]，
…
，[[∑
j＝1J
exp(u
j
‑
u
J
)]])；及第二秘密批量映射计算单元，根据所述份额([[∑
j＝1J
exp(u
j
‑
u1)]]，[[∑
j＝1J
exp(u
j
‑
u2)]]，
…
，[[∑
j＝1J
exp(u
j
‑
u
J
)]])，计算map2(([[∑
j＝1J
exp(u
j
‑
u1)]]，[[∑
j＝1J
exp(u
j
‑
u2)]]，
…
，[[∑
j＝1J
exp(u
j
‑
u
J
)]]))＝([[β
g(1)
]]，[[β
g(2)
]]，
…
，[[β
g(J)
]])，并设为([[softmax(u1)]]，[[softmax(u2)]]，...，[softmax(u
J
)]])＝([[β
g(1)
]]，[[β
g(2)
]]，...，[[β
g(J)
]])，其中，g(i)(1≤i≤L)为b
p
≤∑
j＝1J
exp(u
j
‑
u
i
)＜b
p+1
的p。2.根据权利要求1所述的秘密归一化指数函数计算系统，其特征在于，将表示秘密批量映射map1的值域的所述参数α1、α
K
分别设为α1＝0、α
K
＝2
b_y
，其中，b
y
表示对归一化指数函数的输出的精度进行表示的定点的小数部分的比特数。3.一种秘密归一化指数函数计算装置，是秘密归一化指数函数计算系统中的秘密归一化指数函数计算装置，所述秘密归一化指数函数计算系统将map1设为由表示函数exp(x)的定义域的参数(a1，
…
，a
K
)和表示值域的参数(α1，
…
，α
K
)定义的秘密批量映射，其中，K是2以上的整数，a1，
…
，a
K
是满足a1＜
…
＜a
K
的实数，并将map2设为由表示函数1/x的定义域的参数(b1，...，b
L
)和表示值域的参数(β1，
…
，β
L
)定义的秘密批量映射，其中，L是2以上的整数，b1，
…
，b
L
是满足b1＜
…
&lt;b
L
的实数，所述秘密归一化指数函数计算系统由3个以上的秘密归一化指数函数计算装置构成，
并根据输入向量(u1，
…
，u
J
)的份额([[u1]]，
…
，[[u
J
]])，计算针对输入向量(u1，
…
，u
J
)的归一化指数函数的值(softmax(u1)，
…
，softmax(u
J
))的份额([[softmax(u1)]]，
…
，[softmax(u
J
)]])，其中，J为1以上的整数，所述秘密归一化指数函数计算装置包括：减法部，根据所述份额([[u1]]，...，[[u
J
]])，计算份额([[u1‑
u1]]，[[u2‑
u1]]，...，[[u
J
‑
u1]]，[[u1‑
u2]]，
…
，[[u
J
‑
u2]]，
…
，[[u1‑
u
J
]]，
…
，[[u
J
‑
u
J
]])；第一秘密批量映射计算部，根据所述份额([[u1‑
u1]]，[[u2‑
u1]]，...，[[u
J
‑
u1]]，[[u1‑
u2]]，
…
，[[u
J
‑
u2]]，
…
，[[u1‑
u
J
]]，
…
，[[u
J
‑
u
J
]])，计算map1([[u1‑
u1]]，[[u2‑
u1]]，
…
，[[u
J
‑
u1]]，[[u1‑
u2]]，
…
，[[u
J
‑
u2]]，
…
，[[u1‑
u
J
]]，
…
，[[u
J
‑
u
J
]]))＝([[α
f(1，1)
]]，[[α
f(2，1)
]]，
…
，[[α
f(J，1)
]]，[[α
f(1，2)
]]，
…
，[[α
f(J，2)
]]，
…
，[[α
f(1，J)
]]，
…
，[[α
f(J，J)
]])，并设为([[exp(u1‑
u1)]]，[[exp(u2‑
u1)]]，
…
，[[exp(u
J
‑
u1)]]，[[exp(u1‑
u2)]]，...，[[exp(u
J
‑
u2)]]，...，[[exp(u1‑
u
J
)]]，...，[[exp(u
J
‑
u
J
)]])＝([[α
f(1，1)
]]，[[α
f(2，1)
]]，
…
，[[α
f(J，1)
]]，[[α
f(1，2)
]]，
…
，[[α
f(J，2)
]]，
…
，[[α
f(1，J)
]]，
…
，[[α
f(J，J)
]])，其中，f(i，j)(1≤i，j≤K)为a
p
≤u
i
‑
u
j
＜a
p+1
的p；加法部，根据所述份额([[exp(u1‑
u1)]]，[[exp(u2‑
u1)]]，
…
，[[exp(u
J
‑
u1)]]，[[exp(u1‑
u2)]]，
…
，[[exp(u
J
‑
u2)]]，
…
，[[exp(u1‑
u
J
)]]，
…
，[[exp(u
J
‑
u
J
)]])，计算份额([[∑
j＝1J
exp(u
j
‑
u1)]]，[[∑
j＝1J
exp(u
j
‑
u2)]]，
…
，[[∑
j＝1J
exp(u
j
‑
u
J
)]])；及第二秘密批量映射计算部，根据所述份额([[∑
j＝1J
exp(u
j
‑
u1)]]，[[∑
j＝1J
exp(u
j
‑
u2)]]，
…
，[[∑
j＝1J
exp(u
j
‑
u
J
)]])，计算map2(([[∑
j＝1J
exp(u
j
‑
u1)]]，[[∑
j＝1J
exp(u
j
‑
u2)]]，
…
，[[∑
j＝1J
exp(u
j
‑
u
J
)]]))＝([[β
g(1)
]]，[[β
g(2)
]]，
…
，[[β
g(J)
]])，并设为([[softmax(u1)]]，[[softmax(u2)]]，...，[softmax(u
J
)]])＝([[β
g(1)
]]，[[β
g(2)
]]，...，[[β
g(J)
]])，其中，g(i)(1≤i≤L)为b
p
≤∑
j＝1J
exp(u
j
‑
u
i
)＜b
p+1
的p。4.一种秘密归一化指数函数计算方法，将map1设为由表示函数exp(x)的定义域的参数(a1，
…
，a
K
)和表示值域的参数(α1，
…
，α
K
)定义的秘密批量映射，其中，K是2以上的整数，a1，...，a
K
是满足a1＜...＜a
K
的实数，并将map2设为由表示函数1/x的定义域的参数(b1，...，b
L
)和表示值域的参数(β1，...，β
L
)定义的秘密批量映射，其中，L是2以上的整数，b1，...，b
L
是满足b1＜
…
&lt;b
L
的实数，在所述秘密归一化指数函数计算方法中，由3个以上的秘密归一化指数函数计算装置构成的秘密归一化指数函数计算系统根据输入向量(u1，...，u
J
)的份额([[u1]]，...，[[u
J
]])，计算针对输入向量(u1，...，u
J
)的归一化指数函数的值(softmax(u1)，...，softmax(u
J
))的份额([[softmax(u1)]]，...，[softmax(u
J
)]])，其中，J为1以上的整数，所述秘密归一化指数函数计算方法包括：减法步骤，所述秘密归一化指数函数计算系统根据所述份额([[u1]]，
…
，[[u
J
]])，计算份额([[u1‑
u1]]，[[u2‑
u1]]，
…
，[[u
J
‑
u1]]，[[u1‑
u2]]，
…
，[[u
J
‑
u2]]，...，[[u1‑
u
J
]]，...，[[u
J
‑
u
J
]])；第一秘密批量映射计算步骤，所述秘密归一化指数函数计算系统根据所述份额([[u1‑
u1]]，[[u2‑
u1]]，...，[[u
J
‑
u1]]，[[u1‑
u2]]，...，[[u
J
‑
u2]]，...，[[u1‑
u
J
]]，...，[[u
J
‑
u
J
]])，计算map1([[u1‑
u1]]，[[u2‑
u1]]，...，[[u
J
‑
u1]]，[[u1‑
u2]]，...，[[u
J
‑
u2]]，...，[[u1‑
u
J
]]，
…
，[[u
J
‑
u
J
]]))＝([[α
f(1，1)
]]，[[α
f(2，1)
]]，
…
，[[α
f(J，1)
]]，[[α
f(1，2)
]]，
…
，
[[α
f(J，2)
]]，
…
，[[α
f(1，J)
]]，
…
，[[α
f(J，J)
]])，并设为([[exp(u1‑
u1)]]，[[exp(u2‑
u1)]]，
…
，[[exp(u
J
‑
u1)]]，[[exp(u1‑
u2)]]，
…
，[[exp(u
J
‑
u2)]]，...，[[exp(u1‑
u
J
)]]，
…
，[[exp(u
J
‑
u
J
)]])＝([[α
f(1，1)
]]，[[α

【专利技术属性】
技术研发人员：三品气吹，五十岚大，滨田浩气，
申请(专利权)人：日本电信电话株式会社，
类型：发明
国别省市：