【技术实现步骤摘要】
本专利技术涉及深度学习，具体涉及一种基于全同态加密的隐私保护语音分类方法及系统。
技术介绍
1、语音信息中通常包含着说话人年龄、身份、语义、情绪等隐私保护信息。然而，第三方云服务器是不完全可信的，存在泄露用户数据隐私的风险。语音冒用、盗用、伪装等侵犯个人隐私的行为愈演愈烈，例如苹果的siri以及谷歌的assistant就存在泄露用户个人隐私的案件。因此需要对语音数据进行必要的隐私处理，在确保数据和模型参数隐私性的同时，兼顾模型计算效率和模型准确度。
2、全同态加密(fully homomorphic encryption，fhe)可以直接对密文进行处理，被广泛用来研究隐私保护语音分类任务。然而，fhe仍存在一些局限性，比如说密文乘法效率低以及非多项式运算的计算精度不足等问题。为解决上述问题，本专利技术基于ckks全同态加密算法，在两台服务器安全协同的方式下设计安全乘法协议，通过在两台服务器之间传递混淆同态密文，将开销大的密文-密文乘法运算转换为密文-明文乘法运算以及密文-密文加法运算，降低计算开销的同时，也避免深度神经网络中网络层数过深而产生的噪声溢出的问题。其次，针对ckks算法不能有效处理非多项式运算的问题，本专利技术设计安全指数、安全倒数、安全比较等安全非多项式协议，通过在两台服务器之间传递添加随机掩码的混淆密文，从而解决fhe在深度神经网络推理运算过程中识别准确率低的问题。
技术实现思路
1、本专利技术的目的在于提供一种基于全同态加密的隐私保护语音分类方法及系统
2、为实现上述目的，本专利技术的技术方案是：一种基于全同态加密的隐私保护语音分类方法，首先发送方α将接收来自用户发送来的原始语音数据进行预处理操作，将原始语音信号转换为特征语谱图；发送方α生成公私钥对(pk,sk)，利用安全信道将私钥sk分发给第二服务器s2，公开公钥pk；发送方α以及模型提供方m分别利用公钥pk将所拥有的特征语谱图以及卷积神经网络模型cnn参数加密，生成密态语谱数据ca以及密态参数数据cm，并发送给第一服务器s1；而后第一服务器s1使用随机掩码将所持有的ca以及cm进行混淆处理，两台服务器s1和s2交互地使用安全乘法函数执行安全卷积、安全池化以及安全全连接操作，两台服务器s1和s2交互地使用安全指数函数、安全倒数函数以及安全比较函数执行安全激活操作；最后接收方β接收来自第一服务器s1的输出结果co，并进行解密以及解码操作，得到明文分类结果o。
3、在本专利技术一实施例中，对于一个原始语音i，发送方α对语音信号进行预处理操作，包括降噪、去除静音段、分帧操作，并对每个语音帧进行快速傅里叶变换，将时域信号转换为频域信号，计算每个频域帧的能量谱，表示每个频率分量的振幅大小；使用一组梅尔滤波器，将能量谱映射到梅尔频率刻度上，用来模拟人耳对声音的感知；在对能量值进行对数压缩以及倒谱转换后，对特征语谱图进行归一化操作，实现对i的转换工作。
4、在本专利技术一实施例中，发送方α生成公私钥对(pk,sk)，并利用安全信道将私钥sk分发给第二服务器s2，公钥pk公开出来；发送方α以及模型提供方m分别利用公钥pk将拥有的特征语谱图以及卷积神经网络模型参数加密，分别发送给第一服务器s1，其方法为：
5、步骤3.1、密钥生成算法ckks.keygen(n,l,1λ)→(sk,pk,evk)：输入安全参数λ，选取基p＞0，模数q0，令ql＝pl·q0，选择二次幂分圆多项式m＝m(λ,ql)，其中l表示同态电路计算深度(0＜l≤l)，正整数h＝h(λ,ql)，整数p＝p(λ,ql)和实数σ＝σ(λ,ql)；抽取表示从{0,±1}n中抽取一个n维向量s，h表示相应向量的汉明重量；抽取表示在模ql实数中抽取一个随机数a；抽取表示从整数多项式环中抽取一个n维多项式向量，其中每个系数都是取自方差为σ2的离散高斯分布；令私钥sk←(1,s)，公钥其中b←-a·s+e mod ql；抽取计算公钥其中b'←-a'·s+e'+ps2 mod p·ql；输出(sk,pk,evk)；
6、步骤3.2、加密算法ckks.encpk(m,δ)→ct：对于明文使用pk对m进行加密，输出密文ct。
7、在本专利技术一实施例中，两台服务器s1和s2按如下方法执行安全卷积操作，其中包含im2col算法、gemm算法以及安全乘法函数smp，各算法按如下步骤执行：
8、步骤4.1、im2col算法将输入特征语谱图划分为重叠的块，然后将每个块中的像素值展开成列向量，并将所有块连接在一起形成列方向图；gemm通过对输入矩阵的对应元素进行乘法和求和操作，得到输出矩阵；在卷积神经网络中，im2col操作将输入特征语谱图转换为列方向图，然后使用gemm操作将列方向图与卷积核进行矩阵乘法计算，实现卷积操作；
9、步骤4.2、函数smp按如下步骤执行：
10、步骤4.2.1、s1通过添加随机掩码的方式将混淆密文发送给s2进行解密得到混淆明文，并将混淆明文相乘以获得混淆乘法结果，最终s2将混淆乘法结果加密后发送给s1，s1对获得的混淆密文进行消除掩码操作，以获得最终的密文乘法数据；
11、步骤4.2.2、s1接收到密态语谱数据ca以及密态参数数据(cw,cb)执行卷积操作，即在密文形式下计算y＝w*a，其中，w代表明文条件下卷积层的卷积核参数，a表示明文输入矩阵；
12、步骤4.2.3、使用im2col算法、gemm算法以及安全乘法函数smp优化卷积操作；第一服务器s1对输入的加密特征图encpk(x)执行im2col操作，该操作将原始特征图根据卷积核大小划分为不重叠的块，并将每个块展开为行向量，从而将原始特征图数据转换为矩阵乘法形式，以便后续的矩阵运算；对展开后的密文特征数据encpk(x')和密文卷积核encpk(w')执行密文矩阵乘法运算；在同态加密的环境下，密文矩阵乘法运算使用安全乘法函数smp来加速计算过程；通过这个步骤，得到密文的卷积特征。通过以上步骤，可以在同态加密的环境下实现安全的卷积层计算。这种方法可以保护特征图的隐私，并且能够在不暴露明文数据的情况下进行加密计算。
13、在本专利技术一实施例中，两台服务器s1和s2按如下方法执行安全池化以及安全全连接操作；其中，
14、步骤5.1、安全池化操作按如下步骤执行：
15、平均池化层紧跟在卷积层之后，将输入的特征图分成若干个区域，对每个区域内的数值求平均值，得到一个输出结果；通过这样的操作，可以减少特征图的尺寸，并提取出更加显著的特征信息，从而使后续的卷积层能够更加有效地识别和分类中的目标。
16、步骤5.2、安全全连接操作如下步骤执行：
17、安全乘法协议用来构造安全全连接层；输入密文矩阵被展开成一个单独的向量，并通过权重矩阵进行线性变换；其中，x是密文输入向量，encpk(wf)是密文权重矩阵，encpk(bf本文档来自技高网...
【技术保护点】
1.一种基于全同态加密的隐私保护语音分类方法，其特征在于，首先发送方α将接收来自用户发送来的原始语音数据进行预处理操作，将原始语音信号转换为特征语谱图；发送方α生成公私钥对(pk,sk)，利用安全信道将私钥sk分发给第二服务器S2，公开公钥pk；发送方α以及模型提供方M分别利用公钥pk将所拥有的特征语谱图以及卷积神经网络模型CNN参数加密，生成密态语谱数据CA以及密态参数数据CM，并发送给第一服务器S1；而后第一服务器S1使用随机掩码将所持有的CA以及CM进行混淆处理，两台服务器S1和S2交互地使用安全乘法函数执行安全卷积、安全池化以及安全全连接操作，两台服务器S1和S2交互地使用安全指数函数、安全倒数函数以及安全比较函数执行安全激活操作；最后接收方β接收来自第一服务器S1的输出结果CO，并进行解密以及解码操作，得到明文分类结果O。
2.根据权利要求1所述的一种基于全同态加密的隐私保护语音分类方法，其特征在于，对于一个原始语音I，发送方α对语音信号进行预处理操作，并对每个语音帧进行快速傅里叶变换，将时域信号转换为频域信号，计算每个频域帧的能量谱，表示每个频率分量的振幅
3.根据权利要求2所述的一种基于全同态加密的隐私保护语音分类方法，其特征在于，发送方α生成公私钥对(pk,sk)，并利用安全信道将私钥sk分发给第二服务器S2，公钥pk公开出来；发送方α以及模型提供方M分别利用公钥pk将拥有的特征语谱图以及卷积神经网络模型参数加密，分别发送给第一服务器S1，其方法为：
4.根据权利要求3所述的一种基于全同态加密的隐私保护语音分类方法，其特征在于，两台服务器S1和S2按如下方法执行安全卷积操作，其中包含im2col算法、GEMM算法以及安全乘法函数SMP，各算法按如下步骤执行：
5.根据权利要求4所述的一种基于全同态加密的隐私保护语音分类方法，其特征在于，两台服务器S1和S2按如下方法执行安全池化以及安全全连接操作；其中，
6.根据权利要求5所述的一种基于全同态加密的隐私保护语音分类方法，其特征在于，安全激活操作中使用的安全Softmax函数SSP包括安全指数函数SEP、安全倒数函数SDIP，其中，
7.根据权利要求6所述的一种基于全同态加密的隐私保护语音分类方法，其特征在于，两台服务器S1和S2按如下方法执行安全ReLU操作，其中包含安全比较函数SCP；按如下步骤展开
8.一种应用权利要求1-7任一项所述方法的基于全同态加密的隐私保护语音分类系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于全同态加密的隐私保护语音分类方法，其特征在于，首先发送方α将接收来自用户发送来的原始语音数据进行预处理操作，将原始语音信号转换为特征语谱图；发送方α生成公私钥对(pk,sk)，利用安全信道将私钥sk分发给第二服务器s2，公开公钥pk；发送方α以及模型提供方m分别利用公钥pk将所拥有的特征语谱图以及卷积神经网络模型cnn参数加密，生成密态语谱数据ca以及密态参数数据cm，并发送给第一服务器s1；而后第一服务器s1使用随机掩码将所持有的ca以及cm进行混淆处理，两台服务器s1和s2交互地使用安全乘法函数执行安全卷积、安全池化以及安全全连接操作，两台服务器s1和s2交互地使用安全指数函数、安全倒数函数以及安全比较函数执行安全激活操作；最后接收方β接收来自第一服务器s1的输出结果co，并进行解密以及解码操作，得到明文分类结果o。
2.根据权利要求1所述的一种基于全同态加密的隐私保护语音分类方法，其特征在于，对于一个原始语音i，发送方α对语音信号进行预处理操作，并对每个语音帧进行快速傅里叶变换，将时域信号转换为频域信号，计算每个频域帧的能量谱，表示每个频率分量的振幅大小；使用一组梅尔滤波器，将能量谱映射到梅尔频率刻度上，用来模拟人耳对声音的感知；在对能量值进行对数压缩以及倒谱转换后，对特征语谱图进行归一化操作，实现对i的转换工作。
...
【专利技术属性】
技术研发人员：张媛媛，王雷蕾，熊金波，毕仁万，宋考，黄锐泓，田有亮，
申请(专利权)人：福建师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。