一种基于同态加密的预测模型训练方法、系统、设备及介质技术方案

本发明专利技术属于人工智能领域，具体涉及一种基于同态加密的预测模型训练方法、系统、设备及可读存储介质。方法包括：在计算节点基于训练数据训练局部预测模型，将所述局部预测模型通过同态加密算法进行加密，并将加密后的局部预测模型发送到服务端；在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。通过本发明专利技术提出的一种基于同态加密的预测模型训练方法，整个分布式训练过程中仅有加密后的局部预测模型和基于密文的全局预测模型在传输，具有极高的安全性。有极高的安全性。有极高的安全性。

【技术实现步骤摘要】
一种基于同态加密的预测模型训练方法、系统、设备及介质


[0001]本专利技术属于人工智能领域，具体涉及一种基于同态加密的预测模型训练方法、系统、设备及可读存储介质。

技术介绍

[0002]一般分布式机器学习采用深度神经网络作为机器学习模型，根据中心极限定理，假设神经网络中的权重服从高斯正态分布，随着神经网络的宽度趋近于无穷，那么这样的神经网络等价于高斯过程回归。然而高斯过程回归是一个非超参数的统计概率模型，给定训练数据和测试输入，高斯过程回归的预测分为推断和预测两步，不需要求解优化问题。推断过程假设要学习的函数服从高斯过程，给出模型的高斯先验概率分布，然后利用观测值和Bayesian规则，求出模型的高斯后验概率分布。当完成局部模型预测之后，各个计算节点将所得到的局部预测（期望和方差）发送至服务器，让服务器完成全局模型的计算，例如，利用平均聚合算法求取全局模型。但是在局部模型传输过程中，攻击者会窥探和窃取传输的局部预测值，使得局部模型的隐私性受到了威胁。
[0003]当计算节点完成模型预测，在将预测结果发送至服务器的过程中，这些预测结果无疑是脆弱的，敏感的，容易受到攻击者的窥探和破坏。例如攻击者将图像数据集中的数据进行更改，使得训练出来的模型与真实的模型相比，有一定的偏差，这会影响到准确模型的应用，甚至会带来经济损失。为了保证模型预测在传输过程中不被窃取，加密方法是一个好的选择。
[0004]但传统的加密方式均需要则需要在服务端和计算节点之间互相加密和解密对解密后的明文进行模型计算。如果并不希望让服务器知道局部预测模型或者说并不希望在服务器端获取到（包括解密后）局部预测模型，则当前的传统实现方式并不能实现。
[0005]因此，亟需一种有效的方案以解决上述问题。

技术实现思路

[0006]为解决上述问题，本专利技术提出一种基于同态加密的预测模型训练方法，包括：在计算节点基于训练数据训练局部预测模型，将所述局部预测模型通过同态加密算法进行加密，并将加密后的局部预测模型发送到服务端；在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。
[0007]在本专利技术的一些实施方式中，在计算节点基于训练数据训练局部预测模型包括：在计算节点基于对训练集投影得到训练子集，并通过所述训练子集基于高斯过程回归算法训练局部预测模型。
[0008]在本专利技术的一些实施方式中，在计算节点基于对训练集投影得到训练子集包括：
定义训练数据点之间的距离并基于所述训练距离定义数据点到训练数据集合的投影集合；通过所述投影集合并基于计算节点的训练数据确定局部投影集合，并根据所述投影集合确定所述计算节点的训练子集。
[0009]在本专利技术的一些实施方式中，根据所述投影集合确定所述计算节点的训练子集还包括：响应于在计算节点确定所述局部投影集合，从所述局部投影集合中取出每一个投影点，基于每一个投影点选取预定大小的邻域范围内的训练数据构建训练子集。
[0010]在本专利技术的一些实施方式中，方法还包括：根据计算节点的计算能力制定所述邻域范围、数据点之间的距离以及投影集合的大小。
[0011]在本专利技术的一些实施方式中，将所述局部预测模型通过同态加密算法进行加密包括：在计算节点基于同态加密算法构建公钥和私钥并通过公钥对所述局部预测模型进行加密。
[0012]在本专利技术的一些实施方式中，在服务端将收到的加密后的局部预测模型通过预定计算方式计算全局预测模型包括：响应于收到的多个加密后的局部预测模型根据所述同态加密算法的密文与明文的运算相关性，将多个加密后的局部预测模型进行相乘得到加密形式的全局预测模型。
[0013]在本专利技术的一些实施方式中，在计算节点通过同态加密算法对全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合包括：在计算节点基于私钥对收到的加密形式的全局预测模型进行解密得到中间全局预测模型；根据参与全局预测模型计算的局部预测模型个数对所述中间全局预测模型求平均值得到全局预测模型，并将所述全局预测模型与所述计算节点上的局部预测模型进行融合。
[0014]本专利技术的另一方面还提出一种基于同态加密的预测模型训练系统，包括：局部预测模型训练模块，所述局部预测模型训练模块配置用于在计算节点基于训练数据训练局部预测模型，并将所述局部预测模型通过同态加密算法进行加密，将加密后的局部预测模型发送到服务端；全局预测模型生成模块，所述全局预测模型生成模块配置用于在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；局部预测模型优化模块，所述局部预测模型优化模块配置用于在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。
[0015]在本专利技术的一些实施方式中，局部预测模型训练模块进一步配置用于：在计算节点基于对训练集投影得到训练子集，并通过所述训练子集基于高斯过程回归算法训练局部预测模型。
[0016]在本专利技术的一些实施方式中，所述局部预测模型训练模块进一步配置用于：定义训练数据点之间的距离并基于所述训练距离定义数据点到训练数据集合的投影集合；通过所述投影集合并基于计算节点的训练数据确定局部投影集合，并根据所述投影集合确定所述计算节点的训练子集。
[0017]在本专利技术的一些实施方式中，局部预测模型训练模块进一步配置用于：响应于在计算节点确定所述局部投影集合，从所述局部投影集合中取出每一个投影点，基于每一个投影点选取预定大小的邻域范围内的训练数据构建训练子集。
[0018]在本专利技术的一些实施方式中，局部预测模型训练模块进一步配置用于：根据计算节点的计算能力制定所述邻域范围、数据点之间的距离以及投影集合的大小。
[0019]在本专利技术的一些实施方式中，局部预测模型训练模块进一步配置用于：在计算节点基于同态加密算法构建公钥和私钥并通过公钥对所述局部预测模型进行加密。
[0020]在本专利技术的一些实施方式中，全局预测模型生成模块进一步配置用于：响应于收到的多个加密后的局部预测模型根据所述同态加密算法的密文与明文的运算相关性，将多个加密后的局部预测模型进行相乘得到加密形式的全局预测模型。
[0021]在本专利技术的一些实施方式中，局部预测模型优化模块进一步配置用于：在计算节点基于私钥对收到的加密形式的全局预测模型进行解密得到中间全局预测模型；根据参与全局预测模型计算的局部预测模型个数对所述中间全局预测模型求平均值得到全局预测模型，并将所述全局预测模型与所述计算节点上的局部预测模型进行融合。
[0022]本专利技术的又一方面还提出一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现上述实施方式中任意一项所述方法的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于同态加密的预测模型训练方法，其特征在于，包括：在计算节点基于训练数据训练局部预测模型，将所述局部预测模型通过同态加密算法进行加密，并将加密后的局部预测模型发送到服务端；在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。2.根据权利要求1所述的方法，其特征在于，所述在计算节点基于训练数据训练局部预测模型包括：在计算节点基于对训练集投影得到训练子集，并通过所述训练子集基于高斯过程回归算法训练局部预测模型。3.根据权利要求2所述的方法，其特征在于，所述在计算节点基于对训练集投影得到训练子集包括：定义训练数据点之间的距离并基于所述距离定义数据点到训练数据集合的投影集合；通过所述投影集合并基于计算节点的训练数据确定局部投影集合，并根据所述投影集合确定所述计算节点的训练子集。4.根据权利要求3所述的方法，其特征在于，所述根据所述投影集合确定所述计算节点的训练子集还包括：响应于在计算节点确定所述局部投影集合，从所述局部投影集合中取出每一个投影点，基于每一个投影点选取预定大小的邻域范围内的训练数据构建训练子集。5.根据权利要求4所述的方法，其特征在于，还包括：根据计算节点的计算能力制定所述邻域范围、数据点之间的距离以及投影集合的大小。6.根据权利要求1所述的方法，其特征在于，所述将所述局部预测模型通过同态加密算法进行加密包括：在计算节点基于同态加密算法构建公钥和私钥并通过公钥对所述局部预测模型进行加密。7.根据权利要求1所述的方法，其特征在于，所述在服务端将收到的加密后的局部预测模型通过预定计算方式计算全局预测模型包括：响应于收到的多个加密后的局部预测模型根据所述同态加密算法的密文与明文的运算相关性，将多个加密后的局部预测模型进行相乘得到加密形式的全局预测模型。8.根据权利要求1所述的方法，其特征在于，所述在计算节点通过同态加密算法对全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合包括：在计算节点基于私钥对收到的加密形式的全局预测模型进行解密得到中间全局预测模型；根据参与全局预测模型计算的局部预测模型个数对所述中间全局预测模型求平均值得到全局预测模型，并将所述全局预测模型与所述计算节点上的局部预测模型进行融合。9.一种基于同态加密的预测模型训练系统，其特征在于，包括：局部预测模型训练模块，在计算节点基于训练数据训练局部预测模型，并将所述局部
预测模型通过同态加密算法进行加密，将加密后的局部预测模型发送到服务端；全局预测模型生成模块，所述全局预测模型生成模块配置用于在服务端将收到的加密后的局部...

【专利技术属性】
技术研发人员：张旭，吴睿振，王小伟，孙华锦，王凛，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：