一种基于差分隐私和混沌加密的联邦学习方法技术

一种基于差分隐私和混沌加密的联邦学习方法。为了保护计算节点的本地数据信息不泄露，在迭代过程中，节点采用基于差分隐私的优化算法使用本地数据对模型进行训练，然后使用混沌加密算法对更新后的本地模型参数进行加密，并将本地模型参数密文上传至参数服务器。参数服务器，使用多个计算节点上传的加密模型参数对全局模型参数进行更新，并将更新后的全局模型参数密文发送至各计算节点。接着，计算节点对收到的全局模型参数密文进行解密，并载入本地模型中，进行下一次迭代训练。

【技术实现步骤摘要】
一种基于差分隐私和混沌加密的联邦学习方法
本专利技术属于信息安全和人工智能交叉
，尤其涉及一种基于联邦学习模型的训练方法。
技术介绍
联邦学习(Federatedmachinelearning/FederatedLearning)，是一种分布式学习算法，可以在多个分散的数据库或服务器上训练机器学习模型，这些设备不共享本地数据库储存的数据，而是通过分享其本地训练的模型参数。在联邦学习系统中，参数服务器向多个计算节点发送一个初始化的深度学习模型。然后，各计算节点使用本地数据库中的数据训练本地模型，训练一次后，将计算出的模型参数梯度发送至参数服务器。接收到各计算节点发送的梯度参数后，参数服务器使用随机梯度下降法对全局模型的权重参数进行更新，并将更新后的权重参数发送给所有计算节点。以上训练过程多次迭代，直至达到训练设定条件。如此，可以使得计算节点的本地数据不用上传分享，并且能够多个计算节点共同协作训练机器学习模型。申请号为CN202011205945.9(公开号：CN112565331A)的中国专利技术专利申请公开了一种基于边缘计算的端-边协同联邦学习优化方法。该申请公开的联邦学习系统没有对边缘节点的本地数据资源进行隐私保护。在某些场景下，边缘节点上传的模型参数可能会泄露本地数据隐私信息。
技术实现思路
本专利技术目的是解决联邦学习系统中存在的计算节点数据隐私泄露和隐私保护计算成本高昂的问题，提供一种基于差分隐私和混沌加密的联邦学习方法。本专利技术的技术方案如下>一种基于差分隐私和混沌加密的联邦学习(模型训练)方法，应用于包括参数服务器与N个计算节点的联邦学习系统，N＞1的整数，所述方法是在联邦学习训练的第i次(i>0)迭代中，执行如下操作：第1、所述参数服务端将模型参数集合下发给Ni个计算节点；其中，Ni≤N，所述Ni个计算节点中存在Nti个目标计算节点；所述模型对应的类型包括：神经网络模型、卷积神经网络模型、LSTM神经网络模型、GAN神经网络模型以及深度信念神经网络模型；针对所述N个计算节点中的任一计算节点，若该计算节点在接收到模型参数集合之后，继续处于在线状态直至第i次迭代结束，则该节点属于目标类型计算节点；第2、第k(0≤k≤N)个目标计算节点从参数服务器下载加密状态下的全局模型权重参数密文Enc(wglobal)，并对Enc(wglobal)进行解密，得到全局模型参数wglobal；第3、第k个目标计算节点将全局模型参数wglobal加载至本地模型，并根据所述全局模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作对本地模型进行训练，得到本地模型更新的权重参数wnode,k；具体包括：第3.1、第k个目标计算节点从本地数据库随机抽取批次大小为bk(bk大于0并且小于等于该节点所有样本的个数)的训练样本；第3.2、第k个目标计算节点根据所述全局模型参数集合与所抽取的训练样本执行梯度计算，得到梯度参数▽wnode,k；第3.3、第k个目标计算节点对梯度参数▽wnode,k进行裁剪得到裁剪梯度参数Cwnode,k；第3.4、第k个目标计算节点对所述的裁剪梯度参数Cwnode,k添加噪声Noise，获得经过差分隐私处理的本地模型梯度参数Dwnode,k；第3.5、第k个目标计算节点使用优化算法，根据所获得的参数Dwnode,k计算本地模型的权重参数wnode,k第4、第k个目标计算节点使用混沌加密算法对本地模型的权重参数wnode,k进行加密，得到本地模型参数密文Enc(wnode,k)，并将Enc(wnode,k)上传至参数服务器；使用混沌加密算法获得本地模型参数密文Enc(wnode,k)，具体包括：第k个目标计算节点使用混沌系统生成伪随机数列Ri；第k个目标计算节点根据所述的伪随机数列Ri对本地模型参数进行置乱、加法、减法操作，得到Enc(wnode,k)；第5、所述的参数服务器基于各计算节点上传的模型参数密文Enc(wnode,k)，更新全局模型参数密文Enc(wglobal)，并将更新后的全局模型参数密文Enc(wglobal)发送至于各计算节点。更新全局模型权重参数密文Enc(wglobal)的方法，具体包括：所述参数服务器计算所述各目标计算节点k的重要度αk,i；所述参数服务器根据各目标计算节点的重要度和所述的本地模型参数密文，计算全局模型参数密文所述参数服务器在指定时间内收到目标计算节点上传的Enc(wnode,k)的个数大于或等于Nmin，则对各节点上传的参数Enc(wnode,k)进行加权聚合得到Enc(wglobal)，其中Nmin为：第i次迭代中，参与联邦学习的计算节点数量的下限值；若所述参数服务器接收到的Enc(wnode,k)的个数小于Nmin，则停止本次迭代，并进入下一次迭代。本专利技术同时提供了一种联邦学习系统，包括参数服务器与N个计算节点，N＞1的整数；所述参数服务器，在联邦训练的第i次迭代中，根据各计算节点上传的Enc(wnode,k)更新全局模型参数，得到Enc(wglobal)，并将Enc(wglobal)发送至各计算节点；第k个计算节点，对Enc(wglobal)进行解密得到wglobal，将wglobal加载入本地模型，使用基于差分隐私的优化算法对模型进行训练，得到本地模型更新后的参数wnode,k，其中，k＝(1,…,N)；使用混沌加密算法对本地模型参数进行加密得到Enc(wnode,k)，再上传至参数服务器。本专利技术还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上所述的方法。通过本专利技术，可以在基于联邦学习框架实现服务端与各计算节点联合训练模型的前提下，实现服务端向计算节点隐藏模型参数，从而避免计算节点根据模型参数破解模型。由于基于差分隐私的优化算法能够满足差分隐私保护的敏感度要求，即既可以保护各计算节点的本地训练样本的差分隐私，又不会破坏加噪混淆后的梯度之和的可用性，因此，这使得服务端既无法通过差分攻击的方式，由加噪混淆后的梯度之和推断出各计算节点的本地训练数据，又可以根据加噪混淆后的梯度之和更新模型参数。由于混沌加密算法能够满足数据安全性的要求，即既可以保护各节点上传的本地模型参数数据，又不会破坏加密后的梯度之和的可用性，因此，这使得服务端既无法通过获取各节点的本地模型参数数据。本专利技术的优点和有益效果：(一)：相比于传统的联邦算法，本专利技术算法在此基础上引入差分隐私技术，从而保护计算节点的隐私信息。(二)：本专利技术算法使用将图像领域中的混沌加密方法引入联邦学习领域中，通过对计算节点上传的模型参数混沌加密，从而进一步提升对计算节点的本地数据隐私保护水平，并且参数服务器无法获得全局模型参数。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性本文档来自技高网...

【技术保护点】
1.一种基于差分隐私和混沌加密的联邦学习方法，应用于包括参数服务器与N个计算节点的联邦学习系统，N＞1的整数，所述方法是在联邦学习训练的第i、i>0、次迭代中，执行如下操作：/n第1、所述参数服务端将模型参数集合下发给N

【技术特征摘要】
1.一种基于差分隐私和混沌加密的联邦学习方法，应用于包括参数服务器与N个计算节点的联邦学习系统，N＞1的整数，所述方法是在联邦学习训练的第i、i>0、次迭代中，执行如下操作：
第1、所述参数服务端将模型参数集合下发给Ni个计算节点；其中，Ni≤N，所述Ni个计算节点中存在Nti个目标计算节点；
第2、第k、0≤k≤N、个目标计算节点从参数服务器下载加密状态下的全局模型权重参数密文Enc(wglobal)，并对Enc(wglobal)进行解密，得到全局模型参数wglobal；
第3、第k个目标计算节点将全局模型参数wglobal加载至本地模型，并根据所述全局模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作对本地模型进行训练，得到本地模型更新的权重参数wnode,k；
第4、第k个目标计算节点使用混沌加密算法对本地模型的权重参数wnode,k进行加密，得到本地模型参数密文Enc(wnode,k)，并将Enc(wnode,k)上传至参数服务器；
第5、所述的参数服务器基于各计算节点上传的模型参数密文Enc(wnode,k)，更新全局模型参数密文Enc(wglobal),并将更新后的全局模型参数密文发送至各计算节点。


2.如权利要求1所述的方法，其特征在于，针对所述N个计算节点中的任一计算节点，若该计算节点在接收到模型参数集合之后，继续处于在线状态直至第i次迭代结束，则该节点属于目标类型计算节点。


3.如权利要求1所述的方法，其特征在于，第k个目标计算节点将全局模型参数wglobal加载至本地模型，并使用基于差分隐私的优化算法对本地模型进行训练，具体包括：
第3.1、第k个目标计算节点从本地数据库随机抽取批次大小为bk的训练样本，其中bk大于0且小于本地数据样本个数；
第3.2、第k个目标计算节点根据所述全局模型参数集合与所抽取的训练样本执行梯度计算，得到梯度参数▽wnode,k；
第3.3、第k个目标计算节点对梯度参数▽wnode,k进行裁剪得到裁剪梯度参数Cwnode,k；
第3.4、第k个目标计算节点对所述的裁剪梯度参数Cwnode,k添加噪声Noise，获得经过差分隐私处理的本地模型梯度参数Dwnode,k；
第3.5、第k个目标计算节点使用优化算法，根据所获得的参数Dwnode,k计算本地模型的权重参数wnode,k。


4.如权利要求3所述的方法，其特征在于，所述的优化算法具体包括：梯度下降法，动量梯度下降法，Adam算法，Adagrad算法和RMSProp。


5.如权利...

【专利技术属性】
技术研发人员：高铁杠，张泽辉，何宁昕，
申请(专利权)人：南开大学，
类型：发明
国别省市：天津;12