联邦学习方法、设备、系统和存储介质技术方案

本申请提供一种联邦学习方法、设备、系统和存储介质，进行联邦学习的参与方包括部署有第一网络模型的第一设备和部署有第二网络模型的第二设备。该方法包括：第一设备获取第一网络模型中第一隐藏层输出的第一特征数据，对第一特征数据进行有界激活函数的激活处理，对激活处理后的第一特征数据进行差分隐私处理以得到包含噪声的第一特征数据，对包含噪声的第一特征数据进行降噪处理，将降噪处理后的第一特征数据发送至第二设备。第二设备根据第二网络模型中第二隐藏层输出的第二特征数据与降噪处理后的第一特征数据的聚合结果，得到输出结果，第二特征数据与第一特征数据对应于同一用户。通过本方案可以在纵向联邦学习过程中进行数据隐私保护。进行数据隐私保护。进行数据隐私保护。

【技术实现步骤摘要】
联邦学习方法、设备、系统和存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种联邦学习方法、设备、系统和存储介质。

技术介绍

[0002]联邦学习是一种分布式机器学习的技术，是在多个数据参与方之间共同开展的机器学习技术，通过交换多参与方机器学习模型的中间参数信息，保证各参与方本地原始数据不出库的情况下，实现模型的联合训练与联合预测。联邦学习的目标是在法律要求的前提下，保证训练用数据的隐私、安全、合规使用，同时通过分布式训练的方式提高模型训练的效率。根据多参与方数据分布的不同，联邦学习可以分为横向联邦学习、纵向联邦学习以及联邦迁移学习。
[0003]在联邦学习过程中，将拥有数据和标签的参与方称为数据使用方，将仅持有数据的参与方称为数据加持方。传统的纵向联邦学习过程中，数据加持方将本地神经网络模型输出的中间网络参数发送至数据使用方，数据使用方将本地训练得到的网络参数与从数据加持方接收的中间网络参数进行融合，进而进行损失梯度的计算，通过反向传播过程以更新数据加持方和数据使用方的模型参数，以完成联合训练。
[0004]在上述联合训练过程中，原始数据未被进行交换，可以保护数据隐私。但是，被交换的中间网络参数中可能包含一些能够被反推出的隐私信息，也需要进行保护。

技术实现思路

[0005]本专利技术实施例提供一种联邦学习方法、设备、系统和存储介质，用以在纵向联邦学习过程中进行数据隐私的安全保护。
[0006]第一方面，本专利技术实施例提供一种联邦学习方法，进行联邦学习的参与方包括第一设备和第二设备，所述第一设备中部署有第一网络模型，所述第二设备中部署有第二网络模型；所述方法包括：
[0007]第一设备获取第一网络模型中第一隐藏层输出的第一特征数据；
[0008]第一设备对所述第一特征数据进行有界激活函数的激活处理；
[0009]第一设备对激活处理后的第一特征数据进行差分隐私处理，以得到包含噪声的第一特征数据；
[0010]第一设备对包含噪声的第一特征数据进行降噪处理；
[0011]第一设备将降噪处理后的第一特征数据发送至第二设备，以使所述第二设备将第二网络模型中第二隐藏层输出的第二特征数据与所述降噪处理后的第一特征数据的聚合结果输入所述第二网络模型中输出层，得到输出结果，其中，所述第二特征数据与所述第一特征数据对应于同一用户。
[0012]第二方面，本专利技术实施例提供一种联邦学习装置，进行联邦学习的参与方包括第一设备和第二设备，所述第一设备中部署有第一网络模型，所述第二设备中部署有第二网
络模型；所述装置位于第一设备，其中包括：
[0013]获取模块，用于获取第一网络模型中第一隐藏层输出的第一特征数据；
[0014]处理模块，用于对所述第一特征数据进行有界激活函数的激活处理；第一设备对激活处理后的第一特征数据进行差分隐私处理，以得到包含噪声的第一特征数据；第一设备对包含噪声的第一特征数据进行降噪处理；
[0015]发送模块，用于将降噪处理后的第一特征数据发送至第二设备，以使所述第二设备将第二网络模型中第二隐藏层输出的第二特征数据与所述降噪处理后的第一特征数据的聚合结果输入所述第二网络模型中输出层，得到输出结果，其中，所述第二特征数据与所述第一特征数据对应于同一用户。
[0016]第三方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如第一方面所述的联邦学习方法。
[0017]第四方面，本专利技术实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如第一方面所述的联邦学习方法。
[0018]第五方面，本专利技术实施例提供一种联邦学习方法，进行联邦学习的参与方包括第一设备和第二设备，所述第一设备中部署有第一网络模型，所述第二设备中部署有第二网络模型；所述方法包括：
[0019]第二设备接收第一设备发送的降噪处理后的第一特征数据；其中，第一设备获取第一网络模型中第一隐藏层输出的第一特征数据，对所述第一特征数据进行有界激活函数的激活处理，对激活处理后的第一特征数据进行差分隐私处理以得到包含噪声的第一特征数据后，对包含噪声的第一特征数据进行降噪处理以得到所述降噪处理后的第一特征数据；
[0020]第二设备将第二网络模型中第二隐藏层输出的第二特征数据与所述降噪处理后的第一特征数据输入所述第二网络模型中聚合层，以得到聚合结果；其中，所述第二特征数据与所述第一特征数据对应于同一用户；
[0021]第二设备将所述聚合结合输入所述第二网络模型中输出层，得到输出结果。
[0022]第六方面，本专利技术实施例提供一种联邦学习装置，进行联邦学习的参与方包括第一设备和第二设备，所述第一设备中部署有第一网络模型，所述第二设备中部署有第二网络模型；所述装置位于第二设备，其中包括：
[0023]接收模块，用于接收第一设备发送的降噪处理后的第一特征数据；其中，第一设备获取第一网络模型中第一隐藏层输出的第一特征数据，对所述第一特征数据进行有界激活函数的激活处理，对激活处理后的第一特征数据进行差分隐私处理以得到包含噪声的第一特征数据后，对包含噪声的第一特征数据进行降噪处理以得到所述降噪处理后的第一特征数据；
[0024]聚合模块，用于第二设备将第二网络模型中第二隐藏层输出的第二特征数据与所述降噪处理后的第一特征数据输入所述第二网络模型中聚合层，以得到聚合结果；其中，所述第二特征数据与所述第一特征数据对应于同一用户；
[0025]输出模块，用于第二设备将所述聚合结合输入所述第二网络模型中输出层，得到
输出结果。
[0026]第七方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如第五方面所述的联邦学习方法。
[0027]第八方面，本专利技术实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如第五方面所述的联邦学习方法。
[0028]第九方面，本专利技术实施例提供一种联邦学习系统，包括：
[0029]参与联邦学习的第一设备和第二设备，所述第一设备中部署有第一网络模型，所述第二设备中部署有第二网络模型；
[0030]第一设备，用于获取第一网络模型中第一隐藏层输出的第一特征数据，对所述第一特征数据进行有界激活函数的激活处理，对激活处理后的第一特征数据进行差分隐私处理以得到包含噪声的第一特征数据，对包含噪声的第一特征数据进行降噪处理，将降噪处理后的第一特征数据发送至第二设备；
[0031]第二设备，用于获取第二网络模型中第二隐藏层输出的第二特征数据，将所述第二特征数据与所述降噪处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习方法，其特征在于，进行联邦学习的参与方包括第一设备和第二设备，所述第一设备中部署有第一网络模型，所述第二设备中部署有第二网络模型；所述方法包括：第一设备获取第一网络模型中第一隐藏层输出的第一特征数据；第一设备对所述第一特征数据进行有界激活函数的激活处理；第一设备对激活处理后的第一特征数据进行差分隐私处理，以得到包含噪声的第一特征数据；第一设备对包含噪声的第一特征数据进行降噪处理；第一设备将降噪处理后的第一特征数据发送至第二设备，以使所述第二设备将第二网络模型中第二隐藏层输出的第二特征数据与所述降噪处理后的第一特征数据的聚合结果输入所述第二网络模型中输出层，得到输出结果，其中，所述第二特征数据与所述第一特征数据对应于同一用户。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：第一设备接收第二设备反馈的降噪处理后的第一损失梯度，其中，所述第二设备根据所述输出结果确定对应于所述第一设备的第一损失梯度和对应于所述第二设备的第二损失梯度，并对第一损失梯度进行差分隐私处理以得到包含噪声的第一损失梯度，以及对包含噪声的第一损失梯度进行降噪处理后，将降噪处理后的第一损失梯度发送至第一设备；其中，所述第二设备根据所述第二损失梯度更新所述第二网络模型的参数；第一设备根据所述降噪处理后的第一损失梯度更新所述第一网络模型的参数。3.根据权利要求2所述的方法，其特征在于，所述第一设备根据所述降噪处理后的第一损失梯度更新所述第一网络模型的参数，包括：第一设备对所述降噪处理后的第一损失梯度进行有界激活函数的激活处理，以将激活处理后的第一损失梯度输入所述第一网络模型中第一隐藏层，以在反向传播过程中更新所述第一网络模型的参数。4.根据权利要求1所述的方法，其特征在于，所述第一设备对所述第一特征数据进行有界函数的激活处理之前，还包括：第一设备对所述第一特征数据进行归一化处理。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：第一设备根据所述第一特征数据中加入的噪声的方差，与所述有界激活函数对应的敏感度，设定的隐私置信度，设定的模型训练轮数，每轮训练过程中使用的样本数量以及设定的样本总数，确定前向传播过程对应的总隐私预算。6.一种联邦学习方法，其特征在于，进行联邦学习的参与方包括第一设备和第二设备，所述第一设备中部署有第一网络模型，所述第二设备中部署有第二网络模型；所述方法包括：第二设备接收第一设备发送的降噪处理后的第一特征数据；其中，第一设备获取第一网络模型中第一隐藏层输出的第一特征数据，对所述第一特征数据进行有界激活函数的激活处理，对激活处理后的第一特征数据进行差分隐私处理以得到包含噪声的第一特征数据后，对包含噪声的第一特征数据进行降噪处理以得到所述降噪处理后的第一特征数据；第二设备将第二网络模型中第二隐藏层输出的第二特征数据与所述降噪处理后的第
一特征数据输入所述第二网络模型中聚合层，以得到聚合结果；其中，所述第二特征数据与所述第一特征数据对应于同一用户；第二设备将所述聚合结合输入所述第二网络模型中输出层...

【专利技术属性】
技术研发人员：朋新宇，李双，彭立，王嘉义，
申请(专利权)人：浙江大学，
类型：发明
国别省市：