联邦集成学习方法、装置、设备和存储介质制造方法及图纸

本公开的实施例提供了一种联邦集成学习方法、装置、设备和计算机可读存储介质。该方法通过在各个参与方本地基于指数机制的差分隐私进行特征选择和模型选择，并将所选择的训练模型发送至联邦服务器用于集成融合，从而生成性能更优的联邦集成模型。通过该方法能够以明文形式将所选择的训练模型的参数发送至联邦服务器，而无需使用任何密码学方法，避免了基于密码学方法的密文膨胀问题，从而在保证无数据泄露风险的情况下实现更高效且低通信开销的联邦学习。此外，本公开的实施例所提供的方法还可以通过在参与方之间进行训练模型的直接传输而支持仅有两个参与方的场景，并且支持在无需联邦服务器的情况下多个参与方之间的直接通信与模型融合。直接通信与模型融合。直接通信与模型融合。

【技术实现步骤摘要】
联邦集成学习方法、装置、设备和存储介质


[0001]本公开涉及人工智能及机器人领域，更具体地，涉及一种联邦集成学习方法、装置、设备和存储介质。

技术介绍

[0002]为了保护用户隐私和出于商业利益竞争等考虑，数据合作面临很多困难，分散数据源的潜在价值未得以充分利用。近年来，联邦学习(Federated Leaming，FL)技术迅速发展，为跨部门、跨组织、跨行业的数据合作提供了新的解决思路，其目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升训练模型的效果。
[0003]由于攻击者可能从训练好的模型参数中反推出训练该模型时所使用的训练数据信息甚至原始训练数据，在传统的联邦学习方法中，参与方不能直接将其在本地训练好的模型参数以明文的方式发送给联邦服务器或其他参与方，而是通过基于密码学(或秘密分享)的方法发送加密形式的模型参数用于安全的模型融合，或者是通过基于高斯机制的随机梯度下降方法对生成的模型进行扰动，以此保护数据的安全性和隐私性。然而，对于基于密码学(或秘密分享)的方法，其通信开销较高，对网络通信带宽和稳定性都有较高要求，而对于基于高斯机制的随机梯度下降方法，其在参与方的数据分布不平衡的情况下难以生成有效的模型参数以保证联邦服务器所生成的融合模型的性能。
[0004]因此，需要一种高效且安全的联邦学习方法，使得可以以较低的通信开销实现可适用于多种场景的数据合作。

技术实现思路

[0005]为了解决上述问题，本公开基于指数机制的差分隐私来保护参与方的本地数据，参与方可以直接以明文的形式将本地模型参数发送至联邦服务器，降低了通信开销且不会有泄露训练数据的风险。
[0006]本公开的实施例提供了一种联邦集成学习方法、装置、设备和计算机可读存储介质。
[0007]本公开的实施例提供了一种联邦集成学习方法，包括：根据第一概率分布从参与方的特征集合中选择第一数量的特征，所述第一概率分布是基于指数机制针对所述参与方的特征集合获得的；基于所选择的第一数量的特征中的至少一部分特征，获得多个逻辑回归模型，并根据第二概率分布从所述多个逻辑回归模型中选择第二数量的逻辑回归模型，所述第二概率分布是基于指数机制针对所述多个逻辑回归模型获得的；以及向融合端发送所述第二数量的逻辑回归模型中的至少一部分逻辑回归模型，以基于所述至少一部分逻辑回归模型进行集成融合并生成联邦集成模型。
[0008]本公开的实施例还提供了一种联邦集成学习方法，包括：从多个参与方分别接收至少一个逻辑回归模型；对来自所述多个参与方的所有逻辑回归模型进行去重处理，以去除重复的逻辑回归模型；以及对经去重处理的逻辑回归模型进行集成融合，以生成联邦集
成模型；其中，对于所述多个参与方中的每个参与方，来自所述参与方的所述至少一个逻辑回归模型包括如上述联邦集成学习方法所述的第二数量的逻辑回归模型中的至少一部分逻辑回归模型。
[0009]本公开的实施例提供了一种联邦集成学习装置，包括：特征选择模块，被配置为根据第一概率分布从参与方的特征集合中选择第一数量的特征，所述第一概率分布是基于指数机制针对所述参与方的特征集合获得的；模型选择模块，被配置为基于所选择的第一数量的特征中的至少一部分特征，获得多个逻辑回归模型，并根据第二概率分布从所述多个逻辑回归模型中选择第二数量的逻辑回归模型，所述第二概率分布是基于指数机制针对所述多个逻辑回归模型获得的；以及模型发送模块，被配置为向融合端发送所述第二数量的逻辑回归模型中的至少一部分逻辑回归模型，以基于所述至少一部分逻辑回归模型进行集成融合并生成联邦集成模型。
[0010]本公开的实施例提供了一种联邦集成学习设备，包括：一个或多个处理器；以及一个或多个存储器，其中，所述一个或多个存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行如上所述的联邦集成学习方法。
[0011]本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在被处理器执行时用于实现如上所述的联邦集成学习方法。
[0012]本公开的实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行根据本公开的实施例的联邦集成学习方法。
[0013]本公开的实施例所提供的方法相比于传统的基于密码学或秘密分享的联邦学习方法而言，能够将训练所得的模型参数以明文形式发送至联邦服务器，每个参与方与联邦服务器之间仅有一次消息交互且传输数据量较小，显著降低了对通信网络的要求。
[0014]本公开的实施例所提供的方法相比于传统的基于随机梯度下降模型的联邦学习方法而言，可以在参与方数据分布不平衡的情况下训练出有效的模型参数，提高了联邦学习方法的稳定性。
[0015]本公开的实施例所提供的方法通过在各个参与方本地基于指数机制的差分隐私进行特征选择和模型选择，并将所选择的训练模型发送至联邦服务器用于集成融合，从而生成性能更优的联邦集成模型。通过本公开的实施例的方法能够以明文形式将所选择的训练模型的参数发送至联邦服务器，而无需使用任何密码学方法，避免了基于密码学方法的密文膨胀问题，从而在保证无数据泄露风险的情况下实现更高效且低通信开销的联邦学习。
[0016]此外，本公开的实施例所提供的方法还可以通过在参与方之间进行训练模型的直接传输而支持仅有两个参与方的场景，并且支持在无需联邦服务器的情况下多个参与方之间的直接通信与模型融合。
附图说明
[0017]为了更清楚地说明本公开的实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本公开的一些示例性实
施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0018]图1是示出根据本公开的实施例的基于密码学的横向联邦学习的示意图；
[0019]图2A是示出根据本公开的实施例的联邦集成学习方法的流程图；
[0020]图2B是示出根据本公开的实施例的联邦集成学习方法的示意图；
[0021]图3A是示出根据本公开的实施例的基于指数机制进行特征选择的流程图；
[0022]图3B是示出根据本公开的实施例的基于指数机制进行特征选择的示意图；
[0023]图4A是示出根据本公开的实施例的模型构造的流程图；
[0024]图4B是示出根据本公开的实施例的模型选择的流程图；
[0025]图4C是示出根据本公开的实施例的模型构造与选择的示意图；
[0026]图5是示出根据本公开的实施例的联邦集成学习方法的流程图；
[0027]图6A是示出根据本公开的实施例的经由融合中心进行模型融合的示意图；
[0028]图6B是示出根据本公开的实施例的不经由融合中心进行模型融合的示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦集成学习方法，包括：根据第一概率分布从参与方的特征集合中选择第一数量的特征，所述第一概率分布是基于指数机制针对所述参与方的特征集合获得的；基于所选择的第一数量的特征中的至少一部分特征，获得多个逻辑回归模型，并根据第二概率分布从所述多个逻辑回归模型中选择第二数量的逻辑回归模型，所述第二概率分布是基于指数机制针对所述多个逻辑回归模型获得的；以及向融合端发送所述第二数量的逻辑回归模型中的至少一部分逻辑回归模型，以基于所述至少一部分逻辑回归模型进行集成融合并生成联邦集成模型。2.如权利要求1所述的方法，其中，根据第一概率分布从参与方的特征集合中选择第一数量的特征包括：对于所述参与方的特征集合中的每个特征，确定所述特征的特征分数，所述特征分数是基于所述特征与所述参与方的多个样本所对应的类别标签的相关性来确定的；根据所述参与方的特征集合中的每个特征的特征分数，基于指数机制确定所述第一概率分布，所述第一概率分布包括所述参与方的特征集合中的每个特征被选择的概率；根据所述第一概率分布，从所述参与方的特征集合中选择一个特征；以及从所述参与方的特征集合中去除所选择的特征，以更新所述参与方的特征集合和所述第一概率分布，并基于所更新的特征集合和第一概率分布继续选择特征，直到所选择的特征的总数量达到所述第一数量。3.如权利要求2所述的方法，其中，所述参与方的多个样本中的每个样本对应于两个类别标签之一，对于每个所述特征，通过所述特征的翻转标识来指示所述特征与所述两个类别标签的相关性，其中，所述翻转标识为第一值的情况指示所述特征与所述两个类别标签中的第一类别标签同向相关，所述特征的特征分数包括基于所述特征与所述第一类别标签的同向相关性所确定的第一特征分数；所述翻转标识为第二值的情况指示所述特征与所述两个类别标签中的所述第一类别标签反向相关，所述特征的特征分数包括基于所述特征与所述第一类别标签的反向相关性所确定的第二特征分数。4.如权利要求3所述的方法，其中，根据所述参与方的特征集合中的每个特征的特征分数，基于指数机制确定所述第一概率分布包括：根据所述参与方的特征集合中的所有特征的第一特征分数和第二特征分数，对于所述参与方的特征集合中的每个特征，基于指数机制确定所述特征被选择的概率，所述概率包括与所述第一特征分数相关联的同向概率和与所述第二特征分数相关联的反向概率；其中，根据所述第一概率分布，从所述参与方的特征集合中选择一个特征包括：根据所述第一概率分布，从所述参与方的特征集合中选择一个特征，并确定所述特征的翻转标识，所述第一概率分布包括所述参与方的特征集合中的每个特征被选择的同向概率和反向概率。5.如权利要求2所述的方法，其中，基于所选择的第一数量的特征中的至少一部分特征，获得多个逻辑回归模型包括：确定所述第一数量的特征中的最优特征及其对应的一维逻辑回归模型，所述最优特征
的特征分数不小于所述第一数量的特征中的其他特征的特征分数；从所述第一数量的特征中的所述其他特征中随机选取预定数量的特征；以及对于所述最优特征和所选取的预定数量的特征，基于预定的权重取值空间构造多个逻辑回归模型，所述多个逻辑回归模型的数量与所述预定数量和所述预定的权重取值空间中所包括的权重取值数量相关。6.如权利要求5所述的方法，其中，根据第二概率分布从所述多个逻辑回归模型中选择第二数量的逻辑回归模型包括：基于所述多个逻辑回归模型对所述参与方的多个样本所对应的类别标签的预测结果，确定所述多个逻辑回归模型中的每个逻辑回归模型的模型分数；根据所述多个逻辑回归模型中的每个逻辑回归模型的模型分数，基于指数机制确定所述第二概率分布，所述第二概率分布包括所述多个逻辑回归模型中的每个逻辑回归模型被选择的概率；以及根据所述第二概率分布，从所述多个逻辑回归模型中选择一个逻辑回归模型；以及从所述多个逻辑回归模型中去除所选择的逻辑回归模型，以更新所述多个逻辑回归模型和所述第二概率分布，并基于所更新的多个逻辑回归模型和第二概率分布继续选择逻辑回归模型，直到所选择的逻辑回归模型的总数量达到所述第二数量。7.如权利要求6所述的方法，还包括：以预定次数从所述第一数量的特征中的所述其他特征中随机选取预定数量的特征；以及基于所述预定次数中的每一次所选取的预定数量的特征获得多个逻辑回归模型，并根据所述第二概率分布从所述多个逻辑回归模型中选择第二数量的逻辑回归模型，以获得第三数量的逻辑回归模型，其中所述第三数量为所述第二数量与所述预定次数的乘积，所述第三数量的逻辑回归模型包括以所述预定次数为组数的多组第二数量的逻辑回归模型。8.如权利要求7所述的方法，其中，向融合端发送所述第二数量的逻辑回归模型中的至少一部分逻辑回归模型包括：对于所述第三数量的逻辑回归模型中的每一组第二数量的逻辑回归模型，从所述第二数量的逻辑回归模型中确定比所确定的一维逻辑回归模型更优的逻辑回归模型，作为所述至少一部分逻辑回归模型；以及以明文的形式向所述融合端发送所述第三数量的逻辑回归模型中的每一组第二数量的逻辑回归模型中的所述至少一部分逻辑回归模型以及所述一维逻辑回归模型，其中，发送逻辑回归模型包括发送所述逻辑回归模型对应的特征的特征索引、翻转标识、以及模型权重参数。9.如权利要求8所述的方法，其中，从所述第二数量的逻辑回归模型中确定比所确定的一维逻辑回归模型更优的逻辑回归模型是基于所述第二数量的逻辑回归模型的模型分数与所述一维逻辑回归模型的模型分数的比较，其中，所述一维逻辑回归模型的模型分数是基于所述一维逻辑回归模型对所述参与方的多个样本所对应的类别标签...

【专利技术属性】
技术研发人员：程勇，蒋杰，韦康，刘煜宏，陈鹏，陶阳宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：