一种用于横向联邦学习的优化方法技术

本发明专利技术属于联邦学习以及大数据技术领域，具体涉及一种用于横向联邦学习的优化方法，包括以下步骤：S1、客户端采集数据，并对数据进行预处理；S2、通过SMOTE‑Non‑IID模型处理客户端的数据；S3、通过横向联邦学习中的客户端‑服务器架构，结合数据生成环境，进行SMOTE‑Non‑IID模型训练；S4、得到SMOTE‑Non‑IID的优化模型，通过预测以得到评估结果；本发明专利技术每个客户端采用SMOTE算法合成数据，同时接收来自其他客户端的合成数据，有效处理联邦学习中数据异构性问题，能够保证较高预测准确率。

【技术实现步骤摘要】
一种用于横向联邦学习的优化方法
本专利技术属于联邦学习以及大数据
，具体涉及一种用于横向联邦学习的优化方法。
技术介绍
在人工智能应用过程中，企业以及其他组织很难获取大量优质数据用于AI模型效果提升。不同组织之间出于利益考量往往不提供各自数据进行聚合，导致数据以孤岛形式存在；同时国内外监管环境也在逐步加强数据管理，陆续出台相关隐私保护政策。因此未来在不同组织之间进行数据的整合工作将是十分有挑战性的，如何在遵守更为严格隐私保护条例下解决数据碎片化和数据隔离的问题是当前人工智能研究者和实践者面临的首要挑战。为了解决目前存在的数据孤岛以及隐私保护问题，学者们开始使用联邦学习的方法来对AI模型效果进行提升，力求在保证数据隐私安全及合法合规的基础上实现共同建模，提升AI模型效果。根据每个参与共同建模的企业(参与方)数据分布的不同，联邦学习分为：横向联邦学习、纵向联邦学习以及联邦迁移学习。其中横向联邦学习适用于业态相同但触达客户不同，即特征重叠多、用户重叠少的场景，比如不同地区的银行间，它们的业务相似(特征相似)但用户不同(样本不同)。...

【技术保护点】
1.一种用于横向联邦学习的优化方法，其特征在于，包括以下步骤：/nS1、客户端采集数据，并对数据进行预处理；/nS2、通过SMOTE-Non-IID模型处理客户端的数据；/nS3、通过横向联邦学习中的客户端-服务器架构，结合数据生成环境，进行SMOTE-Non-IID模型训练；/nS4、得到SMOTE-Non-IID的优化模型，通过预测以得到评估结果。/n

【技术特征摘要】
1.一种用于横向联邦学习的优化方法，其特征在于，包括以下步骤：
S1、客户端采集数据，并对数据进行预处理；
S2、通过SMOTE-Non-IID模型处理客户端的数据；
S3、通过横向联邦学习中的客户端-服务器架构，结合数据生成环境，进行SMOTE-Non-IID模型训练；
S4、得到SMOTE-Non-IID的优化模型，通过预测以得到评估结果。


2.根据权利要求1所述的一种用于横向联邦学习的优化方法，其特征在于，所述步骤S1中，通过采集特征相似、样本不同的来源数据，模拟现实场景中业态相似、触达客户不同的客户端，并对数据进行归一化预处理。


3.根据权利要求1所述的一种用于横向联邦学习的优化方法，其特征在于，所述步骤S2包括：
S2-1、将客户端按照标签进行分类，使得客户端数量等于标签数量，以使每个客户端有且仅有一个标签；
S2-2、数个客户端分别使用SMOTE算法生成合成数据，并将合成数据传递给服务器，由服务器将合成数据分配给各个客户端，以实现IID分布。


4.根据权利要求3所述的一种用于横向联邦学习的优化方法，其特征在于，所述SMOTE算法具体包括：
S2-2-1：对于少数类中的每一个样本，以欧氏距离为标准计算得到少数类样本集中所有样本的距离，得到其k近邻；
S2-2-2：根据样本不平衡比例设置采样倍率N，对于每一个少数类样本x，从其k近邻中随机选取若干个样本，假设选择的近邻为xn；
S2-2-3：对于每一个随机选出的近邻xn，分别与原样本构...

【专利技术属性】
技术研发人员：张忠良，程慧慧，陈琼，雒兴刚，蔡灵莎，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33