一种轻量级分布式联邦学习系统及方法技术方案

本发明专利技术公开了一种轻量级分布式联邦学习系统及方法，包括主控制端节点和多个协同端节点，特征处理模块：用于主控制端通过特征预处理接口，调度各协同端节点进行联合特征处理；模型训练模块：用于主控制端通过模型训练接口，调度各协同端节点进行联邦学习的模型训练；模型评估模块：用于主控制端通过模型评估接口，聚合各协同端节点的预测结果并评估模型性能。本发明专利技术的有益效果在于：本发明专利技术通过特征处理、模型训练、模型评估模块，快速集成各类开源机器学习库；无论联邦学习模型是否使用梯度训练，都可使用此框架，针对不同业务，开发周期和开发成本低，能迅速落地，且能保障各参与方的数据安全。

【技术实现步骤摘要】
一种轻量级分布式联邦学习系统及方法
本专利技术涉及机器学习领域，尤其涉及一种轻量级分布式联邦学习系统及方法。
技术介绍
随着大数据时代的发展，数据安全越来越被重视，法规也在不断完善。由于联邦学习技术能保障数据隐私和安全，因此也越来越被重视。联邦学习是指多个客户端进行联合建模(机器学习或者深度学习模型)，并且在整个学习过程中，客户端的数据并未将本地数据暴露给其他方，能够保证数据隐私和安全。现有联邦学习技术中，模型训练大多是基于梯度值训练，也就是说会依赖能进行梯度训练的模型，对于不满足梯度训练的模型，每次需要重新定制联邦学习流程，效率有待提高；对于不同业务，定制联邦学习算法流程的效率也有待提高。并且，现有技术需要重新实现底层、无法重用现有大量开源库。
技术实现思路
本专利技术提供一种轻量级分布式联邦学习框架及实现方法，用以解决现有联邦学习需要重新实现底层、无法重用现有大量开源库，不满足梯度训练的模型定制联邦学习效率低以及不同业务定制联邦学习效率低的问题。本专利技术通过以下技术方案实现：一种轻量级分布式联邦学习系统，包括主控制端节点和多个协同端节点，其中，还包括：特征处理模块：用于主控制端节点通过特征预处理接口，调度各协同端节点进行联合特征处理；模型训练模块：用于主控制端节点通过模型训练接口，调度各协同端节点进行联邦学习的模型训练；模型评估模块：用于主控制端节点通过模型评估接口，聚合各协同端节点的预测结果并评估模型性能；所述主控制端节点通过加密通信通道与多个协同端节点进行通信。进一步的，所述特征预处理接口具体包括：预处理中间接口：主控制端将联邦学习配置信息分发至协同端，调度协同端根据配置信息分割数据集，对本地样本的局部特征预处理中间指标进行计算，并返回计算的中间指标；聚合预处理中间指标接口：主控制端通过对各协同端的特征预处理中间指标进行聚合处理，得到聚合的特征预处理指标；预处理同步接口：主控制端将聚合的特征预处理指标分发至协同端，调度协同端根据聚合特征预处理指标，在本地构建预处理器；预处理接口：协同端通过构建的预处理器，分别对本地训练数据和测试数据进行数据预处理。进一步的，所述模型训练接口具体包括：协同节点模型训练接口：主控制端将模型训练参数分发至协同端，协同端通过预处理器进行预处理，按模型训练参数的要求训练单模型或者交叉验证的多模型，并返回训练后的模型参数；联邦模型训练接口：主控制端配置模型训练参数，动态调度各协同端节点的模型训练接口；各协同端节点都完成一次训练后，主控制端节点完成协同训练，得到最终的联邦模型参数。进一步的，所述模型评估接口具体包括：模型同步接口：主控制端把联邦模型参数分发至协同端，要求协同端同步使用统一的联邦模型；模型预测接口：主控制端要求协同端利用联邦模型对本地训练数据和测试数据分别进行预测，并返回预测结果；模型交叉验证接口：主控制端调用协同端的模型训练接口，要求每个协同端按固定方式切割数据集，并同时训练多个模型；主控制端调用协同端的模型同步接口，要求协同端同步多个模型；主控制端调用协同端的模型预测接口，要求协同端利用多个模型，基于对应的测试数据集进行预测，并返回预测结果；主控制端汇总计算各协同端的交叉验证预测结果，得到交叉验证指标；模型报告接口：主控制端调用模型交叉验证接口，完成交叉验证指标的计算；主控制端调用模型同步接口，要求协同端同步使用联邦模型；主控制端调用模型预测接口，聚合各协同端返回的预测结果，并完成模型评估报告指标的计算；模型选择接口：主控制端节点通过调参算法迭代更新模型超参数组合，基于每个参数组合，调用模型交叉验证接口，得到交叉验证指标；主控制端节点根据多个超参数组合的交叉验证结果，选定最优参数组合。一种轻量级分布式联邦学习方法，包括以下步骤：S1.主控制端将联邦学习配置文件的训练信息下发至各协同端；S2.主控制端调用各协同端进行联合特征处理；S3.主控制端调用各协同端进行协同模型训练；S4.主控制端调用各协同端进行协同模型评估。进一步的，所述步骤S2联合特征处理具体包括以下子步骤：S201.主控制端调用各协同端的预处理中间接口，要求协同端利用本地数据切分训练测试集，计算并返回特征中间指标；S202.主控制端将各协同端的特征中间指标进行聚合处理；S203.主控制端将聚合的特征预处理指标发送至各协同端，并发起预处理信息同步指令，在各协同端完成预处理器的构建。进一步的，所述步骤S3协同模型训练具体包括以下子步骤：S301.控制端配置模型初始化参数以及交叉验证的参数，动态调度各协同端节点的模型训练接口，要求协同端首先利用预处理器进行预处理，然后根据模型训练参数训练单模型或者交叉验证的多模型；S302.各协同端节点都完成一次训练后，主控端节点完成协同训练，得到最终的联合模型参数。进一步的，所述步骤S4协同模型评估具体包括以下子步骤：S401.主控制端调用模型交叉验证接口，完成交叉验证指标的计算；S402.主控制端向各协同端发起模型同步指令；S403.主控制端发起模型预测指令；S404.主控制端调用模型报告接口，聚合各协同端的预测结果，并计算模型评估报告的指标，得到模型评估报告。本专利技术的有益效果：(1)本专利技术提出了轻量级通用的框架，包括特征处理、模型训练、模型评估多个环节，能快速集成各类开源机器学习库；(2)无论联邦学习模型是否使用梯度训练，都可使用此框架，针对不同业务，开发周期和开发成本低，能迅速落地，且能保障各参与方的数据安全。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的系统结构框图；图2为本专利技术的框架结构示意图；图3为本专利技术实施例的一种轻量级分布式联邦学习框架的机器学习任务交互示意图；图4为本专利技术实施例的一种轻量级分布式联邦学习框架的接口交互示意图；图5为本专利技术实施例的一种轻量级分布式联邦学习框架的标准化特征处理示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。实施例1如图1，图2所所示，一种轻量级分布式联邦学习系统，包括主控制端节点和多个协同端节点，还包括：特征处理模块：用于主控制端节点通过特征预处理接口，调度各协同端节点进行联合特征处理；模型训练模块：用于主控制端节点通过模型训练接口，调度各协同端节点进行联邦学习的模型训练；...

【技术保护点】
1.一种轻量级分布式联邦学习系统，包括主控制端节点和多个协同端节点，其特征在于，还包括：/n特征处理模块：用于主控制端节点通过特征预处理接口，调度各协同端节点进行联合特征处理；/n模型训练模块：用于主控制端节点通过模型训练接口，调度各协同端节点进行联邦学习的模型训练；/n模型评估模块：用于主控制端节点通过模型评估接口，聚合各协同端节点的预测结果并评估模型性能；/n所述主控制端节点通过加密通信通道与协同端节点进行通信。/n

【技术特征摘要】
1.一种轻量级分布式联邦学习系统，包括主控制端节点和多个协同端节点，其特征在于，还包括：
特征处理模块：用于主控制端节点通过特征预处理接口，调度各协同端节点进行联合特征处理；
模型训练模块：用于主控制端节点通过模型训练接口，调度各协同端节点进行联邦学习的模型训练；
模型评估模块：用于主控制端节点通过模型评估接口，聚合各协同端节点的预测结果并评估模型性能；
所述主控制端节点通过加密通信通道与协同端节点进行通信。


2.根据权利要求1所述的一种轻量级分布式联邦学习系统，其特征在于，所述特征预处理接口具体包括：
预处理中间接口：主控制端将联邦学习配置信息分发至协同端，调度协同端根据配置信息分割数据集，对本地样本的局部特征预处理中间指标进行计算，并返回计算的中间指标；
聚合预处理中间指标接口：主控制端通过对各协同端的特征预处理中间指标进行聚合处理，得到聚合的特征预处理指标；
预处理同步接口：主控制端将聚合的特征预处理指标分发至协同端，调度协同端根据聚合特征预处理指标，在本地构建预处理器；
预处理接口：协同端通过构建的预处理器，分别对本地训练数据和测试数据进行数据预处理。


3.根据权利要求1所述的一种轻量级分布式联邦学习系统，其特征在于，所述模型训练接口具体包括：
协同节点模型训练接口：主控制端将模型训练参数分发至协同端，协同端通过预处理器进行预处理，按模型训练参数的要求训练单模型或者交叉验证的多模型，并返回训练后的模型参数；
联邦模型训练接口：主控制端配置模型训练参数，动态调度各协同端节点的模型训练接口；当各协同端节点都完成一次训练，主控制端节点完成协同训练，得到联邦模型参数。


4.根据权利要求1所述的一种轻量级分布式联邦学习系统，其特征在于，所述模型评估接口具体包括：
模型同步接口：主控制端将联邦模型参数分发至协同端，要求协同端同步使用统一的联邦模型；
模型预测接口：主控制端要求协同端利用联邦模型对本地训练数据和测试数据分别进行预测，并返回预测结果；
模型交叉验证接口：主控制端调用协同端的模型训练接口，要求每个协同端按固定方式切割数据集，并同时训练多个模型；主控制端调用协同端的模型同步接口，要求协同端同步多个模型；主控制端调用协同端的模型预测接口，要求协同端利用多个模型，基于对应的测试数据集进...

【专利技术属性】
技术研发人员：顾见军，邓旭宏，周宇峰，
申请(专利权)人：成都数融科技有限公司，
类型：发明
国别省市：四川;51