联邦学习方法技术

本发明专利技术公开了一种联邦学习方法，该方法包括：签订联邦学习合作协议，所述联邦学习合作协议中包括多方的联邦学习权限及使用规则；根据所述合作协议，建立联邦学习计算环境；各数据参与方在本地按照统一的数据处理规则准备联邦学习训练数据；启动联邦学习开发任务，进行联邦学习过程

【技术实现步骤摘要】
联邦学习方法


[0001]本专利技术涉及人工智能
，具体涉及一种联邦学习方法
。

技术介绍

[0002]在大数据与信息经济并发的时代，数据和信息成为全世界公认的重要资源
。
开发利用现有数据资源有利于推动经济发展
,
但是由于缺乏政策和规则向导，各部门
、
企业之间信任度较低，数据聚合和流通存在重大问题
。
为了顺应时代与潮流的发展，数据资源的开发利用必须从技术上进行突破，采用联邦学习的方式在保证数据安全的前提下可以最大程度提高数据使用效率
。
[0003]联邦学习（
Federated Learning
，
FL
）的核心思想就是在数据不出本地的情况下多方联合完成建模任务，然而目前的联邦学习在利用数据资源过程中缺乏一套完整的联邦学习合作体系，使得各参与方没有统一的行为准则，比如：对本地数据处理参差不齐，特征字段命名千奇百怪，数据量大小相差甚远等都会影响联邦学习任务的开启；并且由于数据的可见不可用，对待训练数据的选择上也是仅凭需求方的主观判断，往往选出的数据并不是最优参选数据，使得需求方对训练出来的模型不满意，导致需要反复试验参与数据建立模型的现象，使得试错成本较高，联邦学习效率降低，无法实现数据资源的合理利用
。

技术实现思路

[0004]本专利技术提供一种联邦学习方法，以解决现有联邦学习中数据处理不统一
、
盲目数据选择以及训练数据不均衡，影响模型训练精度和训练效率的问题
。
[0005]为此，本专利技术提供如下技术方案：一种联邦学习方法，所述方法包括：签订联邦学习合作协议，所述联邦学习合作协议中包括多方的联邦学习权限及使用规则；根据所述合作协议，建立联邦学习计算环境；各数据参与方在本地按照统一的数据处理规则准备联邦学习训练数据；启动联邦学习开发任务，进行联邦学习过程；所述启动联邦学习开发任务包括：服务状态检查
、
任务信息配置
、
联邦学习任务审核
、
数据样本加密对齐
、
开启建模服务；所述任务信息配置包括：模型选择，所述模型选择包括需求方选择本次联邦学习使用的模型
、
以及训练标签不均衡调整方式
。
[0006]可选地，所述签订联邦学习合作协议包括：申请提交：需求方向监管方提交联邦学习申请，并对本地参与模型构建的数据集进行描述；需求审核：监管方对需求方提交的申请进行审核；协议签订：监管方通过需求方提出的申请后，针对本次申请中建模任务的细节签订协议
。
[0007]可选地，所述联邦学习申请包括以下信息：节点类型
、
业务需求
、
本地数据名称
、
数据类型
、
数据来源
、
数据量大小
、
字段名称
。
[0008]可选地，所述申请提交包括：多个数据资源需求方同时向监管方提出建模申请
。
[0009]可选地，所述根据所述合作协议，建立联邦学习计算环境包括：根据所述合作协议，评估联邦学习硬件环境，部署联邦学习软件环境，测试联邦学习软件环境
。
[0010]可选地，所述联邦学习计算环境中预设多个算法
。
[0011]可选地，所述准备联邦学习训练数据包括数据处理，所述数据处理包括以下任意一种或多种：数据集成
、
数据清洗
、
数据标准化
、
数据规约
。
[0012]可选地，所述任务信息配置中还包括：需求任务提交
、
数据适配度计算
、
数据选择
、
参数配置
。
[0013]可选地，所述方法还包括：所述联邦学习过程中包括任务调度过程，所述任务调度过程包括：任务启动
、
任务监控
、
性能监测
、
故障定位四个阶段
。
可选地，所述训练标签不均衡调整方式包括以下任意一种：动态阈值设定
、
融合模型；所述动态阈值设定是指根据正负样本标签比例确定动态调整预测概率阈值；所述融合模型选择是指将正负样本以
1:1
的标签数量拆分为多套训练集，每套训练集单独训练一个模型，基于多个模型的输出结果确定最终输出结果
。
[0014]可选地，所述进行联邦学习过程包括：根据需求方提交的建模需求运行特征工程组件，执行特征工程，筛选出参与联邦学习的特征数据；开启建模任务，需求方与各参与方之间交互加密的模型参数，直到达到最大迭代次数或者收敛，得到模型训练结果
。
[0015]本专利技术提供的联邦学习方法，通过建立多方合作协议，在提供联邦学习权限的前提下，统一数据处理，提高联邦学习待训练数据质量，从而提高了模型训练精度；另外，增加数据适配度计算，针对需求方提交的任务需求，计算适用于本次联邦学习任务的其他参与方数据，并采用分值倒序排列供需求方选择，极大程度降低了试错成本，提高了数据利用率
。
[0016]进一步地，通过在模型选择过程中增加动态阈值和融合模型解决训练标签不均衡的问题，可以在有限的数据条件下，有效提高模型训练精度
。
附图说明
[0017]图1是本专利技术提供的联邦学习方法中需求方
、
参与方和监管方的关系示意图；图2是本专利技术提供的联邦学习方法的流程图；图3是本专利技术提供的联邦学习方法中的任务调度过程
。
具体实施方式
[0018]为了更清楚地说明本专利技术实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍
。
显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些
附图获得其他的附图
。
[0019]在针对本专利技术的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底
”ꢀ“
内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位
、
以特定的方位构造和操作，因此上述术语不能理解为对本专利技术的限制
。
[0020]下面结合附图和具体实施方式对本专利技术作详细地描述，实施方式不能在此一一赘述，但本专利技术的实施方式并不因此限定于以下实施方式
。
[0021]联邦学习旨在建立一个基于分布式数据集的联邦学习模型，在模型训练过程中，模型参数信息能够在各方之间交换（或者以加密形式进行交换），但数据不能参与交换
。
这一交换并不会暴露每个站点上数据的任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种联邦学习方法，其特征在于，所述方法包括：签订联邦学习合作协议，所述联邦学习合作协议中包括多方的联邦学习权限及使用规则；根据所述合作协议，建立联邦学习计算环境；各数据参与方在本地按照统一的数据处理规则准备联邦学习训练数据；启动联邦学习开发任务，进行联邦学习过程；所述启动联邦学习开发任务包括：服务状态检查
、
任务信息配置
、
联邦学习任务审核
、
数据样本加密对齐
、
开启建模服务；所述任务信息配置包括：模型选择，所述模型选择包括需求方选择本次联邦学习使用的模型
、
以及训练标签不均衡调整方式；其中，所述任务信息配置中还包括：需求任务提交
、
数据适配度计算
、
数据选择和参数配置；所述需求任务提交是需求方提交本次联邦建模的任务描述
、
每条待训练数据的唯一标识
ID、
标签特征
、
数据特征
、
数据量大小及加密对齐数据阈值设定，用于计算数据适配度；所述签订联邦学习合作协议包括：申请提交：需求方向监管方提交联邦学习申请，并对本地参与模型构建的数据集进行描述；需求审核：监管方对需求方提交的申请进行审核；协议签订：监管方通过需求方提出的申请后，针对本次申请中建模任务的细节签订协议；其中，所述训练标签不均衡调整方式包括以下任意一种：动态阈值设定
、
融合模型；所述动态阈值设定是指根据正负样本标签比例确定动态调整预测概率阈值；所述融合模型选择是指将正负样本以
1:1
的标签数量拆分为多套训练集，每套训练集单独训练一个模型，基于多个模型的输出结果确定最终输出结果
。2.
根据权利要求1所...

【专利技术属性】
技术研发人员：王胜漪，苑建坤，曾伟，高振伟，朱文天，刘文文，邓威，唐敏，张芃芃，
申请(专利权)人：中电科大数据研究院有限公司，
类型：发明
国别省市：