基于联邦学习实现数据集构建处理的系统及其构建生成方法技术方案

本发明专利技术涉及一种基于联邦学习实现数据集构建处理的系统，包括数据集管理模块，与历史数据集相连接，用于导出和管理数据集；数据集生成模块，与所述的数据集管理模块相连接，用于参与节点根据数据生成规则各自完成本节点数据集的生成，并反馈状态至中心节点。本发明专利技术还涉及一种基于联邦学习实现数据集构建的生成方法。采用了本发明专利技术的基于联邦学习实现数据集构建处理的系统及其构建生成方法，不同于之前联邦学习需要依靠自有样本集进行训练和使用，联邦学习数据集构建系统提供了多规则、多方式的仿真数据生成模式，为联邦学习各节点的学习训练提供所需数据集，可以有效的扩展数据使用链路，覆盖多种使用场景。

【技术实现步骤摘要】
基于联邦学习实现数据集构建处理的系统及其构建生成方法
本专利技术涉及数据处理领域，尤其涉及人工智能领域，具体是指一种基于联邦学习实现数据集构建处理的系统及其构建生成方法。
技术介绍
联邦学习(FederatedLearning)是一种新兴的人工智能基础技术，在2016年由谷歌最先提出,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。联邦学习在训练和模型评估阶段都需要大量的数据集，但是实际使用过程中，数据集往往是稀缺资源，特别是在系统验收阶段，现有的数据集往往不能覆盖算法的各种训练和使用场景。为此，提出一种联邦学习数据集构建方案，便于生成不同场景下的联邦学习所需要的数据。
技术实现思路
本专利技术的目的是克服了上述现有技术的缺点，提供了一种满足操作简便、适用范围较为广泛的基于联邦学习实现数据集构建处理的系统及其构建生成方法。为了实现上述目的，本专利技术的基于联邦学习实现数据集构建处理的系统及其构建生成方法如下：该基于联邦本文档来自技高网...

【技术保护点】
1.一种基于联邦学习实现数据集构建处理的系统，其特征在于，所述的系统包括：/n数据集管理模块，与历史数据集相连接，用于导出和管理数据集；/n数据集生成模块，与所述的数据集管理模块相连接，用于参与节点根据数据生成规则各自完成本节点数据集的生成，并反馈状态至中心节点。/n

【技术特征摘要】
1.一种基于联邦学习实现数据集构建处理的系统，其特征在于，所述的系统包括：
数据集管理模块，与历史数据集相连接，用于导出和管理数据集；
数据集生成模块，与所述的数据集管理模块相连接，用于参与节点根据数据生成规则各自完成本节点数据集的生成，并反馈状态至中心节点。


2.根据权利要求1所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的数据集管理模块包括：
数据集上传单元，与历史数据集相连接，用于上传数据集进行有依赖的初始化；
数据集导出单元，与数据集上传单元和数据集生成模块相连接，用于本地导出和保存生成的数据集。


3.根据权利要求1所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的数据集生成规则包含初始化规则和数据变异规则，所述的初始化规则包含无依赖的初始化和有依赖的初始化。


4.根据权利要求3所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的无依赖的初始化在无数据的基础上，根据特征名生成规则、特征类型生成规则和数据生成规则，构建出一组原始数据集。


5.根据权利要求3所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的有依赖的初始化是在历史数据的基础上，增加历史数据函数式变化和历史数据乱序，提取新的生成规则。


6.根据权利要求1所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的数据生成规则包含数据单调性构建、常数构建、数据边界构建、函数构建、数据集合构建和数据周期性构建。


7.根据权利要求1所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的联邦学习数据集的生成方式分为单机生成模式和分布式生成模式，所述的单机生成模式中主节点根据数据集生成规则生成数据集，分发给参与节点。


8.根据权利要求7所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的单机生成...

【专利技术属性】
技术研发人员：伊世林，曾维，
申请(专利权)人：上海富数科技有限公司，
类型：发明
国别省市：上海;31