一种基于联邦学习的模型训练系统及模型训练方法技术方案

本发明专利技术提供一种基于联邦学习的模型训练系统及模型训练方法，本发明专利技术包括数据采集层：获取数据并加密，采集需要计算用的组件，并对获取的数据和组件进行管理；计算层：通过联邦计算的方式对各方数据源进行联合建模，然后进行模型训练，生成模型；模型层：用于对计算层产生的模型进行管理；状态监控层：用于对计算层的计算过程进行监控，及对服务器进行监控；基础数据层：用于对系统中产生的数据进行管理

【技术实现步骤摘要】
一种基于联邦学习的模型训练系统及模型训练方法


[0001]本专利技术涉及一种模型训练系统，尤其涉及一种基于联邦学习的模型训练系统，还涉及一种基于所述模型训练系统的模型训练方法
。

技术介绍

[0002]联邦学习
(Federated Learning)
作为人工智能的一个新分支，为机器学习的新时代打开了大门
。
[0003]首先什么是机器学习？它是计算机从数据中寻找统计规律的过程，用于像人一样解决不确定性问题，比如在不同光照条件下判断出熟人及其名字
(
人脸识别
)、
依据对某人历史行为的评估决定是否借钱给他
(
风控准入建模
)
以及借多少
(
授信额度建模
)
等等
。
人的学习过程是从书本
、
老师以及实践探索中不断积攒经验，成为具有“智慧”的个体；机器学习与此略有不同，它的经验来源于大量的数据，接受某个领域的数据便可成训练成为该领域的“智能体”，例如，大量的人脸图像可以训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于联邦学习的模型训练系统，其特征在于，包括：数据采集层：获取数据并加密，采集需要计算用的组件，并对获取的数据和组件进行管理；计算层：用于在数据计算前对数据进行校验和任务管理，基于校验后的数据进行计算，将数据任务分发，再通过联邦计算的方式对各方数据源进行联合建模，然后进行模型训练，生成模型；模型层：用于对计算层产生的模型进行管理；状态监控层：用于对计算层的计算过程进行监控，及对服务器进行监控；基础数据层：用于对系统中产生的数据进行管理
。2.
根据权利要求1所述的基于联邦学习的模型训练系统，其特征在于：所述数据采集层包括数据导入模块和组件管理模块，所述数据导入模块用于导入计算使用的数据，计算使用的数据包括上传的
CSV
数据
、
数据库数据及导入的平台数据；所述组件管理模块包括：组件配置单元
、
组件上传单元
、
参数配置单元和组件测试单元，所述组件配置单元用于控制各方导入算法组件，并通过组件配置单元对组件进行配置，配置完成后，参数配置单元在系统中设定计算参数，其中，每个组件都有一个独立的参数配置文件，然后采用组件测试单元，进行组件测试
。3.
根据权利要求2所述的基于联邦学习的模型训练系统，其特征在于：所述数据导入模块将数据导入后，对数据中以唯一身份标识为
ID
的字段进行加密，然后对加密后的数据进行处理并存储
。4.
根据权利要求2所述的基于联邦学习的模型训练系统，其特征在于：所述参数配置单元在配置中加入
check
函数，检查计算输入的参数和已设定的参数类型对比判断，系统将组件导入计算层进行校验，测试组件的计算逻辑
、
参数检查
、
以及组件配置是否有问题
。5.
根据权利要求1所述的基于联邦学习的模型训练系统，其特征在于：所述计算层包括校验模块和任务管理模块，所述校验模块包括：数据鉴权单元：用于在数据计算前对数据权限进行校验，判断另外节点是否有计算权限；参数检查单元：用于对计算的参数进行参数检查，防止参数的缺失带来的计算风险；资源管理单元：用于在计算前对服务器资源进行统计，对参与的所有节点发起资源扣减，如果申请资源失败，创建任务也将失败；任务解析单元：用于将所有建模任务解析为不同的组件的组合，并在任务管理模块的调度下进行计算，所述任务管理模块包括任务控制单元
、
任务调度单元
、
任务列表单元和模型训练单元，其中，所述任务控制单元用于控制各方计算过程同步，所述任务调度单元用于调度计算流程，所述任务列表单元用于显示各方要执行的计算任务；所述模型训练单元用于训练模型
。6.
根据权利要求5所述的基于联邦学习的模型训练系统，其特征在于：在任务控制单元中，系统在控制各方开启子任务之前，会导入相应的组件，并对组件进行参数检查，然后查询计算资源，如果出现资源不够，将终止任务，所有检查完成后，计算层将开启一个进程，导入算法组件，并完成任务计算
。
7.
根据权...

【专利技术属性】
技术研发人员：谌鹏，谭嘉豪，曾健欢，
申请(专利权)人：深圳市云计算科技有限公司，
类型：发明
国别省市：