一种基于联合训练全流程框架的模型训练方法技术

本发明专利技术公开了一种基于联合训练全流程框架的模型训练方法，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，所述边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，所述物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作，所述中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作，所述联合学习引擎通过物联网和中央服务器进行对应的连接，在配合内部的相关算法进行对应的处理工作，并通过数据进行输送的工作，所述行业生态模型库通过物联网进行数据的比对。该基于联合训练全流程框架的模型训练方法，通过联合学习进行模型训练。通过联合学习进行模型训练。通过联合学习进行模型训练。

【技术实现步骤摘要】
一种基于联合训练全流程框架的模型训练方法


[0001]本专利技术涉及联合训练
，具体为一种基于联合训练全流程框架的模型训练方法。

技术介绍

[0002]物联网是互联网基础上的延伸和扩展的网络，将各种信息传感设备与互联网结合起来而形成的一个巨大网络，实现在任何时间，任何地点，人，机，物的互联互通，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，物联网的定义是通过射频识别，全球定位系统等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现对物品的智能化识别，定位，跟踪，监控和管理的一种网络，联合训练是一个机器学习框架，进行数据使用和机器学习建模，希望做到各个企业的自有数据不出本地,而后联邦系统可以通过加密机制下的参数交换方式,即在不违反数据隐私法规情况下,建立一个虚拟的共有模型，这个虚拟模型就好像大家把数据聚合在一起建立的最优模型一样，但是在建立虚拟模型的时候,数据本身不移动,也不泄露隐私和影响数据合规，这样,建好的模型在各自的区域仅为本地的目标服务，在这样一个联邦机制下,各个参与者的身份和地位相同,而联邦系统帮助大家建立了“共同富裕”的策略，联合多个参与者的共同样本的不同数据特征进行联邦学习，即各个参与者的训练数据是纵向划分的，称为纵向联邦学习，联合多个参与者的具有相同特征的多行样本进行联邦学习，即各个参与者的训练数据是横向划分的，称为横向联邦学习。
[0003]然而，现有的训练方法一般都是通过零散的操作进行工作，在进行使用的时候，并不能够进行统一的数据模型训练的工作，无法通过联合学习进行模型训练的工作，增加了用户在进行使用时候的工作难度，并且进行工作的时候，会让工作的数据不够完全，并不能够进行往复迭代的数据处理工作，无法根据用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理的工作，不方便日后各生态用户的更高效地调用和价值共享，降低了系统的使用效果，增加了工作的成本。

技术实现思路

[0004]本专利技术的目的在于提供一种基于联合训练全流程框架的模型训练方法，以解决上述
技术介绍
中提出现有的训练方法一般都是通过零散的操作进行工作，在进行使用的时候，并不能够进行统一的数据模型训练的工作，无法通过联合学习进行模型训练的工作，增加了用户在进行使用时候的工作难度，并且进行工作的时候，会让工作的数据不够完全，并不能够进行往复迭代的数据处理工作，无法根据用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理的工作，不方便日后各生态用户的更高效地调用和价值共享，降低了系统的使用效果，增加了工作的成本的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于联合训练全流程框架的模
型训练方法，其步骤如下：
[0006]步骤一：相关用户，通过终端设备配合物联接入，并对相关数据进行对应的录入工作；
[0007]步骤二：将数据保存在本地，在本地进行模型训练、模型更新、计算存储；
[0008]步骤三：训练之后的模型上传至中心，并通过引擎对其进行对应的控制工作；
[0009]步骤四：中心会对各参与用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理；
[0010]步骤五：将联合之后的全局模型下发给各用户，往复迭代，直到训练出一个比较好的模型；
[0011]步骤六：将这些联合之后的模型沉淀在模型库里，方便日后各生态用户的更高效地调用和价值共享。
[0012]一种基于联合训练全流程框架的模型训练方法，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，所述边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，所述物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作，所述中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作，所述联合学习引擎通过物联网和中央服务器进行对应的连接，在配合内部的相关算法进行对应的处理工作，并通过数据进行输送的工作，所述行业生态模型库通过物联网进行数据的比对，并对数据进行储存的工作，所述行业生态模型库再通过中央服务器将数据发送到边缘设备上，再通过物联传感器进行数据的相互交互处理的工作。
[0013]优选的，所述终端设备为计算机，手机，服务器或其他终端设备的一种或多种。
[0014]优选的，所述联合学习引擎包括多种联合算法，安全协议，聚合策略，联合策略，分布式异常算法。
[0015]优选的，所述物联传感器是红外感应器、全球定位系统、激光扫描器等信息传感设备中的一种或多种。
[0016]优选的，所述行业生态模型库的结构和联合学习引擎的组成相似，通过对应的终端进行数据交换，并通过中央服务器进行数据交互。
[0017]与现有技术相比，本专利技术的有益效果是：该基于联合训练全流程框架的模型训练方法，通过联合学习进行模型训练，相关用户，通过终端设备配合物联接入，并对相关数据进行对应的录入工作，将数据保存在本地，在本地进行模型训练、模型更新、计算存储，训练之后的模型上传至中心，并通过引擎对其进行对应的控制工作，中心会对各参与用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理，将联合之后的全局模型下发给各用户，往复迭代，直到训练出一个比较好的模型，将这些联合之后的模型沉淀在模型库里，方便日后各生态用户的更高效地调用和价值共享，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作，中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作，联合学习引擎通过物联网和中央服务器进行对应的连接，在配合内部的相关算法进行对应的处理工作，并通过数据进行输送的工作，行业生态模型库通过物
联网进行数据的比对，并对数据进行储存的工作，行业生态模型库再通过中央服务器将数据发送到边缘设备上，再通过物联传感器进行数据的相互交互处理的工作。
附图说明
[0018]图1为本专利技术基于联合训练全流程框架的模型训练方法基本架构示意图；
[0019]图2为本专利技术基于联合训练全流程框架的模型训练方法工作步骤示意图；
[0020]图3为本专利技术基于联合训练全流程框架的模型训练方法处理步骤示意图；
[0021]图4为本专利技术联合学习引擎组成结构示意图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]请参阅图1
‑
4，本专利技术提供一种技术方案：一种基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联合训练全流程框架的模型训练方法，其特征在于：其步骤如下：步骤一：相关用户，通过终端设备配合物联接入，并对相关数据进行对应的录入工作；步骤二：将数据保存在本地，在本地进行模型训练、模型更新、计算存储；步骤三：训练之后的模型上传至中心，并通过引擎对其进行对应的控制工作；步骤四：中心会对各参与用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理；步骤五：将联合之后的全局模型下发给各用户，往复迭代，直到训练出一个比较好的模型；步骤六：将这些联合之后的模型沉淀在模型库里，方便日后各生态用户的更高效地调用和价值共享。2.根据权利要求1所述的一种基于联合训练全流程框架的模型训练方法，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，其特征在于：所述边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，所述物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作。3.根据权利要求2所述的一种基于联合训练全流程框架的模型训练方法，其特征在于：所述中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作。4.根据权利要求2所述的一种基于联合训练全流程框架的模型训练方法，其特征在于：所述联合学习引擎通...

【专利技术属性】
技术研发人员：张敏，高庆，
申请(专利权)人：新智数字科技有限公司，
类型：发明
国别省市：