基于纵向联邦学习系统的模型训练方法、设备及存储介质技术方案

本发明专利技术实施例公开了一种基于纵向联邦学习系统的模型训练方法、设备及存储介质。其中，方法包括：提取待训练模型的目标函数，待训练模型包括至少两类模型参数集，每个模型参数集对应匹配的训练数据集和/或训练数据标签集；对目标函数中包括的各数据项进行逐层解析，得到逻辑计划执行树；根据逻辑计划执行树中各树节点所使用的训练数据集和/或训练数据标签集，生成物理执行计划；根据物理执行计划，调度纵向联邦学习系统中的各设备对待训练模型中包括的各模型参数集进行训练。本发明专利技术实施例的方案，无需人工对纵向联邦学习的模型训练过程进行定制开发，简化了基于纵向联邦学习系统的模型训练过程。

【技术实现步骤摘要】
基于纵向联邦学习系统的模型训练方法、设备及存储介质
本专利技术实施例涉及人工智能
，尤其涉及一种基于纵向联邦学习系统的模型训练方法、设备及存储介质。
技术介绍
随着大数据及人工智能技术的发展及大规模应用，企业及相关部门也越来越重视数据安全及数据隐私的保护。联邦学习是一种新兴的人工智能技术，其设计目标是在保障数据安全、保护数据隐私以及保证合法合规的前提下，在多设备(参与方)或多计算节点之间，开展高效率的机器学习。联邦学习可以分为横向联邦学习及纵向联邦学习，其中，纵向联邦学习需要依据数据分布的特点，对计算(模型训练)过程进行分解并由各设备协作完成；因此，纵向联邦学习算法的计算过程，需要人工根据算法特点及数据特点进行定制开发，导致当前基于纵向联邦学习框架(系统)的模型训练工作较为繁琐。
技术实现思路
本专利技术实施例提供一种基于纵向联邦学习系统的模型训练方法、设备及存储介质，无需人工对纵向联邦学习的模型训练过程进行定制开发，简化了基于纵向联邦学习系统的模型训练过程。第一方面，本专利技术实施例提供了一种基于纵向本文档来自技高网...

【技术保护点】
1.一种基于纵向联邦学习系统的模型训练方法，其特征在于，包括：/n提取待训练模型的目标函数，所述待训练模型包括至少两类模型参数集，每个模型参数集对应匹配的训练数据集和/或训练数据标签集；/n对所述目标函数中包括的各数据项进行逐层解析，得到逻辑计划执行树，所述逻辑计划执行树中的各树节点对应于计算表达式，且上层树节点依赖于下层树节点的计算结果；/n根据所述逻辑计划执行树中各树节点所使用的训练数据集和/或训练数据标签集，生成物理执行计划，所述物理执行计划中定义计算所述逻辑计划执行树中每个树节点的设备；/n根据所述物理执行计划，调度所述纵向联邦学习系统中的各设备对所述待训练模型中包括的各所述模型参数集...

【技术特征摘要】
1.一种基于纵向联邦学习系统的模型训练方法，其特征在于，包括：
提取待训练模型的目标函数，所述待训练模型包括至少两类模型参数集，每个模型参数集对应匹配的训练数据集和/或训练数据标签集；
对所述目标函数中包括的各数据项进行逐层解析，得到逻辑计划执行树，所述逻辑计划执行树中的各树节点对应于计算表达式，且上层树节点依赖于下层树节点的计算结果；
根据所述逻辑计划执行树中各树节点所使用的训练数据集和/或训练数据标签集，生成物理执行计划，所述物理执行计划中定义计算所述逻辑计划执行树中每个树节点的设备；
根据所述物理执行计划，调度所述纵向联邦学习系统中的各设备对所述待训练模型中包括的各所述模型参数集进行训练。


2.根据权利要求1所述的方法，其特征在于，所述对所述目标函数中包括的各数据项进行逐层解析，得到逻辑计划执行树，包括：
根据各所述训练数据集以及各所述训练数据标签集对所述目标函数进行变换，得到与所述目标函数对应的目标参考函数；其中，所述目标参考函数中包括各所述数据项；
对所述目标参考函数中包括的各所述数据项进行逐层解析，得到所述逻辑计划执行树。


3.根据权利要求2所述的方法，其特征在于，所述纵向联邦学习系统包括的至少一个主设备和至少一个从设备；各所述主设备存储有训练数据集和训练数据标签集，各所述从设备仅存储有训练数据集；
所述根据各所述训练数据集以及各所述训练数据标签集对所述目标函数进行变换，得到与所述目标函数对应的目标参考函数，包括：
分别将各所述主设备存储的训练数据集和训练数据标签集，以及各所述从设备存储的训练数据集代入至所述目标函数中，并对所述目标函数进行因式分解，得到与所述目标函数对应的目标参考函数。


4.根据权利要求1所述的方法，其特征在于，所述根据所述逻辑计划执行树中各树节点所使用的训练数据集和/或训练数据标签集，生成物理执行计划，包括：
根据所述逻辑计划执行树生成计算路由；
根据所述计算路由生成与所述逻辑计划执行树中各树节点对应的所述物理执行计划。


5.根据权利要求4所述的方法，其特征在于，所述根据所述逻辑计划执行树生成计算路由，包括：
分别确定与各所述训练数据集和/或各所述训练数据标签集对应的设备；如果确定与目标训练数据集和目标训练数据标签集对应的设备为目标主设备，则通过所述目标主设备执行与所述目标训练数据集和目标训练数据标签集对应的树节点；
如果确定与目标训练数据集对应的设备为目标从设备，则通过所述目标从设备执行与所述目标训练数据集对应的树节点。


6.根据权利要求3所述的方法，其特征在于，所述根据所述逻辑计划执行树生成计算路由，还包括：
调度所述纵向联邦学习系统中的各所述主设备对第一模型参数集以及第三模型参数集进行训练；
和/或，
调度所述纵向联邦学习系统中的各所述从设备对第二模型参数集进行训练；
其中，所述模型参数集包括：所述第一模型参数集、所述第二模型参数集以及所述第三模型参数集。


7.根据权利要求6所述的方法，其特征在于，在调度所述纵向联邦学习系统中的各所述主设备对第一模型参数集以及所述第三模型参数集进行训练；和/或，调度所述纵向联邦学习系统中的各所述从设备对第二模型参数集进行训练之后，所述方法还包括：
将所述第一模型参数集，以及所述第二模型参数集发送至所述纵向联邦学习系统中的服务器；
所述服务器根据预先设定的学习率对所述第一模型参数集，以及所述第二模型参数集进行更新；
将所述第一模型参数集返回至各所述主设备；将所述第二模型参数集返回至各所述从设备。


8.根据权利要求1所述的方法，其特征在于，所述根据所述物理执行计划，调度所述纵向联邦学习系统中的各设备对所述待训练模型中包括的各所述模型参数集进行训练，包括：
对所述物理执行计划进行切分，并确定并行计算内容，以调度所述纵向联邦学习系统中的各设备对所述待训练模型中包括的各所述模型参数集进行训练。


9.一种计算机设备，包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：
提取待训练模型的目标函数，所述待训练模型包括至少两类模型参数集...

【专利技术属性】
技术研发人员：夏正勋，杨一帆，
申请(专利权)人：星环信息科技上海有限公司，
类型：发明
国别省市：上海;31