一种联邦多任务学习中基于特征提取-子任务分类器的数据标签分类方法及系统技术方案

本发明专利技术涉及一种联邦多任务学习中基于特征提取

【技术实现步骤摘要】
一种联邦多任务学习中基于特征提取
‑
子任务分类器的数据标签分类方法及系统


[0001]本专利技术涉及一种联邦多任务学习中基于特征提取
‑
子任务分类器的数据标签分类方法及系统，属于人工智能


技术介绍

[0002]联邦学习属于分布式机器学习，是一种新兴的机器学习框架。随着大数据时代的到来，用户的数据安全和隐私保护越来越重要，诸多国家也出台了隐私保护相关法律法规。而对于训练大规模机器学习模型，传统的分布式机器学习往往不涉及数据隐私问题，中央服务器对计算节点以及其中的数据具有较高的控制权。2016年，谷歌公司提出了联邦学习，旨在每个用户数据不出本地仍可参与到模型的训练中去，以实现保护各参与者数据安全的目的。联邦学习中各个用户节点通过本地的私有数据训练模型，经中央服务器协调，聚合各个用户节点的模型参数，并更新全局的模型。这期间不涉及数据的传输，在很大的程度上保护了数据安全。详见文献[1]:Mcmahan H B,Moore E,D Ramage,et al.Communication/>‑
Ef本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦多任务学习中基于特征提取子任务分类器的数据标签分类方法，其特征在于，适用于中央节点式联邦学习系统，所述中央节点式联邦学习系统包括M个用户节点和1个中央服务器，每个用户节点均与中心服务器相连接；设定所有用户的训练数据均为多标签数据，且来自于同一个特征空间，标签的总数为L；对任意的用户，其每一个本地数据点都拥有相同种类的标签；第m个用户拥有的本地数据数目用K
m
来表示，且所有用户的数据数之和为K，即满足：在第m个用户上的本地数据集用D
m
表示，即|D
m
|＝K
m
；包括：构建并训练全局模型，全局模型包括特征提取网络以及多个分类器网络；将待分类的图像输入到训练好的全局模型，图像数据经过特征提取网络，提取特征；提取特征后的图像数据再经过所有分类器网络，每个分类器网络分别输出该待分类的图像对于每一种标签中，属于各个类别的概率输出值；每一种标签选择概率输出值最大的类别作为此标签的分类结果，最终输出每一种标签的分类结果；其中，全局模型的训练过程为：第一步，训练特征提取网络：在第t个特征提取网络训练周期中，用户节点m收到由中央服务器广播的最新特征提取网络的模型参数w
t
，并以此为初始模型，使用本地数据集D
m
，在多轮本地迭代训练中，通过MBGD法，得到更新后的本地特征提取网络，其模型参数为w
m，t
，m的取值为1，2，3...M，且m为正整数；在所有用户节点完成一轮训练后，各个用户节点将各自更新后的本地特征提取网络的模型参数上传至中央服务器，并在中央服务器进行参数的聚合，得到一个新的特征提取网络，其模型参数为w
t+1
；重复上述过程，直至中央服务器端的特征提取网络收敛；每个用户节点都有对应的本地特征提取网络，其网络架构和特征提取网络的网络架构相同；第二步，训练多个分类器网络：根据每个用户节点对应的数据标签对用户节点进行分组，设定分为L组，第i组的用户节点个数记为M
i
，第i组中第m
i
个用户节点的本地数据集记为每组用户对应一个分类器网络，共训练出L个分类器网络；对于第i组的所有用户节点，目标为训练一个分类器网络i，其中，i表示在所有分类器网络中此分类器网络的索引号；分类器网络i在第t个训练周期中，第m
i
个用户节点收到由中央服务器广播的最新分类器网络i的模型参数并以此为初始模型，使用本地数据集在多轮本地迭代训练中，通过MBGD法，得到更新后的本地分类器网络i，模型参数为m
i
的取值为1，2，3...M
i
，且m
i
为正整数；在该用户组所有用户节点完成一轮训练后，各用户节点将各自更新后的本地分类器网络i的模型参数上传至中央服务器，并在中央服务器进行参数的聚合，得到一个新的分类器网络i，其模型参数为重复上述过程，直至中央服务器端的分类器网络i收敛；对于全部L组用户节点均进行上述分类器网络的训练过程，直至中央服务器端的所有分类器网络收敛。2.根据权利要求1所述的一种联邦多任务学习中基于特征提取子任务分类器的数据标签分类方法，其特征在于，定义特征提取网络的学习目标是最小化一个经验损失函数，如式
(I)、(II)所示：(I)、(II)所示：式(I)中，F(w)表示全局的平均训练损失，w表示d维的模型参数向量，F
m
(w；D
m
)表示第m个用户节点的本地平均训练损失；式(II)中，f(w；x
mk
，y
mk
)是第m个用户节点中第k个训练数据点(x
mk
，y
mk
)的训练损失，D
m
＝{(x
mk
，y
mk
)：1≤k≤K
m
}。3.根据权利要求1所述的一种联邦多任务学习中基于特征提取子任务分类器的数据标签分类方法，其特征在于，在用户节点m收到由中央服务...

【专利技术属性】
技术研发人员：郭帅帅，王謇达，史高鑫，张海霞，
申请(专利权)人：山东大学，
类型：发明
国别省市：