一种基于联邦学习的网络数据分析功能的模型训练方法及装置制造方法及图纸

技术编号:33698524 阅读:61 留言:0更新日期:2022-06-06 08:03
本发明专利技术的实施例提供一种基于联邦学习的网络数据分析功能的模型训练方法及装置。所述方法包括:获取t时刻数据样本集以及所述数据样本集所对应的时序信息;根据所述数据样本集,确定训练集,所述训练集包括至少一个训练任务,所述训练任务包括多个支持集以及多个询问集,所述支持集包括多个数据样本,所述询问集包括多数据样本;根据所述训练集,对元学习网络进行训练,确定所述元学习网络的参数。本发明专利技术的方案可以实现每轮迭代训练时间都很短的本地特征训练优化的过程。的本地特征训练优化的过程。的本地特征训练优化的过程。

【技术实现步骤摘要】
一种基于联邦学习的网络数据分析功能的模型训练方法及装置


[0001]本专利技术涉及通信
,特别是指一种基于联邦学习的网络数据分析功能的模型训练方法及装置。

技术介绍

[0002]在进行数据共享和分布式深度学习的过程中,往往存在数据隐私泄露的问题。为了解决这一问题,多采用联邦学习方法,在联邦学习的应用场景中,训练数据集被用在多个参入方(如不同的组织,不同的机构、不同设备,不同地理位置)之上。用户/组织/联盟方之间不分享他们的本地训练数据集,任意一方的数据不会泄露给其他参与者。通过共同联邦学习使得拥有数据的多方能够联合训练一个或多个模型,能在保证隐私数据不泄露的情况下,提升参与者们本地模型的任务表现,打破数据孤岛,这种方法被称为联邦学习。
[0003]现有的5G技术方案中,研究了通信网络中的人工智能的场景,梳理了需要分析的需求和数据。NWDAF(NNetwork Data Analytics Function,网络数据分析功能)利用包括从5G网络功能(NF)收集的网络运行数据、从运维管理系统OAM(Operation Administ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的网络数据分析功能的模型训练方法,其特征在于,所述方法包括:获取t时刻数据样本集以及所述数据样本集所对应的时序信息;根据所述数据样本集,确定训练集,所述训练集包括至少一个训练任务,所述训练任务包括多个支持集以及多个询问集,所述支持集包括多个数据样本,所述询问集包括多数据样本;根据所述训练集,对元学习网络进行训练,确定所述元学习网络的参数。2.根据权利要求1所述的基于联邦学习的网络数据分析功能的模型训练方法,其特征在于,t时刻有A个数据样本,表示为|Di|=A;其中,D
i
代表第i个网络数据分析功能NWDAF参入方的数据3.根据权利要求2所述的基于联邦学习的网络数据分析功能的模型训练方法,其特征在于,根据所述数据样本集,确定训练集,包括:反复在Di数据中抽取多个任务,每个任务包括N*K个(N*K)的N

ways,K

shot数据样本,N*L个(N*L)的N

ways,L

shot数据样本,其中,NK个训练样本形成支持集,把NL个测试样本形成询问集;按照时序,从Di中随机选取最新的预设数量的任务,所述任务包括N*K的支持集以及N*L的询问集。4.根据权利要求3所述的基于联邦学习的网络数据分析功能的模型训练方法,其特征在于,根据所述训练集,对元学习网络进行训练,确定所述元学习网络的参数,包括:根据所述训练集,对元学习网络执行第一次的本地化预训练,生成所述元学习网络的模型参数5.根据权利要求4所述的基于联邦学习的网络数据分析功能的模型训练方法,其特征在于,生成所述元学习网络的模型参数包括:采样第一步中中的1个训练任务m;将模型网络的参数φ0赋值给任务m的网络,得到使用任务m的支持集,基于任务m的学习率对进行1次优化,更新基于1次优化后的使用询问集计算任务m的损失函数loss:并计算对的梯度;用该梯度,乘以元学习网络的学习率α
meta
,更新φ0,得到φ1;采样1个任务n,将参数φ1赋值给任务n,得到使用任务n的训练数据,基于任务n的学习率α
n
,对进行一次优化,更新基于1次优化后的使用询问集计算任务n的损失函数loss:并计算
上的梯度;用该梯度,乘以元学习网络的学习率α
meta
,更新φ1,得到φ2;在训练任务上,重复执行上述过程,计算完所有的任务后,得到6.根据权利要求5所述的基于联邦学习的网络数据分析功能的模型训练方法,其特征在于,还包括:把NWDAF参入方i传输更新的到NWDAF联邦学习系统中心服务器上;接收中心服务器执行全局聚合公式得到的全局θ
t
;S代表所有的NWDAF参入方;根据所述全局θ
t
,抽取去预设数量的数据样本,且时序排列较新的测试任务,把测试任务当作本次的训练的重复得到的过程,得出本轮训练的网络参数。7.一种基于联邦学习的网络数据分析功能的模型训练装置,其特征在于,所述装置包括:上下文环境动态感知模块,...

【专利技术属性】
技术研发人员:岳烈骧
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1