边缘计算的模型训练方法及边云协同系统技术方案

技术编号:38901347 阅读:40 留言:0更新日期:2023-09-22 14:19
本发明专利技术提供一种边缘计算的模型训练方法及边云协同系统,该方法包括:边缘节点确定待使用的第一模型后,确定边缘节点能够支持第一模型的最大可训练层数;边缘节点根据最大可训练层数以及确定性时延,确定边缘节点所需切片带宽并进行带宽资源预留;边缘节点在训练完成后通过预留的带宽资源向云节点发送训练得到模型参数,由云节点完成后续的模型层训练,并通过反向传播算法更新边缘模型;云节点使用联邦聚合算法聚合边缘节点对应的边缘模型,生成全局模型,并将全局模型发送至边缘节点;其中,确定性网络保障训练的同步性,边云系统解决边缘节点算力不足的问题,减少边缘节点的训练压力;联邦学习保障训练的数量,提升模型训练精度。度。度。

【技术实现步骤摘要】
边缘计算的模型训练方法及边云协同系统


[0001]本专利技术涉及光接入网与边云协同
,尤其是指一种边缘计算的模型训练方法及边云协同系统。

技术介绍

[0002]现有技术中,边缘计算设备在管辖范围内,将采集到的各个用户的样本用户数据输入第一推荐模型进行联邦训练,在满足预设的训练结束条件时,输出训练得到的目标第一推荐模型。其中,一条样本用户数据包含用户的人体特征信息以及真实行为信息,所述第一推荐模型用于对用户的行为进行预测及推荐关联对象;这样可以在不泄露用户隐私和降低网络数据传输量的前提下,在边缘计算设备上,对第一推荐模型进行联邦训练,从而得到更准确、更广泛适用的目标第一推荐模型,进而对新的用户进行更准确的行为预测,制定出更准确的推荐方案。
[0003]随着物联网边缘智能的发展,机器学习模型训练技术已经有了较大的进步。目前的方法集中于训练技术的提升,但是模型训练需要的数据隐私保护、数据支撑和算力支撑等并没有总体考虑。现有方法利用边缘侧独立训练,虽然保护了数据隐私,但是数据量和算力无法保障;且带来了训练同步性的问题。例如利用边缘节点独立本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边缘计算的模型训练方法,其特征在于,应用于基于确定性网络的边云协同系统,所述边云协同系统包括:一个云节点以及多个边缘节点,所述边缘节点到所述云节点的传输满足确定性时延,该方法包括:各个边缘节点确定待使用的第一模型后,根据自身算力信息,确定所述边缘节点能够支持所述第一模型的最大可训练层数;各个所述边缘节点根据最大可训练层数以及所述确定性时延,确定各个边缘节点所需切片带宽并进行带宽资源预留;各个所述边缘节点基于所述第一模型进行训练,并在训练完成后通过预留的带宽资源向所述云节点发送训练得到模型参数,由所述云节点完成后续的模型层训练,并通过反向传播算法更新边缘模型;所述云节点使用联邦聚合算法聚合各个边缘节点对应的边缘模型,生成全局模型,并将所述全局模型发送至边缘节点。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:所述边缘节点基于所述全局模型进行训练,直到训练轮次达到第一值或模型精度达到第二值。3.根据权利要求1所述的方法,其特征在于,边缘节点根据自身算力信息,确定所述边缘节点能够支持所述第一模型的最大可训练层数,包括:边缘节点根据自身的计算能力以及当前CPU利用率,计算边缘节点的可用算力;所述边缘节点根据第一模型中每一层所需的计算次数,确定所述边缘节点的可用算力能够支持的第一模型的最大可训练层数。4.根据权利要求3所述的方法,其特征在于,若所述边缘节点的可用算力能够支持的所述第一模型的最大可训练层数小于1,则所述边缘节点退出本次模型训练。5.根据权利要求3所述的方法,其特征在于,所述边缘节点根据自身的计算能力以及当前CPU利用率,计算边缘节点的可用算力,包括:所述边缘节点根据第一公式,计算边缘节点的可用算力FLOPS
ava
;其中,所述第一公式为:FLOPS
ava
=(1

cpu
ur
)*FLOPS;其中,FLOPS
ava
表示边缘节点的可用算力,FLOPS表示边缘节点自身的计算能力,cpu
ur
表示边缘节点的当前CPU利用率。6.根据权利要求3或5所述的方法,其特征在于,所述边缘节点自身的计算能力包括:所述边缘节点每秒的浮点计算能力;所述方法还包括:所述边缘节点根据第二公式,确定所述边缘节点每秒的浮点计算能力FLOPS;其中,所述第二公式为:FLOPS=X*CPU
K
*ε其中,X表示边缘节点搭载的核数;CPU
K
表示单核的主频;ε表示CPU每周期浮点计算次数。7.根据权利要求3所述的方法,其特征在于,所述边缘节点根据第一模型中每一层所需的计算次数,确定所述边缘节点的可用算力能够支持的第一模型的最大可训练层数,包括:所述边缘节点根据第三公式,确定所述边缘节点的可...

【专利技术属性】
技术研发人员:朱景龙柳晟杨辉常鹏李超姚秋彦包博文孙政洁滕云李允博葛大伟
申请(专利权)人:北京邮电大学中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1