面向资源受限客户端的自适应联邦持续学习方法及装置制造方法及图纸

技术编号:43594139 阅读:27 留言:0更新日期:2024-12-11 14:44
本申请公开了一种面向资源受限客户端的自适应联邦持续学习方法及装置,方法包括:接收服务器下发的对全局模型解码后的任务鲁棒编码器和任务敏感解码器;根据本地的当前任务数据对任务鲁棒编码器和任务敏感解码器组成的全局模型进行迭代训练,将训练后的任务鲁棒编码器和任务敏感解码器上传服务器,以在服务器聚合得到新的全局模型;在联邦迭代训练过程中,如果已经完成一次本地训练,进行数据漂移检测,如果发生数据漂移,重新初始化任务敏感解码器,并更新存储的任务敏感解码器池。通过上述方式,本发明专利技术实施例能够应用于通讯隐私保护前提下联邦持续学习的场合,大大降低了客户端的存储和计算开销,极大提高了持续学习过程的资源利用效率。

【技术实现步骤摘要】

本专利技术实施例涉及联邦学习处理,具体涉及一种面向资源受限客户端的自适应联邦持续学习方法及装置


技术介绍

1、随着物联网技术的快速发展,手机、平板等用户终端大量涌现,形成了一个分布式的智能计算格局。在这种分布式计算框架下,不同终端每天产生着大量的图片、文字、音频等数据。随着时间的流逝,终端设备采集到的数据总是随着时间的变化而变化。例如,一个旅行爱好者,在不同的时间对风景的偏好程度不同,在一段时间内,更偏好海岛风景,因而主要通过手机采集到的是沙滩、大海等风光,过了一段时间后,更喜欢沙漠的风景,同一部智能设备主要采集了戈壁的图片。将这种现象称之为客户端数据出现漂移现象。此时,如果利用基于前一任务(海岛风景识别)模型对下一任务(沙漠风景识别)进行训练,那么该模型在前一任务上的表现将急剧下滑,即出现灾难性遗忘的现象。

2、在人工智能技术快速更替的背景下,人们不仅对智能模型的计算精度提出更高要求,如何克服灾难性遗忘问题也成为关注热点。然而,在手机、平板等物联网终端快速发展的背景下,一方面,单个终端设备没有足够数据量支撑模型的持续更新;另一方面,传输大量本文档来自技高网...

【技术保护点】

1.一种面向资源受限客户端的自适应联邦持续学习方法,其特征是,所述自适应联邦持续学习方法包括:

2.根据权利要求1所述的方法,其特征在于,所述进行数据漂移检测,包括:

3.根据权利要求1所述的方法,其特征在于,所述如果发生数据漂移,重新初始化任务敏感解码器,并更新存储的任务敏感解码器池,包括:

4.根据权利要求1所述的方法,其特征在于,从服务器接收的全局模型包括任务鲁棒编码器和任务敏感解码器:

5.一种面向资源受限客户端的自适应联邦持续学习装置,其特征是,所述装置包括:

6.一种面向资源受限客户端的自适应联邦持续学习方法,其特征...

【技术特征摘要】

1.一种面向资源受限客户端的自适应联邦持续学习方法,其特征是,所述自适应联邦持续学习方法包括:

2.根据权利要求1所述的方法,其特征在于,所述进行数据漂移检测,包括:

3.根据权利要求1所述的方法,其特征在于,所述如果发生数据漂移,重新初始化任务敏感解码器,并更新存储的任务敏感解码器池,包括:

4.根据权利要求1所述的方法,其特征在于,从服务器接收的全局模型包括任务鲁棒编码器和任务敏感解码器:

5.一种面向资源受限客户端的自适应联邦持续学习装置,其特征是,所述装置包括:

6.一种面向资源受限客户端的自适应联邦持续学习方法,其特征是,所述自适应联邦持续...

【专利技术属性】
技术研发人员:王吉包卫东钟正仪张耀鸿贾博宇焦子潇王攀江文钲张亮
申请(专利权)人:中国人民解放军国防科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1