当前位置: 首页 > 专利查询>山东大学专利>正文

一种工业物联网异构联邦学习的通信方法和系统技术方案

技术编号:41490887 阅读:14 留言:0更新日期:2024-05-30 14:37
一种工业物联网异构联邦学习的通信方法和系统,属于联邦学习系统通信优化技术领域。通过以下技术方案实现:建立联邦学习架构;初始化全局模型,随机选择客户端节点下发全局模型,进行本地模型训练;触发多粒度量化模块量化更新后的本地模型参数;中心服务器接收到各设备节点上传的模型更新,将量化的模型更新传入到解量化模块中进行解量化;中心服务器将解量化后的结果送入阶段聚合模块实现模型参数聚合,重复迭代直到本次联邦学习到达预定的训练轮数,结束训练,将训练好的模型部署至工厂智能终端设备。本发明专利技术在保持模型精度的同时大大降低了各设备节点的通信成本,加快了全局模型收敛,具有良好的泛化性。

【技术实现步骤摘要】

本专利技术涉及一种工业物联网异构联邦学习的通信方法和系统,属于联邦学习系统通信优化。


技术介绍

1、随着社会的发展和科技的进步,数字化已成为工业发展的关键驱动力,在工厂管理和监测方面发挥着重要作用。物联网技术作为数字化时代的核心工具之一,在数字化时代扮演着重要的角色,为现代工业管理提供了全新的解决方案,已成为现代化工业管理不可或缺的技术手段。通过物联网技术,传感器可以实时采集工厂环境数据,如温度、湿度、产量等。这些海量的数据驱动了基于大数据的人工智能应用的产生与优化。

2、传统的人工智能算法采用中心化的方式进行神经网络模型的训练,即将训练所需的数据从各个设备节点收集到中心服务器上,集中地完成模型的训练,在这种训练方式下可以有效提高模型的收效速度和最终精度,但越来越大的数据量增加了许多额外开销。此外,近年来,数据安全和用户隐私成为社会各界最为关注的话题之一,各地政府纷纷出台了相应的政策以加强对隐私方面的监管,导致具有隐私风险中心式的训练方案不再适用。

3、联邦学习(federatedlearning,fl)给上述难题提供了解决方案。其本文档来自技高网...

【技术保护点】

1.一种工业物联网异构联邦学习的通信方法,其特征在于,包括:

2.根据权利要求1所述的工业物联网异构联邦学习的通信方法,其特征在于,所述本地模型训练前还通过精度补偿模块对学习率进行精度补偿,随着训练轮数增加学习率进行衰减;

3.根据权利要求1所述的工业物联网异构联邦学习的通信方法,其特征在于,所述客户端间级别多粒度量化模块量化更新后的本地模型参数具体方式如下:

4.根据权利要求3所述的工业物联网异构联邦学习的通信方法,其特征在于,所述在客户端内部级别通过求解模型参数的Hessian矩阵将参数划分为不同的重要级别;与Hessian矩阵中位数相等或小于中位...

【技术特征摘要】

1.一种工业物联网异构联邦学习的通信方法,其特征在于,包括:

2.根据权利要求1所述的工业物联网异构联邦学习的通信方法,其特征在于,所述本地模型训练前还通过精度补偿模块对学习率进行精度补偿,随着训练轮数增加学习率进行衰减;

3.根据权利要求1所述的工业物联网异构联邦学习的通信方法,其特征在于,所述客户端间级别多粒度量化模块量化更新后的本地模型参数具体方式如下:

4.根据权利要求3所述的工业物联网异构联邦学习的通信方法,其特征在于,所述在客户端内部级别通过求解模型参数的hessian矩阵将参数划分为不同的重要级别;与hessian矩阵中位数相等或小于中位数的hessian矩阵值对应的参数,其为不重要的参数;大于hessian矩阵中位数的hessian矩阵值对应的参数,为重要的参数。

5.根据权利要求3所述的工业物联网异构联邦学习的通信方法,其特征在于,所述模型参数聚合包括...

【专利技术属性】
技术研发人员:曹美赵梦莹张汀汀卢建波申兆岩蔡晓军
申请(专利权)人:山东大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1