一种自动梯度量化的联邦学习框架和方法技术

本发明专利技术公开了一种自动梯度量化的联邦学习框架和方法。其中，所述框架包括：量化指示器模块、量化策略模块以及量化优化器模块；量化指示器模块用于确定历史模型量化指标和当前模型量化指标的量化指标差值；量化策略模块用于根据量化指标差值和当前模型量化指标来进行量化精度调整；量化优化器模块用于根据结合调整因子的梯度下降算法对模型进行训练，以得到更新后的模型。本实施例的技术方案，通过量化指示器模块、量化策略模块以及量化优化器模块的紧密协作来平衡各个节点每一轮迭代的通信时间，在异构边缘人工智能系统上实现了通信加速并保持模型训练的准确性。加速并保持模型训练的准确性。加速并保持模型训练的准确性。

【技术实现步骤摘要】
一种自动梯度量化的联邦学习框架和方法


[0001]本专利技术实施例涉及通信
，尤其涉及一种自动梯度量化的联邦学习框架和方法。

技术介绍

[0002]物联网和社交网络应用的快速发展在极大方便人们生活的同时也导致网络边缘产生的数据呈指数级增长。有相关研究指出在不久的将来，数据生成量将超过现下互联网的容量。在万物互联时代，很明显的一个特征是，各种网络边缘设备的数量迅速增加。
[0003]在边缘计算系统当中，计算资源更加接近数据源，而边缘设备已经具有足够的计算能力来实现数据的本地处理。当前的边缘计算系统的训练架构主要是采用集中式模型聚合策略。多个边缘计算节点通过远程云服务器互连，边缘计算节点上训练自身的数据，在训练完一轮或者几轮之后将模型梯度传输至云服务器进行聚合。这种架构无需将原始数据传送到中心服务器，不仅可以降低网络传输过程当中的带宽压力，加速数据分析处理，同时还能降低终端敏感数据信息隐私泄露的风险。
[0004]目前，大数据处理正逐渐从以云计算为中心的集中式处理时代，转向于以万物互联为核心的边缘计算时代。然而在边缘计算系统中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动梯度量化的联邦学习框架，应用于边缘异构系统中，其特征在于，包括：量化指示器模块、量化策略模块以及量化优化器模块；所述量化指示器模块用于确定历史模型量化指标和当前模型量化指标的量化指标差值；其中，模型量化指标由模型的权重信息和梯度信息确定；所述量化策略模块用于根据所述量化指标差值和所述当前模型量化指标判断是否需要进行量化精度调整；若是，则通过概率函数以及所述量化指标差值对模型当前的量化精度进行调整；所述量化优化器模块用于根据结合调整因子的梯度下降算法对模型进行训练，以得到更新后的模型。2.根据权利要求1所述的方法，其特征在于，所述模型量化指标的计算公式为：其中，W为模型参数权重，g为梯度，||
·
||2代表第二范式函数。3.根据权利要求1所述的方法，其特征在于，所述历史模型量化指标的计算公式为：其中，β为超参数，t为当前迭代轮次，MQI为当前模型量化指标。4.根据权利要求1所述的方法，其特征在于，根据所述量化指标差值和所述当前模型量化指标判断是否需要进行量化精度调整，包括：判断所述量化指标差值的范数是否大于所述当前模型量化指标，若是，则需要对当前模型的量化精度进行调整。5.根据权利要求1所述的方法，其特征在于，所述结合调整因子的梯度下降算...

【专利技术属性】
技术研发人员：连子锐，朱宗卫，周学海，李曦，王超，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：