一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法技术

本发明专利技术提供了一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法，通过中央服务器对原始全局模型进行初始化和量化处理后与训练任务同时下发至多个本地工业设备进行反量化处理并通过本地工业产品图像进行训练，得到本地模型；在每个本地工业设备对本地模型进行混合精度量化和剪枝，得到量化损失函数和剪枝后的损失函数；每个本地工业设备根据量化损失函数和剪枝后的损失函数计算综合损失对本地模型进行迭代更新后上传至中央服务器进行反量化处理并聚合得到是否满足预设训练条件的全局模型；若是，则训练结束；否则，将全局模型作为原始全局模型，并返回执行进行初始化和量化处理；有效提升了联邦学习整体的通信和数据传输效率。

【技术实现步骤摘要】

本专利技术涉及联邦学习，特别涉及一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法。

技术介绍

1、联邦学习作为一种去中心化的机器学习方法，它支持多个客户端能够协作训练机器学习模型，同时将所有数据保存在本地设备上，无需上传原始数据。该技术有效保护用户数据隐私，同时保证了模型传递与聚合的效率，尽管联邦学习具有上述这些优点和广阔的应用前景，但它仍然存在一些关键挑战，诸如联邦学习要求服务器与多个客户端进行通信交流，这些频繁的通信交换所造成的开销相当庞大，而设备上行链路带宽有限，因此成为联邦学习系统性能的瓶颈。然而平衡通信效率与性能保证的轻量化联邦学习网络方案等挑战尚未得到探索，因此，降低通信开销，提高传输效率对于联邦学习是至关重要的。

2、研究表明，适当地减少神经网络参数并不会太过明显降低模型的精确程度，但能大幅度减小模型体积和减少资源消耗，这些理论和研究的推动下，联邦学习引入了模型压缩的方法来简化模型，降低通信传输成本。目前，现有方案主要是通过减少神经网络中的参数冗余性，达到模型运算量和精确性之间的权衡，对模型检测精度造成相对较小影响的同时，压缩本文档来自技高网...

【技术保护点】

1.一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法，其特征在于，包括：

2.根据权利要求1所述的基于混合精度量化与模拟退火剪枝的联邦学习训练方法，其特征在于，所述模型参数包括：

3.根据权利要求2所述的基于混合精度量化与模拟退火剪枝的联邦学习训练方法，其特征在于，所述步骤3包括：

4.根据权利要求3所述的基于混合精度量化与模拟退火剪枝的联邦学习训练方法，其特征在于，所述量化位宽的取值为：

5.根据权利要求4所述的基于混合精度量化与模拟退火剪枝的联邦学习训练方法，其特征在于，

6.根据权利要求5所述的基于混合精度量化与模拟退...

【技术特征摘要】

1.一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法，其特征在于，包括：

2.根据权利要求1所述的基于混合精度量化与模拟退火剪枝的联邦学习训练方法，其特征在于，所述模型参数包括：

3.根据权利要求2所述的基于混合精度量化与模拟退火剪枝的联邦学习训练方法，其特征在于，所述步骤3包括：

4.根据权利要求3所述的基于混合精度量化与模拟退火剪枝的联邦学习训练方法，其特征在于，所述量化位宽的取值为：

5...

【专利技术属性】
技术研发人员：刘利枚，蒲艺，杨俊丰，余海航，曹文治，张震，杨艺，傅清爽，符静，王言，
申请(专利权)人：湘江实验室，
类型：发明
国别省市：