基于动态压缩的模型参数调整方法、装置、设备、介质制造方法及图纸

本申请实施例提供了一种基于动态压缩的模型参数调整方法、装置、设备、介质，属于人工智能技术领域。该方法包括：获取每个子模型的训练结果，根据训练结果确定每个子模型的贡献率，根据贡献率阈值和贡献率确定目标子模型；根据中央学习参数将目标子模型的压缩参数降低为目标压缩参数；根据目标压缩参数对目标子模型的梯度参数进行量化压缩，得到目标梯度参数；当目标子模型的梯度变化率小于或等于变化率阈值，根据目标梯度参数调整中央模型的目标聚合参数。根据本实施例的技术方案，能够减小贡献率较大的子模型的压缩强度，避免有效信息的丢失，通过调整聚合参数降低模型之间的通信压力，提高模型训练时的数据传输效率。提高模型训练时的数据传输效率。提高模型训练时的数据传输效率。

【技术实现步骤摘要】
基于动态压缩的模型参数调整方法、装置、设备、介质


[0001]本申请涉及人工智能
，尤其涉及一种基于动态压缩的模型参数调整方法、装置、设备、介质。

技术介绍

[0002]在传统的分布式机器学习场景中，用户的私有数据在节点和中央服务之间传输，导致了巨大的潜在隐私风险。而联邦学习中特有隐私保护机制，可以在不暴露原始数据的情况下实现多方协作计算，得到了广泛的应用。但在每个客户端的带宽和计算能力不同时，系统存在差异性，难以实现全局同步。面对客户端数量众多的情况下，若进行强制性同步联邦学习，可能会导致大量客户端掉队、参数更新不全面的问题。
[0003]相关技术中，引入了衰退权重参数来更新每个客户端的落后程度，但是，为了减轻模型训练的通讯压力，许多联邦学习模型中都加入了梯度压缩的步骤，压缩强度对子模型的运行速率也会造成影响，因此，相关技术没有考虑到各个子模型的数据量对数据传输的影响。

技术实现思路

[0004]本申请实施例的主要目的在于提出一种基于动态压缩的模型参数调整方法、装置、设备、介质，旨在对联邦学习模型的参数进行动态调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态压缩的模型参数调整方法，其特征在于，应用于联邦学习系统的控制设备，所述联邦学习系统包括中央模型和多个子模型，所述方法包括：获取每个所述子模型的训练结果，根据所述训练结果确定每个子模型的贡献率，根据预设的贡献率阈值和所述贡献率从所述子模型中确定目标子模型；获取所述中央模型的中央学习参数，根据所述中央学习参数将所述目标子模型的压缩参数降低为目标压缩参数；根据所述目标压缩参数对所述目标子模型的梯度参数进行量化压缩，得到目标梯度参数；根据所述目标梯度参数确定所述目标子模型的梯度变化率；当所述梯度变化率小于或等于变化率阈值，根据所述目标梯度参数调整所述中央模型的目标聚合参数。2.根据权利要求1所述的一种基于动态压缩的模型参数调整方法，其特征在于，在所述获取每个子模型的训练结果之前，所述方法还包括：初始化所述子模型，清洗所述子模型的本地数据；将预设的初始压缩参数配置至每个子模型。3.根据权利要求2所述的一种基于动态压缩的模型参数调整方法，其特征在于，所述中央学习参数包括初始中央学习速率和当前中央学习速率，所述根据所述中央学习参数将所述目标子模型的压缩参数降低为目标压缩参数，包括：获取所述目标子模型当前的目标损失函数；根据所述当前中央学习速率、所述初始中央学习速率和所述目标损失函数确定所述目标压缩参数。4.根据权利要求1所述的一种基于动态压缩的模型参数调整方法，其特征在于，所述根据预设的贡献率阈值和所述贡献率从所述子模型中确定目标子模型，包括：当所述贡献率大于或等于所述贡献率阈值，将所述子模型确定为所述目标子模型；当所述贡献率小于所述贡献率阈值，将所述子模型确定为过滤子模型，并降低过滤子模型的资源占比。5.根据权利要求4所述的一种基于动态压缩的模型参数调整方法，其特征在于，在所述根据所述目标梯度参数调整所述中央模型的目标聚合参数之前，所述方法还包括：确定所述联邦学习系统的子模型数量；将所述过滤子模型的数量与所述子模型数量的比值确定为过滤模型占比；获取所述目标子模型的历史梯度参数和目标学习速率；根据所述历史梯度参数、所述目标学习速率、所述子模型数量和所述过滤模型占比确定所述变化率阈值...

【专利技术属性】
技术研发人员：李泽远，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：