预训练联邦学习微调方法、系统、电子设备及存储介质技术方案

本申请提供一种预训练联邦学习微调方法、系统、电子设备及存储介质，所述方法包括：确定调整策略，根据调整策略调整第一矩阵的参数量，并将第一矩阵插入到预训练矩阵；获取数据集，将数据集输入到预训练矩阵和第一矩阵，正向传播确定损失；确定传播梯度，根据损失和传播梯度，利用反向传播更新第一矩阵；对不同来源的第一矩阵进行聚合，生成第二矩阵，并对与第一矩阵对应来源的损失进行聚合，生成全局损失；响应于调整策略执行完成，且全局损失最小，则确定对应的第二矩阵。响应于调整策略未执行完成，或全局损失未达到最小，则将第二矩阵插入到预训练矩阵并重复上述步骤，直至调整策略执行完成且全局损失最小。

【技术实现步骤摘要】

本申请涉及人工智能和通信，尤其涉及一种预训练联邦学习微调方法、系统、电子设备及存储介质。

技术介绍

1、随着预训练技术在自然语言处理、计算机视觉和其他相关领域的快速发展，预训练已经广泛应用于各种下游任务，并且展示出了强大的泛化能力、适应能力与优越的性能。但预训练技术面临着“可用训练数据稀缺”的瓶颈，真实场景下的数据往往分布在多个数据中心，受到相关法律政策和隐私安全的限制，这些数据不能进行跨机构的传输，因此预训练技术无法从少量数据中提取出有效的通用特征，影响后续训练效果。近几年，联邦学习技术的出现打破了数据孤岛之间的壁垒，助力数据价值的共享。联邦学习是一种保护隐私安全的分布式网络框架，无需原始敏感数据在网络节点间传输，只需要在各节点数据集上训练形成的模型参数跨机构传输即可。然而，当海量参数的预训练模型以联邦学习的方式在节点间迭代传输时，网络的通信成本呈爆发式增长。因此，网络中有限的通信资源无法支撑联邦学习中预训练技术的长期应用。

2、而相关技术中，利用参数高效微调(parameter-efficient fine-tuning,peft)方法减少本文档来自技高网...

【技术保护点】

1.一种预训练联邦学习微调方法，其特征在于，所述方法应用于预训练联邦学习微调系统；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一矩阵的参数量包括第一参数量、第二参数量和第三参数量；

3.根据权利要求2所述的方法，其特征在于，所述调整策略表示为：

4.根据权利要求1所述的方法，其特征在于，正向传播确定损失表示为：

5.根据权利要求1所述的方法，其特征在于，所述全局损失表示为：

6.根据权利要求1所述的方法，其特征在于，所述第二矩阵表示为：

7.根据权利要求1所述的方法，其特征在于，所述第一矩阵的参数...

【技术特征摘要】

1.一种预训练联邦学习微调方法，其特征在于，所述方法应用于预训练联邦学习微调系统；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一矩阵的参数量包括第一参数量、第二参数量和第三参数量；

3.根据权利要求2所述的方法，其特征在于，所述调整策略表示为：

4.根据权利要求1所述的方法，其特征在于，正向传播确定损失表示为：

5.根据权利要求1所述的方法，其特征在于，所述全局损失表示为：

6.根据权利要求1所述的方法，其特征在于，所述第二矩阵表示为：

7.根据权利要求1所述的方法，其特征在于，所述第...

【专利技术属性】
技术研发人员：王光宇，杨宇宁，张平，刘晓鸿，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：