预训练模型微调方法、图像分类方法、介质、设备及产品技术

一种预训练模型微调方法、图像分类方法、介质、设备及产品。方法包括：对第一模型进行训练；确定训练后所得的第一模型在各样本上的样本损失；与每一其他参与方执行第一数据集的混洗和复制秘密共享，以使得各参与方分别获得混洗后所得的第一数据集的两个第一分片；接收模型持有方分发的预训练模型的模型参数的两个第二分片，基于本地的两个第一分片，与每一其他参与方对预训练模型进行多轮迭代微调，每轮迭代微调中，数据持有方基于第二数据集的两个第一分片与每一其他参与方确定RHO最大的K个样本，利用K个样本反向传播更新模型参数。选择有价值且尚未被学习到的样本进行模型微调，提升模型安全微调的效率。该方法可应用于联邦学习。

【技术实现步骤摘要】

本公开涉及网络空间安全，具体地，涉及一种预训练模型微调方法、图像分类方法、介质、设备及产品。

技术介绍

1、安全多方计算又称为多方安全计算(multi-party computation，mpc)，可以由多方共同计算出一个函数的结果，而不泄露这个函数中各方的输入数据，计算的结果公开给其中的一方或多方。其中，模型的安全微调属于安全多方计算的典型应用。模型的安全微调通常包含两个阶段：预训练模型准备阶段以及使用微调样本安全更新模型阶段。预训练模型准备阶段通常采用开源的大型数据集对通用模型在明文下进行多轮训练，以得到预训练模型。在使用微调样本安全更新模型阶段则会将微调样本和预训练模型的模型参数进行秘密共享，多方协同进行多轮迭代微调获得微调后的模型。然而，该模型的安全微调方案存在效率低下的问题。

技术实现思路

1、提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围本文档来自技高网...

【技术保护点】

1.一种预训练模型的微调方法，其特征在于，预训练模型微调的参与方包括数据持有方、模型持有方以及辅助计算方，所述数据持有方持有微调样本集，所述模型持有方持有所述预训练模型，所述方法应用于所述数据持有方，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于本地的第二数据集的两个第一分片，与所述模型持有方和所述辅助计算方从第二样本集中确定可减少的保留损失RHO最大的K个样本，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于本地的所述第二样本集中每一样本各自的RHO的两个第四分片，与所述模型持有方和所述辅助计算方从所述第二样本集中确定RHO最大的K...

【技术特征摘要】

1.一种预训练模型的微调方法，其特征在于，预训练模型微调的参与方包括数据持有方、模型持有方以及辅助计算方，所述数据持有方持有微调样本集，所述模型持有方持有所述预训练模型，所述方法应用于所述数据持有方，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于本地的第二数据集的两个第一分片，与所述模型持有方和所述辅助计算方从第二样本集中确定可减少的保留损失rho最大的k个样本，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于本地的所述第二样本集中每一样本各自的rho的两个第四分片，与所述模型持有方和所述辅助计算方从所述第二样本集中确定rho最大的k个样本，包括：

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述与所述模型持有方和所述辅助计算方执行第一数据集的混洗和复制秘密共享操作，以使得每一所述参与方分别获得混洗后所得的第一数据集的两个第一分片，包括：

5.一种预训练模型的微调方法，其特征在于，预训练模型微调的参与方包括数据持有方、模型持有方以及辅助计算方，所述数据持有方持有微调样本集，所述模型持有方持有所述预训练模型，所述方法应用于所述模型持有方，所述方法包括：

6.根据权利要求5所述的方法，其特征在于，所述基于本地的第二数据集的两个第一分片，与所述数据持有方和所述辅助计算方从第二样本集中确定可减少的保留损失rho最大的k个样本，包括：

7.根据权利要求6所述的方法，其特征在于...

【专利技术属性】
技术研发人员：韩伟力，严峥翔，宋鲁杉，张祺智，洪爵，吴烨，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：