一种基于基础生成模型的联邦学习方法技术

本发明专利技术提出了一种基于基础生成模型的联邦学习方法，首先，客户端上传提示信息并在服务器上进行聚合；然后，利用基础生成模型生成合成数据，并进行筛选后，用于训练全局模型；更新后的模型权重将分发给客户端。该方法具有多个优点，包括解决数据不平衡问题、显著的性能提升和增强的隐私保护。

【技术实现步骤摘要】

本专利技术属于计算机，尤其涉及一种基于基础生成模型的联邦学习方法。

技术介绍

1、文本到图像生成模型，如stable diffusion模型、dall-e2、imagen，已经展示了通过自然语言描述生成令人惊叹图像的卓越能力。给定一个预先训练好的生成模型g，如stable diffusion，用户只需提供一个文本提示，就能合成高质量的图像。具体来说，在推理阶段，通过使用条件向量(如文本提示向量p)对随机噪音向量进行迭代去噪，生成新的图像潜向量z0。随后，通过使用预先训练好的解码器将潜向量z0转换成图像，得到x′＝g(z0,p)。

2、为了使深度学习模型更加高效，通常需要大规模数据进行训练。然而，对于处理敏感客户或专有数据的企业而言，这可能会带来问题。例如，标记医疗数据通常成本高昂，由于安全和隐私问题，这些数据的发布是一个敏感问题。此外，原始数据本身通常被许多公司视为有价值的资产，因此获取它是不切实际的。因为它们可能不愿意与第三方，甚至是同一组织内的其他部门共享这些数据。因此，我们迫切需要既高效又能保护隐私的协作机器学习方法。

3、联本文档来自技高网...

【技术保护点】

1.一种基于基础生成模型的联邦学习方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤1的具体实现方式如下：

3.根据权利要求1所述的方法，其特征在于，步骤2的类级提示生成方法如下，为每个类生成类似“A photo of a{class name}”的类级提示，表示为ci；每个类级提示可以用于控制合成图像的粗粒度指导；步骤2的实例级提示生成方法如下，使用BLIP-v2为客户端的每个真实图像xi生成描述作为实例级提示，表示为pi；每个实例级别提示用于控制合成图像的细粒度指导；然后将粗粒度的类级提示分别与该类对应的细粒度的实例级提示...

【技术特征摘要】

1.一种基于基础生成模型的联邦学习方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤1的具体实现方式如下：

3.根据权利要求1所述的方法，其特征在于，步骤2的类级提示生成方法如下，为每个类生成类似“a photo of a{class name}”的类级提示，表示为ci；每个类级提示可以用于控制合成图像的粗粒度指导；步骤2的实例级提示生成方法如下，使用blip-v2为客户端的每个真实图像xi生成描述作为实例级提示，表示为pi；每个实例级别提示用于控制合成图像的细粒度指导；然后...

【专利技术属性】
技术研发人员：凌强，齐晓滑，於俊，方毅，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：