基于全局特征共享的个性化联邦学习方法、装置及系统制造方法及图纸

本发明专利技术涉及一种基于全局特征共享的个性化联邦学习方法、装置及系统。基于全局特征共享的个性化联邦学习方法应用于客户端，包括：接收服务器发送的全局特征提取器模型和全局特征；根据全局特征提取器模型和本地分类器模型，初始化本地模型；将本地图像数据输入经过初始化的本地模型进行模型训练，确定本地模型的损失函数，损失函数包括本地图像数据的训练标签和真实标签之间的交叉熵损失、条件互信息正则项；根据本地模型的损失函数，基于反向传播对本地模型进行第一更新处理；当本地模型收敛时，确定目标本地模型。本公开通过引入全局特征和条件互信息正则项，共享全局特征，提高本地模型的泛化表现，并防止本地模型的过拟合。合。合。

【技术实现步骤摘要】
基于全局特征共享的个性化联邦学习方法、装置及系统


[0001]本专利技术涉及一种人工智能
，具体涉及一种基于全局特征共享的个性化联邦学习方法、装置及系统。

技术介绍

[0002]联邦学习是一种分布式机器学习方法，在多个本地节点上训练模型，无需将原始数据集传输到中心服务器，通常用于隐私任务，例如医疗保健、金融领域。标准的联邦学习的目标为训练一个泛化性能较好的全局模型，在此过程中节点和服务器共享相同的全局模型。但是，由于每个节点的数据分布不同，导致全局模型无法较好得适应所有节点的异构数据，从而导致其泛化性能较差。
[0003]由此，提出个性化联邦学习，在个性化联邦学习中，为每个节点提供一个在其本地数据上表现最佳的个性化模型，具体而言，个性化联邦学习需要为每个节点单独训练私有模型来拟合本地数据集，但是，由于本地数据的异构性和样本数量的限制，节点的本地模型容易出现过拟合的问题。

技术实现思路

[0004]针对现有技术的缺陷，本公开的目的是提供一种基于全局特征共享的个性化联邦学习方法、装置及系统。
>[0005]为了实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全局特征共享的个性化联邦学习方法，其特征在于，应用于客户端，所述客户端包括本地模型，包括：接收服务器发送的全局特征提取器模型和全局特征；根据所述全局特征提取器模型和本地分类器模型，初始化本地模型；将本地图像数据输入经过所述初始化的本地模型进行模型训练，确定所述本地模型的损失函数，所述损失函数包括所述本地图像数据的训练标签和真实标签之间的交叉熵损失、条件互信息正则项；根据所述本地模型的损失函数，基于反向传播对所述本地模型进行第一更新处理；当所述本地模型收敛时，确定目标本地模型。2.根据权利要求1所述的方法，其特征在于，所述本地模型包括本地特征提取器模型和本地分类器模型；所述根据所述本地模型的损失函数，基于反向传播对所述本地模型进行第一更新处理，包括：根据所述本地模型的损失函数，基于反向传播对本地特征提取器模型进行所述第二更新处理以及对所述本地分类器模型进行所述第三更新处理。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：将所述本地图像数据输入经过所述第二更新处理后的本地特征提取器模型中，确定所述本地图像数据中的每一图像的末次更新特征；在所述本地模型的第一更新处理次数达到预设阈值时，根据图像类别，将所述具有相同图像类别的所述本地图像数据的末次更新特征进行第一乘积处理，确定本地特征。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在所述本地模型的第一更新处理次数达到预设阈值时，确定末次经过所述第二更新处理后的所述本地特征提取器模型；将所述末次经过所述第二更新处理后的所述本地特征提取器模型和所述本地特征发送至所述服务器。5.一种基于全局特征共享的个性化联邦学习方法，其特征在于，应用于服务器端，所述服务器端包括全局特征提取器模型，包括：初始化全局特征提取器模型和全局特征；将经过所述初始化的全局特征提取器模型和所述全局特征发送至所述客户端；接收所述客户端发送的末次经过第二更新处理后的本地特征提取器模型和本地特征；将所述本地特征提取器模型进行全局聚合处理，确定全局特征提取器模型；根据图像类别将所述本地特征进行第二乘积处理，确定全局特征。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：将所述全局特征提取器模型和所述全局特征发送至所述客户端，所述客户端执行接收服务器发送的所述全局特征提取器模型和所述全局特征的步骤。7.一种基于全局特征共享的个性化联邦学习装置，其特征在于，应用于客户端，所述客户端包括本地模型，包括...

【专利技术属性】
技术研发人员：李成林，张豪，戴文睿，邹君妮，熊红凯，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：