本发明专利技术涉及一种基于全局特征共享的个性化联邦学习方法、装置及系统。基于全局特征共享的个性化联邦学习方法应用于客户端，包括：接收服务器发送的全局特征提取器模型和全局特征；根据全局特征提取器模型和本地分类器模型，初始化本地模型；将本地图像数据输入经过初始化的本地模型进行模型训练，确定本地模型的损失函数，损失函数包括本地图像数据的训练标签和真实标签之间的交叉熵损失、条件互信息正则项；根据本地模型的损失函数，基于反向传播对本地模型进行第一更新处理；当本地模型收敛时，确定目标本地模型。本公开通过引入全局特征和条件互信息正则项，共享全局特征，提高本地模型的泛化表现，并防止本地模型的过拟合。合。合。
【技术实现步骤摘要】
基于全局特征共享的个性化联邦学习方法、装置及系统
[0001]本专利技术涉及一种人工智能
，具体涉及一种基于全局特征共享的个性化联邦学习方法、装置及系统。
技术介绍
[0002]联邦学习是一种分布式机器学习方法，在多个本地节点上训练模型，无需将原始数据集传输到中心服务器，通常用于隐私任务，例如医疗保健、金融领域。标准的联邦学习的目标为训练一个泛化性能较好的全局模型，在此过程中节点和服务器共享相同的全局模型。但是，由于每个节点的数据分布不同，导致全局模型无法较好得适应所有节点的异构数据，从而导致其泛化性能较差。
[0003]由此，提出个性化联邦学习，在个性化联邦学习中，为每个节点提供一个在其本地数据上表现最佳的个性化模型，具体而言，个性化联邦学习需要为每个节点单独训练私有模型来拟合本地数据集，但是，由于本地数据的异构性和样本数量的限制，节点的本地模型容易出现过拟合的问题。
技术实现思路
[0004]针对现有技术的缺陷，本公开的目的是提供一种基于全局特征共享的个性化联邦学习方法、装置及系统。
[0005]为了实现上述目的，根据本公开的第一方面，提供一种基于全局特征共享的个性化联邦学习方法，应用于客户端，所述客户端包括本地模型，包括：
[0006]接收服务器发送的全局特征提取器模型和全局特征；
[0007]根据所述全局特征提取器模型和本地分类器模型，初始化本地模型；
[0008]将本地图像数据输入经过所述初始化的本地模型进行模型训练，确定所述本地模型的损失函数，所述损失函数包括所述本地图像数据的训练标签和真实标签之间的交叉熵损失、条件互信息正则项；
[0009]根据所述本地模型的损失函数，基于反向传播对所述本地模型进行第一更新处理；
[0010]当所述本地模型收敛时，确定目标本地模型。
[0011]可选地，所述本地模型包括本地特征提取器模型和本地分类器模型；
[0012]所述根据所述本地模型的损失函数，基于反向传播对所述本地模型进行第一更新处理，包括：
[0013]根据所述本地模型的损失函数，基于反向传播对本地特征提取器模型进行所述第二更新处理以及对所述本地分类器模型进行所述第三更新处理。
[0014]可选地，所述方法还包括：
[0015]将所述本地图像数据输入经过所述第二更新处理后的本地特征提取器模型中，确定所述本地图像数据中的每一图像的末次更新特征；
[0016]在所述本地模型的第一更新处理次数达到预设阈值时，根据图像类别，将所述具有相同图像类别的所述本地图像数据的末次更新特征进行第一乘积处理，确定本地特征。
[0017]可选地，所述方法还包括：
[0018]在所述本地模型的第一更新处理次数达到预设阈值时，确定末次经过所述第二更新处理后的所述本地特征提取器模型；
[0019]将所述末次经过所述第二更新处理后的所述本地特征提取器模型和所述本地特征发送至所述服务器。
[0020]根据本公开的第二方面，提供一种基于全局特征共享的个性化联邦学习方法，应用于服务器端，所述服务器端包括全局特征提取器模型，包括：
[0021]应用于服务器端，所述服务器端包括全局特征提取器模型，包括：
[0022]初始化全局特征提取器模型和全局特征；
[0023]将经过所述初始化的全局特征提取器模型和所述全局特征发送至所述客户端；
[0024]接收所述客户端发送的末次经过第二更新处理后的本地特征提取器模型和本地特征；
[0025]将所述本地特征提取器模型进行全局聚合处理，确定全局特征提取器模型；
[0026]根据图像类别将所述本地特征进行第二乘积处理，确定全局特征。
[0027]可选地，所述方法还包括：
[0028]将所述全局特征提取器模型和所述全局特征发送至所述客户端，所述客户端执行接收服务器发送的所述全局特征提取器模型和所述全局特征的步骤。
[0029]根据本公开的第三方面，提供一种基于全局特征共享的个性化联邦学习装置，应用于客户端，所述客户端包括本地模型，包括：
[0030]客户端第一接收模块，用于接收服务器发送的全局特征提取器模型和全局特征；；
[0031]客户端初始化模块，用于根据所述全局特征提取器模型、所述全局特征以及本地分类器，初始化本地模型；
[0032]客户端第一确定模块，用于将本地图像数据输入经过所述初始化的本地模型进行模型训练，确定所述本地模型的损失函数，所述损失函数包括所述本地图像数据的训练标签和真实标签之间的交叉熵损失、条件互信息正则项；
[0033]客户端第一更新模块，用于根据所述本地模型的损失函数，基于反向传播对所述本地模型进行第一更新处理；
[0034]客户端第二确定模块，用于当所述本地模型收敛时，确定目标本地模型。
[0035]根据本公开的第四方面，提供一种基于全局特征共享的个性化联邦学习装置，应用于服务器端，所述服务器端包括全局特征提取器模型，包括：
[0036]服务器初始化模块，用于初始化全局特征提取器模型和全局特征；
[0037]服务器发送模块，用于将经过所述初始化的全局特征提取器模型和所述全局特征发送至所述客户端；
[0038]服务器接收模块，用于接收所述客户端发送的末次经过第二更新处理后的本地特征提取器模型和本地特征；
[0039]服务器第一确定模块，用于将所述本地特征提取器模型进行全局聚合处理，确定全局特征提取器模型；
[0040]服务器第二确定模块，用于根据图像类别将所述本地特征进行第二乘积处理，确定全局特征。
[0041]根据本公开的第五方面，提供一种基于全局特征共享的个性化联邦学习系统，包括：
[0042]本地模型更新模块，用于在本地训练节点基于反向传播对本地模型进行第一更新处理，所述对本地模型进行第一更新处理包括对本地特征提取器模型进行第二更新处理以及对本地分类器模型进行第三更新处理；
[0043]本地特征提取模块，用于当所述本地模型更新模块在所述本地训练节点对所述本地模型进行第一更新处理时，提取本地图像数据的更新特征并确定本地特征；
[0044]全局特征提取器聚合模块，用于将经过所述第二更新处理后的本地特征提取器模型进行全局聚合处理，确定全局特征提取器模型；
[0045]全局特征更新模块，用于将所述本地特征提取模块确定的所述本地特征根据图像类别进行第二乘积处理，确定全局特征；
[0046]通信模块，用于将所述客户端的经过所述第二更新处理后的所述本地特征提取器模型和所述本地特征传输至所述服务器端，并且将所述服务器端的所述全局特征提取器模型和所述全局特征传输至所述客户端。
[0047]可选地，所述客户端包括所述本地模型更新模块和所述本地特征提取模块，所述服务器端包括所述全局特征提取器聚合模块和所述全局特征更新模块，所述通信模块还用于连接所述客户端和所述服务器端。...
【技术保护点】
【技术特征摘要】
1.一种基于全局特征共享的个性化联邦学习方法，其特征在于，应用于客户端，所述客户端包括本地模型，包括：接收服务器发送的全局特征提取器模型和全局特征；根据所述全局特征提取器模型和本地分类器模型，初始化本地模型；将本地图像数据输入经过所述初始化的本地模型进行模型训练，确定所述本地模型的损失函数，所述损失函数包括所述本地图像数据的训练标签和真实标签之间的交叉熵损失、条件互信息正则项；根据所述本地模型的损失函数，基于反向传播对所述本地模型进行第一更新处理；当所述本地模型收敛时，确定目标本地模型。2.根据权利要求1所述的方法，其特征在于，所述本地模型包括本地特征提取器模型和本地分类器模型；所述根据所述本地模型的损失函数，基于反向传播对所述本地模型进行第一更新处理，包括：根据所述本地模型的损失函数，基于反向传播对本地特征提取器模型进行所述第二更新处理以及对所述本地分类器模型进行所述第三更新处理。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：将所述本地图像数据输入经过所述第二更新处理后的本地特征提取器模型中，确定所述本地图像数据中的每一图像的末次更新特征；在所述本地模型的第一更新处理次数达到预设阈值时，根据图像类别，将所述具有相同图像类别的所述本地图像数据的末次更新特征进行第一乘积处理，确定本地特征。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在所述本地模型的第一更新处理次数达到预设阈值时，确定末次经过所述第二更新处理后的所述本地特征提取器模型；将所述末次经过所述第二更新处理后的所述本地特征提取器模型和所述本地特征发送至所述服务器。5.一种基于全局特征共享的个性化联邦学习方法，其特征在于，应用于服务器端，所述服务器端包括全局特征提取器模型，包括：初始化全局特征提取器模型和全局特征；将经过所述初始化的全局特征提取器模型和所述全局特征发送至所述客户端；接收所述客户端发送的末次经过第二更新处理后的本地特征提取器模型和本地特征；将所述本地特征提取器模型进行全局聚合处理，确定全局特征提取器模型；根据图像类别将所述本地特征进行第二乘积处理，确定全局特征。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：将所述全局特征提取器模型和所述全局特征发送至所述客户端，所述客户端执行接收服务器发送的所述全局特征提取器模型和所述全局特征的步骤。7.一种基于全局特征共享的个性化联邦学习装置，其特征在于，应用于客户端，所述客户端包括本地模型，包括...
【专利技术属性】
技术研发人员：李成林，张豪，戴文睿，邹君妮，熊红凯，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。