一种补全缺失客户端采样信息的联邦学习及数据处理方法技术

本发明专利技术公开了一种补全缺失客户端采样信息的联邦学习及数据处理方法，涉及大数据处理领域。本发明专利技术对客户端进行均匀采样，利用个性化策略得到个性化本地模型的期望参数并进行训练，根据先验信息和本地客户端实际情况，通过本地期望参数制定个性化策略，可提升个性化训练收敛速度和个性化模型收敛性能，有效解决数据异构问题，并提升全局模型在不同客户端的兼容性；本发明专利技术对客户端进行均匀采样，按照实际需求并利用图像数据或文字数据训练本地模型，获取兼容于不同客户端的全局模型，提升各个客户端在通过全局模型进行图像数据或文字数据处理时的效率。

【技术实现步骤摘要】

本专利技术涉及大数据处理领域，具体涉及一种补全缺失客户端采样信息的联邦学习及数据处理方法。

技术介绍

1、联邦学习是一种分布式机器学习方法，旨在解决数据孤岛和隐私保护的问题。通过将模型训练过程移至本地设备或边节点，利用联邦学习进行图像数据或文字数据处理可以避免集中式数据集，从而降低了图像数据或文字数据的传输需求和隐私泄露的风险。此外，通过联邦学习进行图像数据或文字数据的处理可以利用本地设备上的计算资源进行模型训练，实现高效通讯和模型压缩。由于图像数据量或文字数据量通常远大于模型参数量，通过仅传输本地模型参数而不是原始图像数据或文字数据用以全局模型参数更新，可以显著减少通信开销，减小通信瓶颈带来的影响。然而，通过联邦学习进行图像数据或文字数据处理面临着数据异构和个性化的挑战。由于参与联邦学习的设备可能具有不同的数据分布特征，且现有技术通常使用相同的全局模型直接进行本地训练，忽略掉客户端的采样信息，使得全局模型在不同设备上进行图像数据或文字数据处理时表现可能存在差异，进而形成兼容性问题。

技术实现思路p>

1、针对现本文档来自技高网...

【技术保护点】

1.一种补全缺失客户端采样信息的联邦学习方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的补全缺失客户端采样信息的联邦学习方法，其特征在于：所述步骤S2对应的公式如下：

3.根据权利要求1所述的补全缺失客户端采样信息的联邦学习方法，其特征在于：所述步骤S3对应的公式如下：

4.根据权利要求1所述的补全缺失客户端采样信息的联邦学习方法，其特征在于：所述步骤S4对应的公式如下：

5.根据权利要求4所述的补全缺失客户端采样信息的联邦学习方法，其特征在于：所述步骤S5的本地迭代结束条件为：本地迭代周期数量达到数量设定上限R；在设定周期κ内，...

【技术特征摘要】

1.一种补全缺失客户端采样信息的联邦学习方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的补全缺失客户端采样信息的联邦学习方法，其特征在于：所述步骤s2对应的公式如下：

3.根据权利要求1所述的补全缺失客户端采样信息的联邦学习方法，其特征在于：所述步骤s3对应的公式如下：

4.根据权利要求1所述的补全缺失客户端采样信息的联邦学习方法，其特征在于：所述步骤s4对应的公式如下：

5.根据权利要求4所述的补全缺失客户端采样信息的联邦学习方法，其特征在于：所述步骤s5的本地迭代结束条件为：本地迭代周期数量达到数量设定上限r...

【专利技术属性】
技术研发人员：吕建成，石明佳，周宇浩，叶庆，
申请(专利权)人：四川大学，
类型：发明
国别省市：