模型参数更新方法技术

本申请涉及一种模型参数更新方法

【技术实现步骤摘要】
模型参数更新方法、装置、计算机设备和存储介质


[0001]本申请涉及数据处理
，特别是涉及一种模型参数更新方法
、
装置
、
计算机设备和存储介质
。

技术介绍

[0002]随着人工智能和深度学习的发展，神经网络模型的应用越来越多地渗透到我们日常生活和工作中
。
例如，神经网络模型应用在智能驾驶领域可以进行路径规划，提高驾驶的安全性；神经网络模型应用在医学领域，可以对医学图像进行分类和识别，提高疾病诊断的准确性
。
因此，神经网络模型的性能十分重要
。
[0003]为了确保神经网络模型的性能，在训练神经网络模型时往往需要大量的数据
。
但是用于训练的数据分布在不同的客户端上，目前基于数据的安全性，很多有用数据只能存储在各自对应的客户端，因此，为了确保神经网络模型的性能，基于联邦学习的方式共享各客户端的有用数据对神经网络模型进行训练
。
[0004]然而，目前基于联邦学习的方式只能利用独立同分布场景下的各客户端的有用数据，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型参数更新方法，其特征在于，应用在联邦学习客户端，所述方法包括：接收联邦学习服务端发送的针对各联邦学习客户端所共有的数据分布预测模型的参数更新指令；其中，所述参数更新指令携带所述数据分布预测模型的共享参数和特定参数；所述特定参数是通过对傅里叶级数进行有限求和确定的，所述特定参数用于拟合各所述联邦学习客户端的数据分布；所述共享参数用于提取各所述联邦学习客户端的数据公共特征；所述数据分布预测模型用于预测待处理数据的数据类型；响应于所述参数更新指令，对所述共享参数和特定参数进行更新，得到更新后的共享参数和更新后的特定参数；将所述更新后的共享参数发送至所述联邦学习服务端，并将所述更新后的特定参数保留在本地；接收所述联邦学习服务端对所述更新后的共享参数聚合处理后发送的聚合共享参数；基于所述聚合共享参数和所述特定参数确定对应的目标共享参数和目标特定参数
。2.
根据权利要求1所述的方法，其特征在于，所述特定参数是通过对傅里叶级数进行有限求和确定各联邦学习客户端所共有的数据分布预测模型的激活函数，根据所述激活函数的傅里叶级数的系数确定的
。3.
根据权利要求1所述的方法，其特征在于，所述响应于所述参数更新指令，对所述共享参数和特定参数进行更新，得到更新后的共享参数和更新后的特定参数，包括：对本地存储的样本数据集进行划分，得到训练数据集和验证数据集；响应所述参数更新指令，确定所述共享参数和所述特定参数的参数更新顺序；按照所述参数更新顺序，利用所述训练数据集和所述验证数据集对所述数据分布预测模型进行多次迭代训练，对所述共享参数和特定参数进行更新，得到更新后的共享参数和更新后的特定参数
。4.
根据权利要求3所述的方法，其特征在于，所述参数更新顺序为先固定所述特定参数更新所述共享参数，再固定更新后的所述共享参数，更新所述特定参数，其中，所述多次迭代训练中每次迭代训练包括：在所述特定参数不变的情况下，利用所述训练数据集训练所述数据分布预测模型，对所述共享参数进行更新，得到更新后的共享参数；在所述更新后的共享参数不变的情况下，利用所述验证数据集训练所述数据分布预测模型，对所述特定参数进行更新，得到更新后的特定参数
。5.
一种模型参数更新方法，其特征在于，应用在联邦学习服务端，所述方法包括：对傅里叶级数进行有限求和，确定各联邦学习客户端所共有的数据分布预测模型的特定参数；所述特定参数用于拟合各所述联邦学习客户端的数据分布；所述数据分布预测模型用于预测待处理数据的数据类型；将针对于所述数据分布预测模型的参数更新指令分别下发至各所述联邦学习客户端，所述参数更新指令携带所述数据分布预测模型的共享参数和所述特定参数；所述共享参数用于提取各所述联邦学习客户端的数据公共特征；接收各所述联邦学习客户端响应所述参数更新指令发送的更新后的共享参数，对各所述联邦学习客户端发送的更新后的共享参数进行聚合处理，得到聚合共享参数；其中，所述各所述联邦学习客户端响应所述参数更新指令更新所述特定参数确定更新后的特定参数，
并将所述更新后的特定参数保留在...

【专利技术属性】
技术研发人员：黄章敏，孙辰晨，陈光，李勇，张莹，程永利，崔钰，程稳，曾令仿，
申请(专利权)人：之江实验室，
类型：发明
国别省市：