一种模型参数更新方法及装置制造方法及图纸

本发明专利技术提供了一种模型参数更新方法及装置，其中，该方法包括：获取多个客户端根据训练次数确定的本地模型的梯度与梯度权重；根据多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数，可以解决相关技术中无法区分模型训练的完备程度，使模型更新效率降低的问题，不同客户端针对其本地模型的不同训练次数确定不同的梯度权重，根据多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，从而使训练完备程度高的本地模型上传时具有较高的权重，训练完备程度低的本模型具有相对低的权重，可以提高模型参数更新的效率。以提高模型参数更新的效率。以提高模型参数更新的效率。

【技术实现步骤摘要】
一种模型参数更新方法及装置


[0001]本专利技术涉及数据处理领域，具体而言，涉及一种模型参数更新方法及装置。

技术介绍

[0002]目前联邦平均算法无法解决用户移动端训练次数不均衡的问题，在移动端场景下，主要涵盖手机、平板和汽车等移动设备，当用户在上传或下载模型之前，根据用户本地数据的更新策略触发本地训练，导致用户本地已进行共T次的n轮训练。目前现有算法未将训练次数T纳入考虑，进而导致用户模型训练的完备程度无法区分，使模型更新效率降低。
[0003]针对相关技术中无法区分模型训练的完备程度，使模型更新效率降低的问题，尚未提出解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种模型参数更新方法及装置，以至少解决相关技术中无法区分模型训练的完备程度，使模型更新效率降低的问题。
[0005]根据本专利技术的一个实施例，提供了一种模型参数更新方法，应用于服务端，包括：
[0006]获取多个客户端根据训练次数确定的本地模型的梯度与梯度权重；
[0007]根据多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数。
[0008]可选地，所述方法还包括：
[0009]通过以下方式根据所述多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数：
[0010]其中，θ
*
为所述更新后的模型参数，θ为初始模型参数，为本地模型i的梯度，ω
i
为所述本地模型i的梯度权重，ε为所述服务端总模型的学习率。
[0011]可选地，在根据所述多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数之后，所述方法还包括：
[0012]向所述多个客户端发送已更新模型参数的通知消息，其中，所述通知消息用于指示所述多个客户端将所述本地模型的训练次数清零。
[0013]根据本专利技术的另一个实施例，还提供了一种模型参数更新方法，应用于客户端，包括：
[0014]根据训练次数确定本地模型的梯度与梯度权重；
[0015]将所述本地模型的梯度与梯度权重发送给服务端，以使所述服务端根据所述本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数。
[0016]可选地，在确定本地模型的梯度与梯度权重之前，所述方法还包括：
[0017]从所述服务端下载模型；
[0018]根据本地数据对所述模型进行训练，得到所述本地模型，并记录所述本地模型的
训练次数。
[0019]可选地，确定本地模型的梯度与梯度权重包括：
[0020]获取当前训练完成之后所述本地模型的目标模型参数；
[0021]根据所述目标模型参数与初始模型参数确定所述本地模型的梯度；
[0022]根据所述本地模型的训练次数确定所述梯度权重。
[0023]可选地，所述方法还包括：
[0024]通过以下方式根据所述模型参数与初始模型参数确定所述本地模型的梯度：
[0025]其中，为本地模型i的梯度，θ0为所述初始模型参数，θ
t
为所述目标模型参数，ε
i
为所述本地模型i的学习率；
[0026]通过以下方式根据所述本地模型的训练次数确定所述梯度权重：
[0027]ω
i
＝(2+2α)sigmoid(T
i
‑
1)+2α
‑
1，α为常数，T
i
为所述训练次数。
[0028]可选地，在将所述本地模型的梯度与梯度权重发送给服务端之后，所述方法还包括：
[0029]向所述多个客户端发送已更新模型参数的通知消息，其中，所述通知消息用于指示所述多个客户端将所述本地模型的训练次数清零。
[0030]根据本专利技术的另一个实施例，还提供了一种模型参数更新装置，应用于服务端，包括：
[0031]获取模块，用于获取多个客户端根据训练次数确定的本地模型的梯度与梯度权重；
[0032]更新模块，用于根据多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数。
[0033]可选地，所述更新模块，还用于通过以下方式根据所述多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数：
[0034]其中，θ
*
为所述更新后的模型参数，θ为初始模型参数，为本地模型i的梯度，ω
i
为所述本地模型i的梯度权重，ε为所述服务端总模型的学习率。
[0035]可选地，所述装置还包括：
[0036]第一通知模块，用于向所述多个客户端发送已更新模型参数的通知消息，其中，所述通知消息用于指示所述多个客户端将所述本地模型的训练次数清零。
[0037]根据本专利技术的另一个实施例，还提供了一种模型参数更新装置，应用于客户端，包括：
[0038]确定模块，用于根据训练次数确定本地模型的梯度与梯度权重；
[0039]发送模块，用于将所述本地模型的梯度与梯度权重发送给服务端，以使所述服务端根据所述本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数。
[0040]可选地，所述装置还包括：
[0041]下载模块，用于从所述服务端下载模型；
[0042]训练模块，用于根据本地数据对所述模型进行训练，得到所述本地模型，并记录所述本地模型的训练次数。
[0043]可选地，所述确定模块包括：
[0044]获取子模块，用于获取当前训练完成之后所述本地模型的目标模型参数；
[0045]第一确定子模块，用于根据所述目标模型参数与初始模型参数确定所述本地模型的梯度；
[0046]第二确定子模块，用于根据所述本地模型的训练次数确定所述梯度权重。
[0047]可选地，所述第一确定子模块，还用于通过以下方式根据所述模型参数与初始模型参数确定所述本地模型的梯度：
[0048]其中，为本地模型i的梯度，θ0为所述初始模型参数，θ
t
为所述目标模型参数，ε
i
为所述本地模型i的学习率；
[0049]所述第二确定子模块，还用于通过以下方式根据所述本地模型的训练次数确定所述梯度权重：
[0050]ω
i
＝(2+2α)sigmoid(T
i
‑
1)+2α
‑
1，α为常数，T
i
为所述训练次数。
[0051]可选地，所述装置还包括：
[0052]第二通知模块，用于向所述多个客户端发送已更新模型参数的通知消息，其中，所述通知消息用于指示所述多个客户端将所述本地模型的训练次数清零。
[0053]根据本专利技术的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型参数更新方法，应用于服务端，其特征在于，包括：获取多个客户端根据训练次数确定的本地模型的梯度与梯度权重；根据多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过以下方式根据所述多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数：其中，θ
*
为所述更新后的模型参数，θ为初始模型参数，为本地模型i的梯度，ω
i
为所述本地模型i的梯度权重，ε为所述服务端总模型的学习率。3.根据权利要求1或2所述的方法，其特征在于，在根据所述多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数之后，所述方法还包括：向所述多个客户端发送已更新模型参数的通知消息，其中，所述通知消息用于指示所述多个客户端将所述本地模型的训练次数清零。4.一种模型参数更新方法，应用于客户端，其特征在于，包括：根据训练次数确定本地模型的梯度与梯度权重；将所述本地模型的梯度与梯度权重发送给服务端，以使所述服务端根据所述本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数。5.根据权利要求4所述的方法，其特征在于，在确定本地模型的梯度与梯度权重之前，所述方法还包括：从所述服务端下载模型；根据本地数据对所述模型进行训练，得到所述本地模型，并记录所述本地模型的训练次数。6.根据权利要求5所述的方法，其特征在于，确定本地模型的梯度与梯度权重包括：获取当前训练完成之后所述本地模型的目标模型参数；根据所述目标模型参数与初始模型参数确定所述本地模型的梯度；根据所述本地模型的训练次数确定所述梯度权重。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：通过以下方式根据所述模型参数与初始模型参数确定所述本地模型的梯度：
▽
θ
i
...

【专利技术属性】
技术研发人员：阴嘉伟，邓建全，
申请(专利权)人：光大科技有限公司，
类型：发明
国别省市：