基于联邦学习的模型训练方法、装置、设备及存储介质制造方法及图纸

本申请涉及人工智能技术领域，揭示了一种基于联邦学习的模型训练方法、装置、设备及存储介质，其中方法包括：获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵；将目标客户端的数量作为参与训练机构数量；根据所有单模型训练样本数量得到训练样本总数；根据参与训练机构数量、所有单模型参数矩阵、所有单模型训练样本数量和第i

【技术实现步骤摘要】
基于联邦学习的模型训练方法、装置、设备及存储介质


[0001]本申请涉及到人工智能
，特别是涉及到一种基于联邦学习的模型训练方法、装置、设备及存储介质。

技术介绍

[0002]人岗匹配，指候选人与岗位匹配，是机构在招聘领域的重要环节，但由于人岗匹配需要招聘人员投入非常多的时间精力，而且对专业知识要求也很高，目前不少机构已经结合深度学习的方法进行人岗匹配的自动化。然而，不是所有机构都有能力构建基于深度学习的人岗匹配模型，有的是缺少数据积累，有的是缺失开发资源等，因此市场上出现了不少提供人岗匹配的技术开发服务。但是，这些技术开发服务存在如下问题：(1)缺乏训练样本，单个机构没有足够的训练样本进行深度学习模型训练，导致人岗匹配模型的效果不理想；(2)数据受保密限制，机构出于保护商业机密的原因，不能将简历与岗位数据输出机构外，导致人岗匹配模型仅适用于该机构自身使用，难以到达更大范围的应用；(3)数据来源单一，机构数据不能离开机构，导致人岗匹配模型需要在机构内进行训练，大大限制了模型训练、更新的灵活性，需要专门的维护团队进行不定期开发。

技术实现思路

[0003]本申请的主要目的为提供一种基于联邦学习的模型训练方法、装置、设备及存储介质，旨在解决现有技术的基于深度学习的人岗匹配模型，因缺乏训练样本、数据来源单一、数据受保密限制、数据来源单一，导致人岗匹配模型的效果不理想的技术问题。
[0004]为了实现上述专利技术目的，本申请提出一种基于联邦学习的模型训练方法，所述方法包括：
[0005]获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵，其中，所述目标客户端用于采用本地训练样本集对本地网络模型进行模型训练，根据训练结束的所述本地网络模型提取所述单模型训练样本数量和所述单模型参数矩阵；
[0006]获取所述目标客户端的数量作为参与训练机构数量；
[0007]将所有所述单模型训练样本数量进行相加，得到训练样本总数；
[0008]获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i
‑
1次迭代的所述模型参数汇总矩阵计算第i次迭代的所述模型参数汇总矩阵；
[0009]根据所述参与训练机构数量进行学习率计算，得到待更新的学习率；
[0010]将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给各个所述目标客户端，其中，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新；
[0011]将i加1，重复执行所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤，直至满足联邦学习结束条件。
[0012]进一步的，所述第i次迭代的所述模型参数汇总矩阵的计算公式为W
_all
[i]：
[0013][0014]其中，W
_all
[i
‑
1]是第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，n是第m轮联邦学习的第i
‑
1次迭代的所述参与训练机构数量，w[a][i]是第m轮联邦学习的第i次迭代中的第a个所述目标客户端发送的所述单模型参数矩阵，sp_n[a]是第m轮联邦学习的第i次迭代中的第a个所述目标客户端发送的所述单模型训练样本数量。
[0015]进一步的，所述待更新的学习率的计算公式b[i]为：
[0016]b[i]＝1/(i*n2)
[0017]其中，n是所述参与训练机构数量，i是第m轮联邦学习的第i次迭代中的i。
[0018]进一步的，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新的步骤，包括：
[0019]通过待更新的客户端，根据所述待更新的客户端的所述最后一次更新梯度数据及所述单模型参数矩阵、所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵进行模型参数矩阵计算，得到待更新的模型参数矩阵，其中，所述待更新的客户端是任一个所述目标客户端；
[0020]根据所述待更新的模型参数矩阵更新所述待更新的客户端对应的所述本地网络模型的参数；
[0021]其中，所述待更新的模型参数矩阵的计算公式w
g
为：
[0022][0023]w[r][i]是第m轮联邦学习的第i次迭代的所述待更新的客户端r的所述单模型参数矩阵，W_all[i]是第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵，sp_all[i]是第m轮联邦学习的第i次迭代的所述训练样本总数，b[i]是第m轮联邦学习的第i次迭代的所述待更新的学习率，grad[i]是第m轮联邦学习的第i次迭代的所述待更新的客户端对应的所述本地网络模型的所述最后一次更新梯度数据。
[0024]进一步的，所述联邦学习结束条件包括：第m轮联邦学习的迭代次数满足预设联邦学习单轮迭代次数，或者，第m轮联邦学习的相邻三次的所述模型参数汇总矩阵的偏差满足预设联邦学习收敛条件；
[0025]所述预设联邦学习单轮迭代次数的计算公式epoch为：
[0026]epoch＝g(5+log2n)
[0027]其中，g(5+log2n)是对5+log2n进行向上取整，n是所述参与训练机构数量，log2n是2为底n的对数函数；
[0028]所述第m轮联邦学习的相邻三次的所述模型参数汇总矩阵的偏差满足预设联邦学习收敛条件，包括：
[0029]所述第m轮联邦学习的第i次迭代与第i
‑
1次迭代的所述模型参数汇总矩阵的偏差、所述第m轮联邦学习的第i
‑
1次迭代与第i
‑
2次迭代的所述模型参数汇总矩阵的偏差均小于联邦学习偏差阈值；
[0030]其中，所述第m轮联邦学习的第i次迭代与第i
‑
1次迭代的所述模型参数汇总矩阵的偏差的计算公式w
p
[i]为：
[0031]w
p
[i]＝avg(W_all[i]‑
W_all[i
‑
1])
[0032]W_all[i]是所述第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵，W_all[i
‑
1]是所述第m轮联邦学习的第i
‑
1次迭代的所述模型参数汇总矩阵，avg()是计算矩阵的各个参数的绝对值的平均值。
[0033]进一步的，所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤之前，还包括：
[0034]通过待处理的客户端，获取多个待处理的训练样本，所述待处理的训练样本包括：待处理的简历、招聘本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的模型训练方法，其特征在于，所述方法包括：获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵，其中，所述目标客户端用于采用本地训练样本集对本地网络模型进行模型训练，根据训练结束的所述本地网络模型提取所述单模型训练样本数量和所述单模型参数矩阵；获取所述目标客户端的数量作为参与训练机构数量；将所有所述单模型训练样本数量进行相加，得到训练样本总数；获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i
‑
1次迭代的所述模型参数汇总矩阵计算第i次迭代的所述模型参数汇总矩阵；根据所述参与训练机构数量进行学习率计算，得到待更新的学习率；将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给各个所述目标客户端，其中，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新；将i加1，重复执行所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤，直至满足联邦学习结束条件。2.根据权利要求1所述的基于联邦学习的模型训练方法，其特征在于，所述第i次迭代的所述模型参数汇总矩阵的计算公式为W
_all
[i]：其中，W
_all
[i
‑
1]是第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，n是第m轮联邦学习的第i
‑
1次迭代的所述参与训练机构数量，w[a][i]是第m轮联邦学习的第i次迭代中的第a个所述目标客户端发送的所述单模型参数矩阵，sp_n[a]是第m轮联邦学习的第i次迭代中的第a个所述目标客户端发送的所述单模型训练样本数量。3.根据权利要求1所述的基于联邦学习的模型训练方法，其特征在于，所述待更新的学习率的计算公式b[i]为：b[i]＝1/(i*n2)其中，n是所述参与训练机构数量，i是第m轮联邦学习的第i次迭代中的i。4.根据权利要求1所述的基于联邦学习的模型训练方法，其特征在于，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新的步骤，包括：通过待更新的客户端，根据所述待更新的客户端的所述最后一次更新梯度数据及所述单模型参数矩阵、所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵进行模型参数矩阵计算，得到待更新的模型参数矩阵，其中，所述待更新的客户端是任一个所述目标客户端；根据所述待更新的模型参数矩阵更新所述待更新的客户端对应的所述本地网络模型的参数；其中，所述待更新的模型参数矩阵的计算公式w
g
为：
w[r][i]是第m轮联邦学习的第i次迭代的所述待更新的客户端r的所述单模型参数矩阵，W_all[i]是第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵，sp_all[i]是第m轮联邦学习的第i次迭代的所述训练样本总数，b[i]是第m轮联邦学习的第i次迭代的所述待更新的学习率，grad[i]是第m轮联邦学习的第i次迭代的所述待更新的客户端对应的所述本地网络模型的所述最后一次更新梯度数据。5.根据权利要求1所述的基于联邦学习的模型训练方法，其特征在于，所述联邦学习结束条件包括：第m轮联邦学习的迭代次数满足预设联邦学习单轮迭代次数，或者，第m轮联邦学习的相邻三次的所述模型参数汇总矩阵的偏差满足预设联邦学习收敛条件；所述预设联邦学习单轮迭代次数的计算公式epoch为：epoch＝g(5+log2n)其中，g(5+log2n)是对5+log2n进行向上取整，n是所述参与训练机构数量，log2n是2为底n的对数函数；所述第m轮联邦学习的相邻三次的所述模型参数汇总矩阵的偏差满足预设联邦学习收敛条件，包括：所述第m轮联邦学习的第i次迭代与第i
‑
1次迭代的所述模型参数汇总矩阵的偏差、所述第m轮联邦学习的第i
‑
1次迭代与第i
‑
2次迭代的所述模型参数汇总矩阵的偏差均小于联邦学习偏差...

【专利技术属性】
技术研发人员：张玉君，张卫军，钱勇，黎奉薪，
申请(专利权)人：深圳平安智汇企业信息管理有限公司，
类型：发明
国别省市：