【技术实现步骤摘要】
本专利技术涉及机器学习，尤其涉及一种联邦学习的梯度融合方法、装置及介质。
技术介绍
1、联邦学习是一种分布式机器学习方法，通过在每个子节点独立计算的方式，解决敏感数据的隐私和安全问题；是跨多个子节点共同训练，共享模型的一种有效方式。
2、联邦学习训练过程可以分为自治和联合两部分：自治主要是指各子节点的独立运算；子节点接收主节点下发的模型参数及训练超参数，使得各子节点有相同的模型结构和参数；然后在各子节点数据上进行前向和后向运算，最终得到各子节点的梯度；联合部分接收不同子节点的梯度参数，并将这些梯度进行融合，最后完成模型参数的更新。在下一轮训练开始前，主节点将更新后的模型参数下发到各子节点；循环执行自治和联合两个步骤，直到完成整个训练。
3、然而，联邦学习虽然解决了数据隐私和安全性问题，但由于各子节点数据存在异质性，导致现有的联邦学习无法实现对各子节点的梯度进行有效融合，使得训练后的模型存在局限性的问题。
技术实现思路
1、本专利技术所要解决的技术问题是针对现有技术的上述不足，提供一种联邦学习的梯度融合方法、装置及介质，用以解决现有的联邦学习无法实现对各子节点的梯度进行有效融合，使得训练后的模型存在局限性的问题。
2、第一方面，本专利技术提供一种联邦学习的梯度融合方法，包括：
3、接收多个子节点中每个子节点在第t次迭代训练后得到的梯度，其中，t≥1；
4、响应于t大于或等于预设迭代次数，采用数值统计分析方法更新每个所述子节点
5、根据更新后的每个所述子节点的梯度权重，对所有所述子节点在第t次迭代的梯度进行加权融合。
6、进一步地，所述采用数值统计分析方法更新每个所述子节点的梯度权重，具体包括：
7、根据每个所述子节点在第t次迭代的梯度以及预先保存的第t次迭代之前的历史轮次迭代的梯度，构建每个所述子节点的梯度矩阵；
8、根据每个所述子节点的梯度矩阵，计算每个所述子节点的梯度矩阵的相关系数矩阵；
9、根据每个所述子节点的梯度矩阵的相关系数矩阵，得到每个所述子节点的相关性描述参数；
10、根据每个所述子节点的相关性描述参数和第t-1次迭代的梯度权重，计算每个所述子节点在第t次迭代的临时梯度权重；
11、将每个所述子节点在第t次迭代的临时梯度权重进行归一化，得到每个所述子节点在第t次迭代的梯度权重。
12、进一步地，所述根据每个所述子节点的梯度矩阵，计算每个所述子节点的梯度矩阵的相关系数矩阵，具体包括：
13、通过如下公式计算每个所述子节点的梯度矩阵的相关系数矩阵：
14、
15、其中，corr_mi为第i个子节点的梯度矩阵的相关系数矩阵，mi[k]为第i个子节点的梯度矩阵中第k行的梯度向量，mi[n]为第i个子节点的梯度矩阵中第n行的梯度向量，cov(mi[k],mi[n])为mi[k]和mi[n]的协方差，var(mi[k])为mi[k]的方差，var(mi[n])为mi[n]的方差。
16、进一步地，所述根据每个所述子节点的梯度矩阵的相关系数矩阵，得到每个所述子节点的相关性描述参数，具体包括：
17、针对每个所述子节点的梯度矩阵的相关系数矩阵，将所述子节点的梯度矩阵的相关系数矩阵进行求和，并判断求和后的值是否小于0；
18、如果所述求和后的值小于0，则所述子节点的相关性描述参数为0；
19、如果所述求和后的值不小于0，则将所述求和后的值作为所述子节点的相关性描述参数。
20、进一步地，所述根据每个所述子节点的相关性描述参数和第t-1次迭代的梯度权重，计算每个所述子节点在第t次迭代的临时梯度权重，具体包括：
21、通过如下公式计算每个所述子节点在第t次迭代的临时梯度权重：
22、w’i(t)＝β*wi(t-1)+(1-β)*ratioi
23、其中，w’i(t)为第i个子节点在第t次迭代的临时梯度权重，β为衰减率，wi(t-1)为第i个子节点在第t-1次迭代的梯度权重，ratioi为第i个子节点的相关性描述参数。
24、进一步地，所述将每个所述子节点在第t次迭代的临时梯度权重进行归一化，得到每个所述子节点在第t次迭代的梯度权重，具体包括：
25、通过如下公式将每个所述子节点在第t次迭代的临时梯度权重进行l1归一化，得到每个所述子节点在第t次迭代的梯度权重：
26、
27、其中，wi(t)为第i个子节点在第t次迭代的梯度权重，n为子节点的数量，w’i(t)为第i个子节点在第t次迭代的临时梯度权重。
28、进一步地，所述根据更新后的每个所述子节点的梯度权重，对所有所述子节点在第t次迭代的梯度进行加权融合，具体包括：
29、通过如下公式对所有所述子节点在第t次迭代的梯度进行加权融合：
30、
31、其中，为在第t次迭代的用于模型参数更新的梯度，gradi(t)为第i个子节点在第t次迭代的梯度。
32、第二方面，本专利技术提供一种联邦学习的梯度融合装置，包括：
33、接收模块，用于接收多个子节点中每个子节点在第t次迭代训练后得到的梯度，其中，t≥1；
34、更新模块，与所述接收模块连接，用于响应于t大于或等于预设迭代次数，采用数值统计分析方法更新每个所述子节点的梯度权重；
35、融合模块，与所述更新模块连接，用于根据更新后的每个所述子节点的梯度权重，对所有所述子节点在第t次迭代的梯度进行加权融合。
36、第三方面，本专利技术提供一种联邦学习的梯度融合装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现上述第一方面所述的联邦学习的梯度融合方法。
37、第四方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的联邦学习的梯度融合方法。
38、本专利技术提供的联邦学习的梯度融合方法、装置及介质，首先接收多个子节点中每个子节点在第t次迭代训练后得到的梯度，其中，t≥1；然后响应于t大于或等于预设迭代次数，采用数值统计分析方法更新每个所述子节点的梯度权重；最后根据更新后的每个所述子节点的梯度权重，对所有所述子节点在第t次迭代的梯度进行加权融合。本专利技术通过数值统计分析方法自适应调整各子节点的梯度权重，进而在梯度融合过程中提供不同梯度权重的子节点梯度，从而提升了模型对联邦学习中各子节点数据的普适性，解决了现有的联邦学习无法实现对各子节点的梯度进行有效融合，使得训练后的模型存在局限性的问题。
本文档来自技高网...【技术保护点】
1.一种联邦学习的梯度融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述采用数值统计分析方法更新每个所述子节点的梯度权重，具体包括：
3.根据权利要求2所述的方法，其特征在于，所述根据每个所述子节点的梯度矩阵，计算每个所述子节点的梯度矩阵的相关系数矩阵，具体包括：
4.根据权利要求2所述的方法，其特征在于，所述根据每个所述子节点的梯度矩阵的相关系数矩阵，得到每个所述子节点的相关性描述参数，具体包括：
5.根据权利要求2所述的方法，其特征在于，所述根据每个所述子节点的相关性描述参数和第t-1次迭代的梯度权重，计算每个所述子节点在第t次迭代的临时梯度权重，具体包括：
6.根据权利要求2所述的方法，其特征在于，所述将每个所述子节点在第t次迭代的临时梯度权重进行归一化，得到每个所述子节点在第t次迭代的梯度权重，具体包括：
7.根据权利要求6所述的方法，其特征在于，所述根据更新后的每个所述子节点的梯度权重，对所有所述子节点在第t次迭代的梯度进行加权融合，具体包括：
8.一种
9.一种联邦学习的梯度融合装置，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现如权利要求1-7中任一项所述的联邦学习的梯度融合方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的联邦学习的梯度融合方法。
...【技术特征摘要】
1.一种联邦学习的梯度融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述采用数值统计分析方法更新每个所述子节点的梯度权重，具体包括：
3.根据权利要求2所述的方法，其特征在于，所述根据每个所述子节点的梯度矩阵，计算每个所述子节点的梯度矩阵的相关系数矩阵，具体包括：
4.根据权利要求2所述的方法，其特征在于，所述根据每个所述子节点的梯度矩阵的相关系数矩阵，得到每个所述子节点的相关性描述参数，具体包括：
5.根据权利要求2所述的方法，其特征在于，所述根据每个所述子节点的相关性描述参数和第t-1次迭代的梯度权重，计算每个所述子节点在第t次迭代的临时梯度权重，具体包括：
6.根据权利要求2所述的方法，其特征在于，所述将...
【专利技术属性】
技术研发人员：苏海军，竹梦圆，郭熹，沈涛，宋齐军，李国庆，张倩，张昀玮，杨泽昆，姜海龙，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。