【技术实现步骤摘要】
本专利技术涉及机器学习领域，特别涉及一种跨域分布式计算系统、方法、存储介质和电子设备。
技术介绍
1、现有应用于分布式计算的二阶优化算法，在各次迭代中需要计算大规模海森矩阵或费歇尔信息矩阵及其逆矩阵或特征值矩阵，导致算法本身计算开销过大。因此，如何降低大规模矩阵的逆运算、特征值运算、矩阵乘法的计算复杂度，减少矩阵的存储开销，突破异构计算节点(进程)间的通信瓶颈是本领域技术人员亟需解决的技术问题。
技术实现思路
1、本专利技术的目的是提供一种跨域分布式计算系统、方法、存储介质和电子设备，通过分布式二级并行训练降低算法运算复杂度，并采用矩阵更新阈值减少重复计算，提高训练效率。
2、为解决上述技术问题，本专利技术还提供一种跨域分布式计算系统，包括：
3、任务获取模块，用于获取分布式计算任务；
4、任务训练模块，用于利用分布式神经网络模型对所述分布式计算任务进行迭代的二阶优化训练，并在所述二阶优化训练时设定矩阵更新阈值，以加速所述分布式神经网络模型的所述二阶优化训练；
5、结果输出模块，用于整合各所述分布式神经网络模型的训练结果，并输出全局模型参数；所述全局模型参数为所述分布式计算任务对应训练模型的模型参数。
6、可选的，任务训练模块包括：
7、对角块近似处理子模块，用于对全局海森矩阵及费歇尔信息矩阵进行对角块近似处理；
8、对角线元素替换子模块，用于对每个对角块采用对角线元素替换。
9、可选的
10、拆分单元，用于根据原始神经网络的层数将矩阵拆分为多个小矩阵；所述矩阵包括全局海森矩阵及费歇尔信息矩阵。
11、可选的，拆分单元包括：
12、拆分子单元，用于将矩阵拆分为与原始神经网络的层数相同个数的小矩阵；其中，各所述小矩阵等于所述神经网络对应层的神经元数量。
13、可选的，对角线元素替换子模块包括：
14、提取单元，用于提取所述对角块中的元素，构成替换矩阵，并利用近似系数弥补信息损失；所述近似系数为所述对角块的非对角线元素之和与所有元素之和的比值。
15、可选的，还包括：
16、近似系数确定单元，用于利用近似系数计算公式确定所述近似系数；
17、所述近似系数计算公式为：
18、；
19、其中：
20、；
21、；
22、；
23、其中，l1为所述原始神经网络第一层的神经元数量，l2为所述原始神经网络第二层的神经元数量，原始矩阵的对角线元素提取出来构成矩阵，矩阵的规模为，表示矩阵对角线以下所有元素之和，表示矩阵对角线以上所有元素之和，表示矩阵中第行第列的元素，表示矩阵中第行第列的元素。
24、可选的，还包括：
25、存储空间计算单元，用于计算所述替换矩阵的存储空间；所述替换矩阵的存储空间为所述原始矩阵占用存储空间的开方。
26、可选的，还包括：
27、量和求逆计算量计算单元，用于确定所述替换矩阵的矩阵乘法计算量和求逆计算量。
28、可选的，任务训练模块包括：
29、判断子模块，用于判断本次迭代训练中的第一对角块矩阵和上一次迭代训练中的第二对角块矩阵的差距是否小于所述矩阵更新阈值；
30、更新子模块，用于若本次迭代训练中的第一对角块矩阵和上一次迭代训练中的第二对角块矩阵的差距大于或等于所述矩阵更新阈值，对所述对角块矩阵进行更新。
31、可选的，更新子模块包括：
32、第一对角块矩阵更新单元，用于基于所述对角块矩阵的迹的变化率更新所述对角块矩阵。
33、可选的，更新子模块包括：
34、第二对角块矩阵更新单元，用于基于所述对角块矩阵的矩阵范数更新所述对角块矩阵。
35、可选的，还包括：
36、第一获取单元，用于获取所述第一对角块矩阵的第一迹和所述第二对角块矩阵的第二迹；
37、第一确定单元，用于确定所述第一迹和所述第二迹之间的第一差值；
38、第二确定单元，用于根据所述第一差值和所述第一迹的比值确定所述变化率。
39、可选的，还包括：
40、第二获取单元，用于获取矩阵的迹的定义公式；
41、所述定义公式为；
42、所述表示原始矩阵的迹。
43、可选的，第二对角块矩阵更新单元包括：
44、范数定义公式获取子单元，用于获取所述矩阵范数的范数定义公式；
45、第一确定子单元，用于根据所述范数定义公式确定所述第一对角块矩阵的第一范数和所述第二对角块矩阵的第二范数；
46、第二确定子单元，用于确定所述第一范数和所述第二范数之间的第二差值；
47、第三确定子单元，用于根据所述第二差值和所述第一范数的比值确定矩阵变化率；
48、矩阵更新阈值更新子单元，用于根据所述矩阵变化率更新所述对角块矩阵。
49、可选的，第一对角块矩阵更新单元用于执行如下步骤：
50、若所述变化率小于预设变化率区间，在包括本次迭代的此后预设迭代次数内，保持所述对角块矩阵不变；
51、若所述变化率等于所述预设变化率区间，保持所述对角块矩阵不变；
52、若所述变化率大于所述预设变化率区间，对所述对角块矩阵进行更新。
53、可选的，第二对角块矩阵更新单元用于执行如下步骤：
54、若所述矩阵范数小于预设范数区间，在包括本次迭代的此后预设迭代次数内，保持所述对角块矩阵不变；
55、若所述矩阵范数等于所述预设范数区间，本次迭代训练中保持所述对角块矩阵不变；
56、若所述矩阵范数大于所述预设范数区间，对所述对角块矩阵进行更新。
57、可选的，还包括：
58、配置模块，用于配置所述分布式神经网络模型的通信拓扑结构；所述通信拓扑结构包含若干训练域，每个所述训练域包含一个局部头节点和若干边缘计算节点。
59、可选的，所述通信拓扑结构中每个所述训练域中所述局部头节点和各所述边缘计算节点构成树形拓扑。
60、可选的，各所述训练域中的所述局部头节点构成环形拓扑。
61、本专利技术提供一种跨域分布式计算方法，包括：
62、获取分布式计算任务；
63、利用分布式神经网络模型对所述分布式计算任务进行迭代的二阶优化训练，并在所述二阶优化训练时设定矩阵更新阈值，以加速所述分布式神经网络模型的所述二阶优化训练；
64、整合各所述分布式神经网络模型的训练结果，并输出全局模型参数；所述全局模型参数为所述分布式计算任务对应训练模型的模型参数。
65、可选的，利用分布式神经网络模型对所述分布式计算任务进行迭代的二阶优化训练包括：
6本文档来自技高网...
【技术保护点】
1.一种跨域分布式计算系统，其特征在于，包括：
2.根据权利要求1所述的跨域分布式计算系统，其特征在于，所述任务训练模块包括：
3.根据权利要求2所述的跨域分布式计算系统，其特征在于，所述对角块近似处理子模块包括：
4.根据权利要求3所述的跨域分布式计算系统，其特征在于，所述拆分单元包括：
5.根据权利要求3所述的跨域分布式计算系统，其特征在于，所述对角线元素替换子模块包括：
6.根据权利要求5所述的跨域分布式计算系统，其特征在于，还包括：
7.根据权利要求6所述的跨域分布式计算系统，其特征在于，还包括：
8.根据权利要求6所述的跨域分布式计算系统，其特征在于，还包括：
9.根据权利要求8所述的跨域分布式计算系统，其特征在于，所述任务训练模块包括：
10.根据权利要求9所述的跨域分布式计算系统，其特征在于，所述更新子模块包括：
11.根据权利要求9所述的跨域分布式计算系统，其特征在于，所述更新子模块包括：
12.根据权利要求10所述的跨域分布式计算系
13.根据权利要求12所述的跨域分布式计算系统，其特征在于，还包括：
14.根据权利要求11所述的跨域分布式计算系统，其特征在于，所述第二对角块矩阵更新单元包括：
15.根据权利要求10所述的跨域分布式计算系统，其特征在于，所述第一对角块矩阵更新单元用于执行如下步骤：
16.根据权利要求11所述的跨域分布式计算系统，其特征在于，所述第二对角块矩阵更新单元用于执行如下步骤：
17.根据权利要求1所述的跨域分布式计算系统，其特征在于，还包括：
18.根据权利要求17所述的跨域分布式计算系统，其特征在于，所述通信拓扑结构中每个所述训练域中所述局部头节点和各所述边缘计算节点构成树形拓扑。
19.根据权利要求17所述的跨域分布式计算系统，其特征在于，各所述训练域中的所述局部头节点构成环形拓扑。
20.一种跨域分布式计算方法，其特征在于，包括：
21.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求20所述的跨域分布式计算方法的步骤。
22.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求20所述的跨域分布式计算方法的步骤。
...【技术特征摘要】
1.一种跨域分布式计算系统，其特征在于，包括：
2.根据权利要求1所述的跨域分布式计算系统，其特征在于，所述任务训练模块包括：
3.根据权利要求2所述的跨域分布式计算系统，其特征在于，所述对角块近似处理子模块包括：
4.根据权利要求3所述的跨域分布式计算系统，其特征在于，所述拆分单元包括：
5.根据权利要求3所述的跨域分布式计算系统，其特征在于，所述对角线元素替换子模块包括：
6.根据权利要求5所述的跨域分布式计算系统，其特征在于，还包括：
7.根据权利要求6所述的跨域分布式计算系统，其特征在于，还包括：
8.根据权利要求6所述的跨域分布式计算系统，其特征在于，还包括：
9.根据权利要求8所述的跨域分布式计算系统，其特征在于，所述任务训练模块包括：
10.根据权利要求9所述的跨域分布式计算系统，其特征在于，所述更新子模块包括：
11.根据权利要求9所述的跨域分布式计算系统，其特征在于，所述更新子模块包括：
12.根据权利要求10所述的跨域分布式计算系统，其特征在于，还包括：
13.根据权利要求12所述的跨域分布式计算系统，其特征在于，还包括：...
【专利技术属性】
技术研发人员：闫瑞栋，郭振华，李仁刚，邱志勇，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。