【技术实现步骤摘要】
本申请涉及计算机，更具体地说，涉及一种任务分配方法、装置及电子设备和存储介质。
技术介绍
1、在分布式训练中，中央控制器将神经网络模型的训练任务划分为多个子任务、将整个训练数据划分为多个数据源，进而将各子任务和各数据源分配至对应的物理节点，各个物理节点分别利用中央控制器分配的数据源执行对应的子任务，然后由中央控制器进行子任务执行结果的汇总。在相关技术中，分布式训练神经网络模型的能耗较高。
2、因此，如何降低分布式训练神经网络模型的能耗是本领域技术人员需要解决的技术问题。
技术实现思路
1、本申请的目的在于提供一种任务分配方法、装置及电子设备和存储介质，降低了分布式训练神经网络模型的能耗。
2、为实现上述目的，本申请提供了一种任务分配方法，包括：
3、获取分布式训练的物理节点集合、数据源集合、神经网络模型、事件树集合；其中，所述事件树集合的事件树基于所述神经网络模型的层拓扑结构和所述神经网络模型的每个层包含的事件创建，所述事件树用于描述数据源与事件或不同事件之间的关联关系；
4、根据所述神经网络模型的每个层传出数据与传入数据的比率和处理单位流量所需的计算资源确定多个所述事件树的总能耗，选择总能耗最小的事件树作为目标事件树；
5、以最小化训练能耗为目标确定所述目标事件树的目标事件或数据源分配策略；其中，所述目标事件或数据源分配策略用于描述处理所述目标事件树中事件的物理节点或数据源分配的物理节点，所述训练能耗包括所述物理节点处理
6、基于所述目标事件或数据源分配策略将所述数据源和所述目标事件树中的事件部署于对应的物理节点。
7、其中，根据所述神经网络模型的每个层传出数据与传入数据的比率和处理单位流量所需的计算资源确定多个所述事件树的总能耗，包括：
8、根据总能耗计算公式确定多个所述事件树的总能耗；其中，所述总能耗计算公式为：
9、；
10、其中，y用于描述数据源与事件或不同事件之间的关联关系，为预设损失值，为达到预设损失值所需的总轮数，表示第层中的第i个事件，l为所述神经网络模型的层集合，q为事件集，表示处理第层单位流量所需的计算资源，d为所述数据源集合，d表示数据源集合d中的数据源，为数据源d在每轮训练生成的数据，为第m层传出数据与传入数据的比率，层m位于从数据源d到层的路径中。
11、其中，以最小化训练能耗为目标确定所述目标事件树的目标事件或数据源分配策略，包括：
12、基于所述神经网络模型每轮训练的能耗与总轮数的乘积构建目标函数；其中，所述每轮训练的能耗包括每轮训练中所述物理节点处理事件的能耗、不同事件之间的数据传输能耗；
13、通过最小化所述目标函数确定目标事件或数据源分配策略。
14、其中，最小化所述目标函数表示为：
15、；
16、其中，x用于描述数据源向事件传输的数据，y用于描述数据源与事件或不同事件之间的关联关系，z用于描述数据源或事件与物理节点之间的对应关系，用于描述分配至事件的计算资源，为预设损失值，为达到预设损失值所需的总轮数，为每轮训练的能耗，，表示第层中的第i个事件，l为所述神经网络模型的层集合，q为事件集，表示物理节点处理事件的能耗，表示事件由于数据传输的能耗。
17、其中，，为处理事件的时间，表示分配至事件的计算资源，表示处理事件的物理节点，表示物理节点提供一个处理单元的能耗，表示物理节点处理第层中事件的内存和存储需求的能耗。
18、其中，，表示物理节点处理单位流量的能耗，表示第m层中的第j个事件，为事件与事件之间的数据流量。
19、其中，确定所述目标函数最小值时的目标事件或数据源分配策略，包括：
20、为所述神经网络模型的每个层中的不同事件部署于不同的物理节点创建对应的顶点，若第一物理节点与第二物理节点之间存在连接则在相邻层的所述第一物理节点对应的顶点与所述第二物理节点对应的顶点之间创建边；
21、为所述数据源创建对应的顶点，在所述数据源对应的顶点与所述数据源存在关联关系的事件对应的顶点之间创建边；
22、创建终止顶点，在所述终止顶点与所述神经网络模型的最后一层中的所有事件对应的顶点之间创建边，得到展开图；
23、基于所述物理节点处理事件的能耗生成所述展开图中对应顶点的权重，基于不同事件之间的数据传输能耗生成所述展开图中对应边的权重；
24、在所述展开图中确定斯坦纳树，基于所述斯坦纳树包含的顶点确定目标事件或数据源分配策略。
25、其中，所述目标函数存在约束：所述神经网络模型每轮训练的时间与所述总轮数的乘积小于或等于预设最大训练时间。
26、其中，所述神经网络模型每轮训练的时间基于所述神经网络模型的最后一层中最慢事件结束时间确定。
27、其中，所述神经网络模型每轮训练的时间基于所述神经网络模型的最后一层中最慢事件结束时间确定。
28、其中，所述约束表示为：，为所述神经网络模型每轮训练的时间，为预设最大训练时间，，为事件的结束时间，，为事件的开始时间，为处理事件的时间，表示所述神经网络模型中的最后一层。
29、其中，，表示第h层中的第k个事件，表示事件与事件之间的关联关系，为事件的结束时间，表示处理事件的物理节点，为物理节点传输到物理节点的时间。
30、其中，，为事件与事件之间的数据流量，为单位时间内物理节点与物理节点之间传输的数据量。
31、其中，，表示处理第层单位流量所需的计算资源，表示分配至事件的计算资源，为事件与事件之间的数据流量。
32、其中，以最小化训练能耗为目标确定所述目标事件树的目标事件或数据源分配策略，包括：
33、在使用所述数据源的全部数据、利用每个所述物理节点的全部处理能力的前提下，以最小化训练能耗为目标确定所述目标事件树的目标事件或数据源分配策略；
34、在所述目标事件或数据源分配策略的前提下，以最小化训练能耗为目标确定所述数据源的使用情况和所述物理节点的处理能力利用情况。
35、其中，在所述目标事件或数据源分配策略的前提下，以最小化训练能耗为目标确定所述数据源的使用情况和所述物理节点的处理能力利用情况，包括：
36、若所述神经网络模型每轮训练的能耗、时间、总轮数存在预设范围，则利用求解器在所述目标事件或数据源分配策略的前提下，以最小化训练能耗为目标确定所述数据源的使用情况和所述物理节点的处理能力利用情况。
37、其中，在所述目标事件或数据源分配策略的前提下，以最小化训练能耗为目标确定所述数据源的使用情况和所述物理节点的处理能力利用情况，包括：
38、若所述神经网络模型每轮训练的能耗、时间、总轮数不存在预设范围，则基于梯度的算法在所述目标事件或数据源分配策略的前提下，以最小化本文档来自技高网...
【技术保护点】
1.一种任务分配方法，其特征在于，包括：
2.根据权利要求1所述任务分配方法，其特征在于，根据所述神经网络模型的每个层传出数据与传入数据的比率和处理单位流量所需的计算资源确定多个所述事件树的总能耗，包括：
3.根据权利要求1所述任务分配方法，其特征在于，以最小化训练能耗为目标确定所述目标事件树的目标事件或数据源分配策略，包括：
4.根据权利要求3所述任务分配方法，其特征在于，最小化所述目标函数表示为：
5.根据权利要求4所述任务分配方法，其特征在于，，为处理事件的时间，表示分配至事件的计算资源，表示处理事件的物理节点，表示物理节点提供一个处理单元的能耗，表示物理节点处理第层中事件的内存和存储需求的能耗。
6.根据权利要求4所述任务分配方法，其特征在于，，表示物理节点处理单位流量的能耗，表示第m层中的第j个事件，为事件与事件之间的数据流量。
7.根据权利要求3所述任务分配方法，其特征在于，确定所述目标函数最小值时的目标事件或数据源分配策略，包括：
8.根据权利要求4所述任务分配方法，其特征在于，所述
9.根据权利要求8所述任务分配方法，其特征在于，所述神经网络模型每轮训练的时间基于所述神经网络模型的最后一层中最慢事件结束时间确定。
10.根据权利要求9所述任务分配方法，其特征在于，所述约束表示为：，为所述神经网络模型每轮训练的时间，为预设最大训练时间，，为事件的结束时间，，为事件的开始时间，为处理事件的时间，表示所述神经网络模型中的最后一层。
11.根据权利要求10所述任务分配方法，其特征在于，，表示第h层中的第k个事件，表示事件与事件之间的关联关系，为事件的结束时间，表示处理事件的物理节点，为物理节点传输到物理节点的时间。
12.根据权利要求11所述任务分配方法，其特征在于，，为事件与事件之间的数据流量，为单位时间内物理节点与物理节点之间传输的数据量。
13.根据权利要求10所述任务分配方法，其特征在于，，表示处理第层单位流量所需的计算资源，表示分配至事件的计算资源，为事件与事件之间的数据流量。
14.根据权利要求1所述任务分配方法，其特征在于，以最小化训练能耗为目标确定所述目标事件树的目标事件或数据源分配策略，包括：
15.根据权利要求14所述任务分配方法，其特征在于，在所述目标事件或数据源分配策略的前提下，以最小化训练能耗为目标确定所述数据源的使用情况和所述物理节点的处理能力利用情况，包括：
16.根据权利要求14所述任务分配方法，其特征在于，在所述目标事件或数据源分配策略的前提下，以最小化训练能耗为目标确定所述数据源的使用情况和所述物理节点的处理能力利用情况，包括：
17.根据权利要求14所述任务分配方法，其特征在于，在所述目标事件或数据源分配策略的前提下，以最小化训练能耗为目标确定所述数据源的使用情况和所述物理节点的处理能力利用情况之后，还包括：
18.一种任务分配装置，其特征在于，包括：
19.一种电子设备，其特征在于，包括：
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述任务分配方法的步骤。
...【技术特征摘要】
1.一种任务分配方法，其特征在于，包括：
2.根据权利要求1所述任务分配方法，其特征在于，根据所述神经网络模型的每个层传出数据与传入数据的比率和处理单位流量所需的计算资源确定多个所述事件树的总能耗，包括：
3.根据权利要求1所述任务分配方法，其特征在于，以最小化训练能耗为目标确定所述目标事件树的目标事件或数据源分配策略，包括：
4.根据权利要求3所述任务分配方法，其特征在于，最小化所述目标函数表示为：
5.根据权利要求4所述任务分配方法，其特征在于，，为处理事件的时间，表示分配至事件的计算资源，表示处理事件的物理节点，表示物理节点提供一个处理单元的能耗，表示物理节点处理第层中事件的内存和存储需求的能耗。
6.根据权利要求4所述任务分配方法，其特征在于，，表示物理节点处理单位流量的能耗，表示第m层中的第j个事件，为事件与事件之间的数据流量。
7.根据权利要求3所述任务分配方法，其特征在于，确定所述目标函数最小值时的目标事件或数据源分配策略，包括：
8.根据权利要求4所述任务分配方法，其特征在于，所述目标函数存在约束：所述神经网络模型每轮训练的时间与所述总轮数的乘积小于或等于预设最大训练时间。
9.根据权利要求8所述任务分配方法，其特征在于，所述神经网络模型每轮训练的时间基于所述神经网络模型的最后一层中最慢事件结束时间确定。
10.根据权利要求9所述任务分配方法，其特征在于，所述约束表示为：，为所述神经网络模型每轮训练的时间，为预设最大训练时间，，为事件的结束时间，，为事件的开始时间，为处理事件的时间，表示所述神经网络模型中的最后一层。
11.根...
【专利技术属性】
技术研发人员：王晓敏，范宝余，赵雅倩，李仁刚，郭振华，王丽，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。