【技术实现步骤摘要】
用于分布式数据处理的并行决策系统及其方法
本公开涉及一种数据处理技术。更具体地说，本公开涉及一种用于分布式数据处理的并行决策系统及其方法。
技术介绍
在深度学习普及的现在，越来越多的模型以及规模越来越大的数据使得深度学习的训练已经不能在单台计算设备上实现。为此人们提出了分布式计算。随着分布式计算的普及，大型的作业或大张量会通过分割而将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理，并在各个部分计算过程需要进行中间参数的交互。这样，在具体作业的处理过程中，部署在一个计算设备上的计算中间参数或结果会成为另一个计算设备上的计算任务的输入数据，这会引起计算设备之间的数据传输开销。在作业数据很大的情况下，这种不同计算设备之间的传输开销对于分布式数据处理系统而言将造成极大的计算负担。因此，在支持数据并行、模型并行和混合并行、流式并行的分布式数据处理系统中，如何降低这种不同计算设备之间的数据传输开销是人们所需要面对的一个问题。因此，人们试图在自己所有的分布式计算资源上在并行与否上获得一种数据处理方式，该方式一...
【技术保护点】
1.一种用于分布式数据处理的并行决策系统，包括：/n初始逻辑节点生成组件，接收用户输入的任务配置数据，生成用于分布式数据处理系统的初始逻辑节点拓扑图，其中每个初始逻辑节点基于所述任务配置数据附有候选并行方案集合，每个候选并行方案指定了其所属的初始逻辑节点并行方案以及基于该并行方案的候选计算代价标签，以及两个彼此连接的初始逻辑节点之间的每条连接边附有候选传输代价的标签，所述候选传输代价由彼此连接的初始逻辑节点各自的并行方案确定；/n逻辑节点遍历组件，遍历所述初始逻辑节点拓扑图以获取所述初始逻辑节点拓扑图中的预定构型，所述预定构型包括第一预定构型和/或第二预定构型，其中第一预定...
【技术特征摘要】
1.一种用于分布式数据处理的并行决策系统，包括：
初始逻辑节点生成组件，接收用户输入的任务配置数据，生成用于分布式数据处理系统的初始逻辑节点拓扑图，其中每个初始逻辑节点基于所述任务配置数据附有候选并行方案集合，每个候选并行方案指定了其所属的初始逻辑节点并行方案以及基于该并行方案的候选计算代价标签，以及两个彼此连接的初始逻辑节点之间的每条连接边附有候选传输代价的标签，所述候选传输代价由彼此连接的初始逻辑节点各自的并行方案确定；
逻辑节点遍历组件，遍历所述初始逻辑节点拓扑图以获取所述初始逻辑节点拓扑图中的预定构型，所述预定构型包括第一预定构型和/或第二预定构型，其中第一预定构型为具有第一连接边和第二连接边的中间初始逻辑节点，第二预定构型为彼此之间存在多条第三连接边的成对初始逻辑节点；
预定构型代价计算组件，针对第一预定构型，在第一连接边的第一初始逻辑节点的候选并行方案以及第二连接边的第二初始逻辑节点的候选并行方案确定的情况下，获取中间初始逻辑节点的每个候选计算代价、所获取的候选计算代价对应的第一连接边候选传输代价以及第二连接边的候选传输代价，并获取每种中间初始逻辑节点的每个候选计算代价情况下三者之第一代价和，并选择最小第一代价和作为每对第一初始逻辑节点的候选并行方案和第二初始逻辑节点的候选并行方案确定情况下所述第一预定构型中第一初始逻辑节点和第二初始逻辑节点之间的第一候选传输代价；以及针对第二预定构型，在成对初始逻辑节点的第三初始逻辑节点的候选并行方案以及成对初始逻辑节点的第四初始逻辑节点的候选并行方案确定的情况下，对成对初始逻辑节点之间所有连接边的候选传输代价进行求和，获得成对初始逻辑节点之间的候选传输代价的第二代价和作为第二候选传输代价；
预定构型变换组件，用于将第一预定构型的第一连接边、第二连接边以及中间初始逻辑节点变换为所述第一连接边的第一初始逻辑节点与第二连接边的第二初始逻辑节点之间的第一合并连接边，并将针对第一预定构型计算获得的所有第一候选传输代价赋予该第一合并连接边作为该第一合并连接边的候选传输代价之一，以及将第二预定构型的所有连接边变换为成对初始逻辑节点的第二合并连接边，并将针对第二预定构型计算获得第二候选传输代价赋予成对初始逻辑节点的第二合并连接边作为该第二合并连接边的候选传输代价之一；以及
并行决策组件，针对经过预定构型变换组件执行变换后获得的变换结果逻辑节点拓扑图或其每个拓扑子图，多次重复遍历其中的每个最终逻辑节点或每条最终连接边，通过局部贪心策略，获取所述变换结果逻辑节点拓扑图或其每个拓扑子图的最小代价和，并基于所获得的变换结果逻辑节点拓扑图的总最小代价获得该变换结果逻辑节点拓扑图所对应的并行方案。
2.根据权利要求1所述的用于分布式数据处理的并行决策系统，其中所述预定构型还包括第三预定构型，第三预定构型为仅具有第四连接边的末端初始逻辑节点，其中所述预定构型代价计算组件针对第三预定构型，在末端初始逻辑节点通过所述第三预定构型的第四连接边所依附的依赖初始逻辑节点的候选并行方案确定的情况下，获取末端初始逻辑节点的每个候选计算代价以及该末端初始逻辑节点的候选计算代价对应的第四连接边候选传输代价，并获取依赖初始逻辑节点的候选并行方案确定的情况下两者之第三代价和，并选择最小第三代价和作为依赖初始逻辑节点的候选并行方案确定的情况下的第三附加计算代价，以及所述预定构型变换组件剪除第三预定构型的第四连接边以及末端初始逻辑节点，并将第三附加计算代价附加到该依赖初始逻辑节点的计算代价上。
3.根据权利要求1所述的用于分布式数据处理的并行决策系统，其中所述预定构型还包括第四预定构型，第四预定构型包括位于同一连通分量内彼此之间无连接边的备选并行决策数量的乘积不超过给定阈值的第五初始逻辑节点和第六初始逻辑节点以及至少一个连接到第五初始逻辑节点和第六初始逻辑节点的第七初始逻辑节点，其中所述预定构型代价计算组件针对第四预定构型，在第五初始逻辑节点和第六初始逻辑节点的候选并行方案确定的情况下，获取第五初始逻辑节点和第六初始逻辑节点的候选计算代价，并将两个候选计算代价之和作为第四代价和，以及在第五初始逻辑节点、第六初始逻辑节点以及第七初始逻辑节点的候选并行方案确定的情况下，获取第五初始逻辑节点和第六初始逻辑节点各自与所述第七初始逻辑节点之间的第五连接边和第六连接边的候选传输代价，并将两个候选传输代价之和作为第三候选传输代价；以及所述预定构型变换组件将第四预定构型的第五初始逻辑节点和第六初始逻辑节点合并为第一合并逻辑节点、以及将第五连接边和第六连接边合并为第三合并连接边，并将针对第四预定构型计算获得的第四代价和赋予第一合并逻辑节点作为其候选计算代价之一以及将第三候选传输代价赋予第三合并连接边作为其候选传输代价之一。
4.根据权利要求1所述的用于分布式数据处理的并行决策系统，其中所述预定构型还包括第五预定构型，第五预定构型包括位于同一连通分量内彼此之间有第七连接边的备选并行决策数量的乘积不超过给定阈值的第五初始逻辑节点和第六初始逻辑节点以及至少一个连接到第五初始逻辑节点和第六初始逻辑节点的第七初始逻辑节点，其中所述预定构型代价计算组件针对第五预定构型，在第五初始逻辑节点和第六初始逻辑节点的候选并行方案确定的情况下，获取第五初始逻辑节点和第六初始逻辑节点的候选计算代价以及两者之间连接边的传输代价，并将两个候选计算代价以及对应的第七连接边的传输代价之和作为第五代价和，以及在第五初始逻辑节点、第六初始逻辑节点以及第七初始逻辑节点的候选并行方案确定的情况下，获取第五初始逻辑节点和第六初始逻辑节点各自与所述第七初始逻辑节点之间的第五连接边和第六连接边的候选传输代价，并将两个候选传输代价之和作为第三候选传输代价；以及所述预定构型变换组件将第五预定构型的第五初始逻辑节点和第六初始逻辑节点合并为第二合并逻辑节点、以及将第五连接边和第六连接边合并为第三合并连接边，并将针对第五预定构型计算获得的第五代价和赋予第二合并逻辑节点作为其候选计算代价之一以及将第三候选传输代价赋予第三合并连接边作为其候选传输代价之一。
5.一种用于分布式数据处理的并行决策方法，...
【专利技术属性】
技术研发人员：李一鹏，柳俊丞，李新奇，成诚，袁进辉，
申请(专利权)人：北京一流科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。