【技术实现步骤摘要】
拓扑图转换系统及其方法
本公开涉及一种数据处理技术。更具体地说，本公开涉及一种用于将运算逻辑节点托拓扑图转换为任务节点拓扑图的转换系统及其方法。
技术介绍
随着分布式计算的普及，大型的作业会通过分割而将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理，这样，在具体作业的处理过程中，部署在一个计算设备上的计算中间参数或结果会成为另一个计算设备上的计算任务的输入数据，这样为了实现中间参数的数据同步，这会引起计算设备之间的数据迁移的调用开销。而网络通信调用往往是个瓶颈，然后网络性能通信的性能不好，就会影响多机分布式数据处理架构的加速比和扩展性。随着各种单一计算设备自身的运算功能越来越强大，在提高计算设备的运算速度方面已经处于极致状态。尤其是随着计算速度的提升，数据的调用的速度已经落后于数据的运算速度。因此，数据的调用或迁移成为制约计算设备处理数据的瓶颈。实际上，大部分专用AI芯片的研发人员和用户通常只关注计算部分的功耗和效率，譬如怎么设计AI芯片让它能更高效的执行矩阵运算，然而比较少关注数据迁移，数据转...
【技术保护点】
1.一种拓扑图转换方法，用于将运算逻辑节点拓扑图转换为任务节点拓扑图，包括：/n通过运算任务节点部署组件，基于用户在给定计算资源的基础上输入的任务描述中的任务配置数据，将运算逻辑节点拓扑图中的任意运算逻辑节点的任务分片到指定计算资源，从而生成每个运算逻辑节点对应一个或多个运算任务节点，并赋予每个运算任务节点与所述指定计算资源对应的位置标记；以及/n通过搬运任务节点插入组件，在第一运算任务节点的第一位置标记和作为其上游运算任务节点的第二运算任务节点的第二位置标记之间具有不同的位置标记时在所述第一运算任务节点和第二运算任务节点之间插入一个或多个搬运任务节点，从而获得具有搬运任务...
【技术特征摘要】
1.一种拓扑图转换方法，用于将运算逻辑节点拓扑图转换为任务节点拓扑图，包括：
通过运算任务节点部署组件，基于用户在给定计算资源的基础上输入的任务描述中的任务配置数据，将运算逻辑节点拓扑图中的任意运算逻辑节点的任务分片到指定计算资源，从而生成每个运算逻辑节点对应一个或多个运算任务节点，并赋予每个运算任务节点与所述指定计算资源对应的位置标记；以及
通过搬运任务节点插入组件，在第一运算任务节点的第一位置标记和作为其上游运算任务节点的第二运算任务节点的第二位置标记之间具有不同的位置标记时在所述第一运算任务节点和第二运算任务节点之间插入一个或多个搬运任务节点，从而获得具有搬运任务节点的完全任务节点拓扑图。
2.根据权利要求1所述的拓扑图转换方法，其中：
当第一位置标记指明为第一主机的第一计算设备而第二位置标记指明为第一主机时，所述搬运任务节点插入组件在所述第一运算任务节点和第二运算任务节点之间只插入一个搬运任务节点，并赋予所插入的搬运任务节点第一位置标记。
3.根据权利要求1所述的拓扑图转换方法，其中：
当第一位置标记指明为第一主机而第二位置标记指明为第一主机的第二计算设备时，所述搬运任务节点插入组件在所述第一运算任务节点和所述第二运算任务节点之间只插入一个搬运任务节点，并赋予所插入的搬运任务节点第二位置标记。
4.根据权利要求1所述的拓扑图转换方法，其中：
当第一位置标记指明为第一主机而第二位置标记指明为第二主机时，所述搬运任务节点插入组件在所述第一运算任务节点和所述第二运算任务节点之间只插入一个搬运任务节点，并赋予所插入的搬运任务节点第一位置标记。
5.根据权利要求1所述的拓扑图转换方法，其中：
当第一位置标记指明为第一主机的第一计算设备而第二位置标记指明为第一主机的第三计算设备或第二主机时，所述搬运任务节点插入组件在所述第一运算任务节点和第二运算任务节点之间插入两个搬运任务节点，并为紧临第一运算任务节点插入的第一搬运任务节点赋予第一位置标记，而为另一插入的搬运任务节点赋予第二位置标记。
6.根据权利要求1所述的拓扑图转换方法，其中：
当第一位置标记指明为第一主机的第一计算设备而第二位置标记指明为第二主机的第四计算设备时，所述搬运任务节点插入组件按照从所述第一运算任务节点到第二运算任务节点之间的顺序依次插入第一、第二以及第三搬运任务节点，并为第一搬运任务节点赋予第一位置标记，为第二搬运任务节点赋予指明第一主机的位置标记以及第三搬运任务节点赋予第二位置标记。
7.根据权利要求1-6之一所述的拓扑图转换方法，其中所述方法还包括在通过运算任务节点部署组件将运算逻辑节点拓扑图中的任意运算逻辑节点的任务分片到所述指定计算资源之前：
通过运算任务节点部署组件中的逻辑分布式签名选择组件，基于所述任务配置数据为运算逻辑节点拓扑图中的源运算逻辑节点指定的由运算逻辑节点的输入张量的分布式描述符以及输出张量的分布式描述符构成的逻辑分布式签名，从每个源运算逻辑节点的每个下游运算逻辑节点的候选逻辑分布式签名集合中选择数据搬运代价最小的逻辑分布式签名作为每个下游运算逻辑节点的逻辑分...
【专利技术属性】
技术研发人员：袁进辉，柳俊丞，牛冲，李新奇，
申请(专利权)人：北京一流科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。