【技术实现步骤摘要】
拓扑图转换系统及其方法本申请是申请日为2020年02月13日，国家申请号为202010090334.8的、名称为“拓扑图转换系统及其方法”的专利技术专利申请的分案申请。
本公开涉及一种数据处理技术。更具体地说，本公开涉及一种用于将运算逻辑节点托拓扑图转换为任务节点拓扑图的转换系统及其方法。
技术介绍
随着分布式计算的普及，大型的作业会通过分割而将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理，这样，在具体作业的处理过程中，部署在一个计算设备上的计算中间参数或结果会成为另一个计算设备上的计算任务的输入数据，这样为了实现中间参数的数据同步，这会引起计算设备之间的数据迁移的调用开销。而网络通信调用往往是个瓶颈，然后网络性能通信的性能不好，就会影响多机分布式数据处理架构的加速比和扩展性。随着各种单一计算设备自身的运算功能越来越强大，在提高计算设备的运算速度方面已经处于极致状态。尤其是随着计算速度的提升，数据的调用的速度已经落后于数据的运算速度。因此，数据的调用或迁移成为制约计算设备处理数据的瓶颈...
【技术保护点】
1.一种拓扑图转换方法，用于将运算逻辑节点拓扑图转换为任务节点拓扑图，包括：/n通过运算任务节点部署组件，基于用户在给定计算资源的基础上输入的任务描述中的任务配置数据，将运算逻辑节点拓扑图中的任意运算逻辑节点的任务分片到指定计算资源，从而生成每个运算逻辑节点对应一个或多个运算任务节点，并赋予每个运算任务节点与所述指定计算资源对应的位置标记；/n通过搬运任务节点插入组件，在第一运算任务节点的第一位置标记和作为其上游运算任务节点的第二运算任务节点的第二位置标记之间具有不同的位置标记时在所述第一运算任务节点和第二运算任务节点之间插入一个或多个搬运任务节点，从而获得具有搬运任务节点...
【技术特征摘要】
1.一种拓扑图转换方法，用于将运算逻辑节点拓扑图转换为任务节点拓扑图，包括：
通过运算任务节点部署组件，基于用户在给定计算资源的基础上输入的任务描述中的任务配置数据，将运算逻辑节点拓扑图中的任意运算逻辑节点的任务分片到指定计算资源，从而生成每个运算逻辑节点对应一个或多个运算任务节点，并赋予每个运算任务节点与所述指定计算资源对应的位置标记；
通过搬运任务节点插入组件，在第一运算任务节点的第一位置标记和作为其上游运算任务节点的第二运算任务节点的第二位置标记之间具有不同的位置标记时在所述第一运算任务节点和第二运算任务节点之间插入一个或多个搬运任务节点，从而获得具有搬运任务节点的完全任务节点拓扑图；以及
当第一位置标记指明为第一主机的第一计算设备而第二位置标记指明为第一主机时，所述搬运任务节点插入组件在所述第一运算任务节点和第二运算任务节点之间只插入一个搬运任务节点，并赋予所插入的搬运任务节点第一位置标记。
2.根据权利要求1所述的拓扑图转换方法，还包括：
当第一位置标记指明为第一主机而第二位置标记指明为第一主机的第二计算设备时，所述搬运任务节点插入组件在所述第一运算任务节点和所述第二运算任务节点之间只插入一个搬运任务节点，并赋予所插入的搬运任务节点第二位置标记。
3.根据权利要求1所述的拓扑图转换方法，还包括：
当第一位置标记指明为第一主机而第二位置标记指明为第二主机时，所述搬运任务节点插入组件在所述第一运算任务节点和所述第二运算任务节点之间只插入一个搬运任务节点，并赋予所插入的搬运任务节点第一位置标记。
4.根据权利要求1所述的拓扑图转换方法，还包括：
当第一位置标记指明为第一主机的第一计算设备而第二位置标记指明为第一主机的第三计算设备或第二主机时，所述搬运任务节点插入组件在所述第一运算任务节点和第二运算任务节点之间插入两个搬运任务节点，并为紧临第一运算任务节点插入的第一搬运任务节点赋予第一位置标记，而为另一插入的搬运任务节点赋予第二位置标记。
5.根据权利要求1所述的拓扑图转换方法，还包括：
当第一位置标记指明为第一主机的第一计算设备而第二位置标记指明为第二主机的第四计算设备时，所述搬运任务节点插入组件按照从所述第一运算任务节点到第二运算任务节点之间的顺序依次插入第一、第二以及第三搬运任务节点，并为第一搬运任务节点赋予第一位置标记，为第二搬运任务节点赋予指明第一主机的位置标记以及第三搬运任务节点赋予第二...
【专利技术属性】
技术研发人员：袁进辉，柳俊丞，牛冲，李新奇，
申请(专利权)人：北京一流科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。