一种计算流程的处理方法及装置制造方法及图纸

技术编号:43973318 阅读:17 留言:0更新日期:2025-01-10 20:00
本说明书实施例提供一种计算流程的处理方法及装置,该方法包括:获取涉及离线计算和在线计算的计算流程对应的关系图,其中,关系图中的各节点分别表征计算流程中涉及的离线类型的各第一算子和在线类型的各第二算子,各有向边分别表征所连接节点之间的依赖关系;根据关系图中各个节点对应的算子类型,分割关系图,得到关联的第一子图和第二子图;记录第一子图与第二子图之间的关联关系,其中,第一子图中的节点均对应于第一算子,第二子图中的节点均对应于第二算子;基于第一子图、第二子图、以及关联关系,运行计算流程,以实现对涉及离线计算和在线计算的混合计算流程进行更便利的编排部署,提高用户体验。

【技术实现步骤摘要】

本说明书涉及数据处理,尤其涉及一种计算流程的处理方法及装置


技术介绍

1、随着互联网的高速发展,各种大数据计算平台涌现,以为各企业、单位提供数据处理服务。为了更好的为各企业、单位提供给优质的数据处理服务,如何为各企业、单位的各业务计算流程提供更便利的编排部署方案至关重要。


技术实现思路

1、本说明书一个或多个实施例提供了一种计算流程的处理方法及装置,以实现对涉及离线计算和在线计算的混合计算流程进行更便利的编排部署,提高用户体验。

2、根据第一方面,提供一种计算流程的处理方法,其中,所述方法包括:

3、获取计算流程对应的关系图,其中,所述关系图中的各节点分别表征所述计算流程中涉及的各算子,各有向边分别表征所连接节点之间的依赖关系,所述算子包括离线类型的第一算子和在线类型的第二算子;

4、根据所述关系图中各个节点对应的算子类型,分割所述关系图,得到关联的第一子图和第二子图;记录所述第一子图与所述第二子图之间的关联关系,其中,所述第一子图中的节点均对应于第一算子,所述第二子图中本文档来自技高网...

【技术保护点】

1.一种计算流程的处理方法,其中,所述方法包括:

2.如权利要求1所述的方法,其中,所述基于所述第一子图、第二子图、以及所述关联关系,运行所述计算流程,包括:

3.如权利要求1所述的方法,其中,所述关系图为有向无环图。

4.如权利要求1所述的方法,其中,所述根据所述关系图中各个节点对应的算子类型,分割所述关系图,得到关联的第一子图和第二子图,包括:

5.如权利要求4所述的方法,其中,所述查找到各自所对应的算子类型不同、且互为前序节点和后继节点的至少一对目标节点对,包括:

6.如权利要求5所述的方法,在所述确定所述第二节点与其前序...

【技术特征摘要】

1.一种计算流程的处理方法,其中,所述方法包括:

2.如权利要求1所述的方法,其中,所述基于所述第一子图、第二子图、以及所述关联关系,运行所述计算流程,包括:

3.如权利要求1所述的方法,其中,所述关系图为有向无环图。

4.如权利要求1所述的方法,其中,所述根据所述关系图中各个节点对应的算子类型,分割所述关系图,得到关联的第一子图和第二子图,包括:

5.如权利要求4所述的方法,其中,所述查找到各自所对应的算子类型不同、且互为前序节点和后继节点的至少一对目标节点对,包括:

6.如权利要求5所述的方法,在所述确定所述第二节点与其前序节点为一对目标节点对之后,还包括:

7.如权利要求6所述的方...

【专利技术属性】
技术研发人员:武斌王天雨史可新于源孙善禄
申请(专利权)人:蚂蚁区块链科技上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1