一种数据传递方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41716606 阅读:12 留言:0更新日期:2024-06-19 12:43
本发明专利技术实施例公开了一种数据传递方法、装置、电子设备及存储介质。该数据传递方法,具体包括:确定待接收数据节点的节点输入数据和节点输入数据类型;在确定所述节点输入数据类型为目标数据类型的情况下,根据所述节点输入数据,确定所述待接收数据节点对应的目标数据传递标记;根据所述目标数据传递标记确定目标主题数据,以通过所述待接收数据节点对所述目标主题数据进行消费。本发明专利技术实施例的技术方案能够降低数据传递复杂度,同时降低节点执行任务的复杂度,而且提高了数据处理作业的执行效率。

【技术实现步骤摘要】

本专利技术实施例涉及计算机,尤其涉及一种数据传递方法、装置、电子设备及存储介质


技术介绍

1、随着数据时代的到来,大数据平台越来越广泛地应用于各个领域中。在大数据处理过程中各个阶段的任务,如数据的摄取、数据的加载、数据的转换、数据的清洗、数据的聚合或数据的分析等,并不是孤立的,都需要相互依赖相互协作,而这种数据处理过程的依赖协作构成了一个dag(有向无环图)。dag中的一个节点表示一个数据处理任务,经过任务编排最终形成一个完整的数据处理作业。

2、在一个数据处理作业中,有时需要将dag中某个节点的处理结果传递到其他节点中进行处理。然而,现有的数据传递方法,通常是在节点中申请资源(例如一个数据库表),将需要传递的数据写入到整个表中,再由其他节点申请对这个资源的访问,从而实现数据的传递。但是上述方法增加了数据传递以及节点执行任务的复杂度,浪费资源,也降低了数据处理作业的执行效率。


技术实现思路

1、本专利技术实施例提供一种数据传递方法、装置、电子设备及存储介质,能够降低数据传递复杂度,同时降低节点执本文档来自技高网...

【技术保护点】

1.一种数据传递方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述确定待接收数据节点的节点输入数据和节点输入数据类型之前,还包括:

3.根据权利要求2所述的方法,其特征在于,所述根据各所述节点数据传递标记,确定所述待接收数据节点对应的可用标记列表,包括:

4.根据权利要求2所述的方法,其特征在于,在所述创建各所述待传递数据节点对应的节点数据传递标记之后,还包括:

5.根据权利要求4所述的方法,其特征在于,所述节点主题数据包括节点主题第一标识数据、节点主题传递数据和节点主题第二标识数据;

>6.根据权利要求5...

【技术特征摘要】

1.一种数据传递方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述确定待接收数据节点的节点输入数据和节点输入数据类型之前,还包括:

3.根据权利要求2所述的方法,其特征在于,所述根据各所述节点数据传递标记,确定所述待接收数据节点对应的可用标记列表,包括:

4.根据权利要求2所述的方法,其特征在于,在所述创建各所述待传递数据节点对应的节点数据传递标记之后,还包括:

5.根据权利要求4所述的方法,其特征在于,所述节点主题数据包括...

【专利技术属性】
技术研发人员:张德坤顾风桂李小华
申请(专利权)人:青岛中科曙光科技服务有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1