一种基于原子组件的数据处理方法、装置、设备及介质制造方法及图纸

技术编号:42491201 阅读:25 留言:0更新日期:2024-08-21 13:08
本申请公开了一种基于原子组件的数据处理方法、装置、设备及介质,涉及数据处理领域,包括:根据预设原子组件构建规范构建预设数据处理子任务对应的原子组件,并将所述原子组件保存至预设原子组件库中;确定当前的待处理任务的数据处理需求,并根据所述数据处理需求从所述原子组件库中确定出相应的目标原子组件;根据所述目标原子组件构建所述待处理任务对应的数据处理管道,并基于预设执行框架利用所述数据处理管道执行所述待处理任务对应的任务处理流程。基于原子组件的管道编排方法具有高度的模块化和可复用性,适用于各种需要进行大量数据处理和复杂处理的场景,有助于提高数据处理效率、降低处理成本、提升业务处理能力。

【技术实现步骤摘要】

本专利技术涉及数据处理领域,特别涉及一种基于原子组件的数据处理方法、装置、设备及存储介质。


技术介绍

1、在传统的数据处理过程中,数据处理任务通常被视为一个整体,难以进行模块化拆分和复用,这导致了数据处理效率低下、错误处理困难、维护成本高等问题。此外,随着数据处理需求的不断增加和数据量的不断增长,传统的方法显然难以满足高效、稳定、可靠的数据处理需求。因此,如何改善数据处理任务的处理效果是本领域有待解决的问题。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供一种基于原子组件的数据处理方法、装置、设备及存储介质,基于原子组件的管道编排方法具有高度的模块化和可复用性,适用于各种需要进行大量数据处理和复杂处理的场景,有助于提高数据处理效率、降低处理成本、提升业务处理能力。其具体方案如下:

2、第一方面,本申请提供了一种基于原子组件的数据处理方法,包括:

3、根据预设原子组件构建规范构建预设数据处理子任务对应的原子组件,并将所述原子组件保存至预设原子组件库中;所述原子组件为和所述预设数据处本文档来自技高网...

【技术保护点】

1.一种基于原子组件的数据处理方法,其特征在于,包括:

2.根据权利要求1所述的基于原子组件的数据处理方法,其特征在于,所述构建预设数据处理子任务对应的原子组件,包括:

3.根据权利要求1所述的基于原子组件的数据处理方法,其特征在于,所述根据所述目标原子组件构建所述待处理任务对应的数据处理管道,包括:

4.根据权利要求3所述的基于原子组件的数据处理方法,其特征在于,所述根据所述数据处理需求从所述原子组件库中确定出相应的目标原子组件之后,还包括:

5.根据权利要求1所述的基于原子组件的数据处理方法,其特征在于,所述根据所述目标原子组件构建所述...

【技术特征摘要】

1.一种基于原子组件的数据处理方法,其特征在于,包括:

2.根据权利要求1所述的基于原子组件的数据处理方法,其特征在于,所述构建预设数据处理子任务对应的原子组件,包括:

3.根据权利要求1所述的基于原子组件的数据处理方法,其特征在于,所述根据所述目标原子组件构建所述待处理任务对应的数据处理管道,包括:

4.根据权利要求3所述的基于原子组件的数据处理方法,其特征在于,所述根据所述数据处理需求从所述原子组件库中确定出相应的目标原子组件之后,还包括:

5.根据权利要求1所述的基于原子组件的数据处理方法,其特征在于,所述根据所述目标原子组件构建所述待处理任务对应的数据处理管道之后,还包括:

6.根据权利要求1所述的基于原子组件的数据处理方法,其特征...

【专利技术属性】
技术研发人员:单静静姜亚楠张立勇孙向晖王洪超
申请(专利权)人:浪潮云信息技术股份公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1