构建和维护数据管道的方法技术

提供一种通过客户端为目标数据平台构建数据管道的方法

【技术实现步骤摘要】
构建和维护数据管道的方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种通过客户端为目标数据平台构建和维护数据管道的方法
、
装置
、
电子设备
、
非瞬时计算机可读存储介质以及计算机程序产品
。

技术介绍

[0002]数据管道
(
也可以称为
ETL
管道
)
是一套数据处理流程，其包括将数据从数据源提取出来，对数据进行转换和清洗，以及将经转换和清洗后的数据加载到目标数据平台
。
对于大数据应用来说，数据管道的使用非常普遍
。
在数据管道的构建阶段，需要完成的操作包括定义数据模型
、
编写数据处理逻辑
、
对接上下游系统
(
数据源和目标数据平台
)
等
。
和上下游系统的对接以及数据处理逻辑都需要进行反复的修改和验证
。
在维护阶段，当数据格式发生变化时，也需要对数据处理逻辑进行相应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种通过客户端为目标数据平台构建数据管道的方法，所述数据管道包括数据采集组件
、
数据处理组件和数据加载组件，所述方法包括：创建所述数据采集组件，所述数据采集组件用于采集原始数据；向所述客户端提供所述数据采集组件所采集到的原始数据以供用户确定所述原始数据是否满足采集需求；响应于从所述客户端接收到所述原始数据满足所述采集需求的指示，创建所述数据处理组件，所述数据处理组件用于对所述原始数据进行处理以得到处理数据；向所述客户端提供所述处理数据以供所述用户确定所述处理数据是否满足处理需求；以及响应于从所述客户端接收到所述处理数据满足所述处理需求的指示，创建所述数据加载组件，所述数据加载组件用于将所述处理数据加载到所述目标数据平台
。2.
根据权利要求1所述的方法，还包括：从所述客户端接收用于修改所述数据采集组件的配置的第一信息；以及基于所述第一信息，修改所述数据采集组件的配置，使得修改后的数据采集组件所采集到的原始数据满足所述采集需求
。3.
根据权利要求1所述的方法，还包括：从所述客户端接收用于修改所述数据处理组件的配置的第二信息；以及基于所述第二信息，修改所述数据处理组件的配置，使得经由修改后的数据处理组件处理后的处理数据满足所述处理需求
。4.
根据权利要求1至3中任一项所述的方法，还包括：在创建所述数据加载组件之前，调用临时数据加载组件，所述临时数据加载组件用于丢弃所述原始数据和所述处理数据，以免所述原始数据和所述处理数据进入所述目标数据平台
。5.
根据权利要求1至3中任一项所述的方法，其中，所述数据管道是经由
Web UI
进行构建的
。6.
一种通过客户端为目标数据平台维护数据管道的方法，包括：响应于从所述客户端接收到修改所述目标数据平台的原数据管道的指示，构建临时数据管道，所述临时数据管道包括所述原数据管道的数据采集组件副本
、
所述原数据管道的数据处理组件副本和临时数据加载组件，其中，所述数据采集组件副本用于采集原始数据，所述数据处理组件副本用于对所述原始数据进行处理以得到处理数据，所述临时数据加载组件用于丢弃所述原始数据和所述处理数据，以免所述原始数据和所述处理数据进入所述目标数据平台；响应于从所述客户端接收到用于修改所述数据采集组件副本的配置的第三信息，修改所述数据采集组件副本的配置；向所述客户端提供修改后的数据采集组件副本所采集到的原始数据以供用户确定所述原始数据是否满足采集需求；响应于从所述客户端接收到所述原始数据满足所述采集需求的指示，并且响应于从所述客户端接收到用于修改所述数据处理组件副本的配置的第四信息，修改所述数据处理组件副本的配置；
向所述客户端提供经由修改后的数据处理组件副本处理后的处理数据以供所述用户确定所述处理数据是否满足处理需求；以及响应于从所述客户端接收到所述处理数据满足所述处理需求的指示，创建数据加载组件以替换所述临时数据加载组件并停用所述原数据管道，所述数据加载组件用于将所述处理数据加载到所述目标数据平台
。7.
根据权利要求6所述的方法，还包括：从所述客户端接收用于重新修改所述数据采集组件副本的配置的第五信息；以及基于所述第五信息，重新修改所述数据采集组件副本的配置，使得重新修改后的数据采集组件副本所采集到的原始数据满足所述采集需求
。8.
根据权利要求6所述的方法，还包括：从所述客户端接收用于重新修改所述数据处理组件副本的配置的第六信息；以及基于所述第六信...

【专利技术属性】
技术研发人员：尤天，张天犁，
申请(专利权)人：上海炎凰数据科技有限公司，
类型：发明
国别省市：