一种数据抽取方法技术

本申请提供了一种数据抽取方法

【技术实现步骤摘要】
一种数据抽取方法、装置、设备及存储介质


[0001]本申请涉及软件开发
，特别涉及一种数据抽取方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]Kettle
是一款开源工具，通过拖拽的方式，对不同步骤进行组装和拼接，完成特定的数据抽取任务
。
[0003]在相关技术中，数据抽取任务的创建需要由仅支持
Windows
系统版本的电脑安装
kettle
的图形化子模块
Spoon
完成，
Kettle
自带有定时任务管理逻辑
。
[0004]但是，在使用数据库类型的资源库时，如若所需数据库被安装于服务器，或容器内，整个编辑画布的拖拽过程会十分卡顿，极大地增加了数据抽取任务的创建时间
。
此外，
Kettle
自带的定时任务管理逻辑，当数据抽取任务执行完成后才会开始计时，两次数据抽取任务的间隔为执行时间与定时时间加和，会导致时间的偏差，无法满足对时间间隔苛刻的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据抽取方法，其特征在于，包括：在应用工具的数据抽取页面，显示由多个功能控件组成的数据抽取任务，所述多个功能控件用于表示数据抽取流程中的多个处理方式，所述多个功能控件之间的连接线用于表示所述数据抽取流程中的数据流的流向，其中所述应用工具包括
kettle
工具；基于对所述数据抽取页面的操作，确定所述数据抽取任务的执行模式；其中，所述执行模式指示执行所述数据抽取任务所采用的服务器；响应于数据抽取指令，基于所述执行模式指示的服务器执行所述数据抽取任务，进行数据抽取
。2.
根据权利要求1所述的方法，其特征在于，所述在应用工具的数据抽取页面，显示由所述多个功能控件组成的数据抽取任务，包括：当检测到对功能控件进行拖拽操作，在所述数据抽取页面的工作子页面，显示所述功能控件；其中，所述功能控件包括输入子功能控件
、
输出子功能控件以及转换子功能控件中的任意一项；在所述工作子页面，基于对至少两个所述功能控件进行操作，连接至少两个所述功能控件，显示所述数据抽取任务
。3.
根据权利要求1所述的方法，其特征在于，在所述基于对所述数据抽取页面的操作，确定所述数据抽取任务的执行模式之后，还包括：当检测到对日志参数进行操作，确定与所述数据抽取任务匹配的日志类别；其中，所述日志类别包括详细日志以及行级日志
。4.
根据权利要求1所述的方法，其特征在于，所述执行模式包括本地模式
、
服务器模式以及集群模式；其中，所述本地模式指示采用本地服务器执行所述数据抽取任务；所述服务器模式指示采用目标服务器执行所述数据抽取任务；所述集群模式指示采用集群中的多个服务器执行所述数据抽取任务
。5.
根据权利要求1所述的方法，其特征在于，所述响应于数据抽取指令，基于所述执行模式指示的服务器执行所述数据抽取任务，进行数据抽取，包括：当检测到任意一个正在执行的数据抽取任务，在所述数据抽取页面的状态显示子页面，显示与所述正在执行的数据抽取任务匹配的步骤度量数据；其中，所述步骤度量数据包括正在执行的步骤以及所述正在执行的步骤的进程
。6.
根据权利要求5所述的方法，其特征在于，所述响应于数据抽取指令，基于所述执行模式指示的服务器执行所述数据抽取任务，进行数据抽取，还包括：当检测到任意一个执行结束的所述数据抽取任务，在所述数据抽取页面的状态显示子页面，显示与所述执行结束的数据抽取任务匹配的日志数据
。7.
根据权利要求1所述的方法，其特征在于，在所述基于对所述数据抽取页面的操作，确定所述数据抽...

【专利技术属性】
技术研发人员：朱宽，饶勇军，
申请(专利权)人：北京中祥英科技有限公司北京京东方技术开发有限公司，
类型：发明
国别省市：