数据处理方法、设备、系统及存储介质技术方案

技术编号:29283190 阅读:19 留言:0更新日期:2021-07-16 23:35
本申请实施例提供一种数据处理方法、设备、系统及存储介质。数据处理系统,包括:用户界面层和数据处理层。用户界面层展示抽取模式配置组件和数据源配置组件,可供用户配置目标抽取模式和待抽取数据所在的目标数据源信息,并可响应于用户的配置操作生成数据抽取任务;数据处理层可执行该数据抽取任务,并按照数据抽取任务指定的目标抽取模式,获取该数据抽取任务指定的目标数据源指向的目标数据。本申请实施例提供的数据处理系统可向用户提供自主抽取数据服务,用户可根据数据抽取需求配置数据抽取模式和待抽取数据所在的数据源信息,无需编辑数据抽取逻辑,实现了数据抽取与逻辑编程的解耦,有助于提高数据抽取效率,降低成本。降低成本。降低成本。

【技术实现步骤摘要】
数据处理方法、设备、系统及存储介质


[0001]本申请涉及数据处理
,尤其涉及一种数据处理方法、设备、系统及存储介质。

技术介绍

[0002]在现今的信息化时代,对信息数据的应用与研究已成为一种趋势,数据库基于其优势,被广泛应用于数据的存储、管理、维护和查询。在实际应用中,用户为了进行测试等需求,需要从海量的数据中抽取其想要的数据。但是,现有技术需要用户编辑对应的数据抽取逻辑,人工成本高且效率低。

技术实现思路

[0003]本申请的多个方面提供一种数据处理方法、设备、系统及存储介质,用以提高数据抽取效率,并降低人工成本。
[0004]本申请实施例提供一种数据抽取系统,包括:用户界面层和数据处理层;其中,
[0005]所述用户界面层,用于展示抽取模式配置组件和数据源配置组件,以及响应于针对所述抽取模式配置组件和所述数据源配置组件的配置操作,生成数据抽取任务;
[0006]所述数据处理层,用于按照所述数据抽取任务指定的目标抽取模式,获取所述数据抽取任务指定的目标数据源指向的目标数据。
[0007]本申请实施例还提供一种数据处理方法,包括:
[0008]展示抽取模式配置组件和数据源配置组件;
[0009]响应于针对所述抽取模式配置组件和所述数据源配置组件的配置操作,生成数据抽取任务;
[0010]按照所述数据抽取任务指定的目标抽取模式,获取所述数据抽取任务指定的目标数据源指向的目标数据。
[0011]本申请实施例还提供一种计算机设备,包括:存储器、处理器和显示器;所述存储器,用于存储计算机程序;
[0012]所述处理器耦合至所述存储器,用于执行所述计算机程序以用于:
[0013]通过所述显示器展示抽取模式配置组件和数据源配置组件;
[0014]响应于针对所述抽取模式配置组件和所述数据源配置组件的配置操作,生成数据抽取任务;
[0015]按照所述数据抽取任务指定的目标抽取模式,获取所述数据抽取任务指定的目标数据源指向的目标数据。
[0016]本申请实施例还提供一种存储有计算机指令的计算机可读存储介质,其特征在于,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器执行上述方法中的步骤。
[0017]本申请实施例提供的数据处理系统,包括:用户界面层和数据处理层;其中,用户
界面层展示抽取模式配置组件和数据源配置组件,可供用户配置目标抽取模式和待抽取数据所在的目标数据源信息,并可响应于用户的配置操作生成数据抽取任务;接着,数据处理层便可执行该数据抽取任务,并按照数据抽取任务指定的目标抽取模式,获取数据抽取任务指定的目标数据源指向的目标数据。本申请实施例提供的数据处理系统可向用户提供自主抽取数据服务,用户可根据数据抽取需求配置数据抽取模式和待抽取数据所在的数据源信息,无需编辑数据抽取逻辑,实现了数据抽取与逻辑编程的解耦,有助于提高数据抽取效率,降低成本。
附图说明
[0018]此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
[0019]图1a为本申请实施例提供的一种数据处理系统的结构示意图;
[0020]图1b-图1e为本申请实施例提供的用户交互界面的示意图;
[0021]图1f为本申请实施例提供的另一种数据处理系统的结构示意图;
[0022]图1g为本申请实施例提供的数据处理单元的结构示意图;
[0023]图1h为本申请实施例提供的另一种用户交互界面的示意图;
[0024]图2为本申请实施例提供的一种数据处理方法的流程示意图;
[0025]图3为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0026]为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0027]针对现有数据抽取技术需要用户编辑数据抽取逻辑而导致数据抽取效率较低的技术问题,本申请一些实施例提供一种数据处理系统,包括:用户界面层和数据处理层;其中,用户界面层展示抽取模式配置组件和数据源配置组件,可供用户配置目标抽取模式和待抽取数据所在的目标数据源信息,并可响应于用户的配置操作生成数据抽取任务;接着,数据处理层便可执行该数据抽取任务,并按照数据抽取任务指定的目标抽取模式,获取数据抽取任务指定的目标数据源指向的目标数据。本申请实施例提供的数据处理系统可向用户提供自主抽取数据服务,用户可根据数据抽取需求配置数据抽取模式和待抽取数据所在的数据源信息,无需编辑数据抽取逻辑,实现了数据抽取与逻辑编程的解耦,有助于提高数据抽取效率,降低成本。
[0028]以下结合附图,详细说明本申请各实施例提供的技术方案。
[0029]图1a为本申请实施例提供的一种数据处理系统的结构示意图。如图1a所示,该系统包括:用户界面层11和数据处理层12。
[0030]在本实施例中,如图1a所示,用户界面层11展示抽取模式配置组件和数据源配置组件。用户可通过抽取模式配置组件配置所需的目标抽取模式,并通过数据源配置组件配置待抽取数据所在的目标数据源。图1a中所示的抽取模式配置组件和数据源配置组件的实
现形式以及页面布局仅为示例性说明,并不构成限定。
[0031]在本实施例中,抽取模式是指抽取待抽取数据所采用的数据抽取模式。数据源可以是任何具有数据存储和管理功能的数据存储系统,例如数据存储系统可以是数据库系统、数据仓库、云存储系统等,数据存储系统也可以为对象存储服务(Object Storage Service,OSS)、开放结构化数据服务(Open Table Service,OTS)、关系型数据库服务(Relational Database Service,RDS)或开放数据处理服务(Open Data Processing Service,ODPS)对应的数据存储系统等等。可选地,数据源也可以为数据存储系统中的存储分区、文件、表项、数据行、列等;但不限于此。相应地,数据源信息是指数据的来源信息。目标数据源信息可以为待抽取数据所在的数据存储系统、在该数据存储系统中的文件、表项、数据行、列等信息,但不限于此。
[0032]相应地,用户界面层11响应于针对抽取模式配置组件和数据源配置组件的配置操作,生成数据抽取任务。该数据抽取任务中指定有目标抽取模式和目标数据源。具体地,用户界面层11可根据用户配置的目标抽取模式和目标数据源信息,生成数据抽取任务。其中,数据抽取任务携带有抽取模式标识和数据源标识。数据抽取模式标识为数据抽取任务指定的目标抽取模式的标识;数据源标识则为数据抽取任务指定的本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统,其特征在于,包括:用户界面层和数据处理层;其中,所述用户界面层,用于展示抽取模式配置组件和数据源配置组件,以及响应于针对所述抽取模式配置组件和所述数据源配置组件的配置操作,生成数据抽取任务;所述数据处理层,用于按照所述数据抽取任务中指定的目标抽取模式,获取所述数据抽取任务中指定的目标数据源指向的目标数据。2.根据权利要求1所述的系统,其特征在于,所述用户界面层,还用于:响应于针对所述抽取模式配置组件的触发操作,展示至少一种抽取模式;响应于针对所述至少一种抽取模式的选择操作,将被选中的抽取模式作为所述目标抽取模式。3.根据权利要求2所述的系统,其特征在于,所述至少一种抽取模式包括:采样模式、时序抽取模式、顺序抽取模式、随机抽取模式以及自定义抽取模式中的至少一种。4.根据权利要求3所述的系统,其特征在于,所述用户界面层,还用于:响应于针对所述采样模式的触发操作,展示采样规则设置组件,以供用户设置采样规则;或者,响应于针对所述时序抽取模式的触发操作,展示时间设置组件,以供所述用户设置待抽取数据所属的时间段;或者,响应于针对所述顺序抽取模式的触发操作,展示数据抽取顺序设置组件,以供所述用户设置待抽取数据的先后顺序;或者,响应于针对所述随机抽取模式的触发操作,展示数据量设置组件,以供所述用户设置待抽取的数据量大小;或者,响应于针对所述自定义抽取模式,展示抽取模式编辑组件,以供所述用户输入自定义的抽取模式。5.根据权利要求1所述的系统,其特征在于,所述用户界面层,具体用于:将抽取模式标识和数据源标识写入执行计划;其中,所述抽取模式标识用于指定目标抽取模式,数据源标识用于指定目标数据源;根据所述执行计划,生成所述数据抽取任务。6.根据权利要求5所述的系统,其特征在于,所述数据处理层,具体用于:从所述数据抽取任务中,解析出所述目标抽取模式和所述目标数据源;按照所述目标抽取模式,获取所述目标数据源指向的目标数据。7.根据权利要求1所述的系统,其特征在于,所述数据处理层包括:任务管理单元、至少一个任务处理单元和数据分发单元;所述任务管理单元,用于接收所述数据抽取任务,并根据所述目标数据源将所述数据抽取任务拆分为至少一个子任务,并将所述至少一个子任务提供给对应的任务处理单元;其中,每个子任务对应的数据源不同;所述至少一个任务处理单元,用于:按照所述目标抽取模式,获取接收到的子任务对应的目标数据源所指向的目标数据片段;所述数据分发单元,用于:将所述至少一个任务处理单元获取的目标数据片段进行整合,以得到所述目标数据;并将所述目标数据提供给所述用户。8.根据权利要求7所述的系统,其特征在于,所述任务管理单元,具体用于:按照待抽取
数据在所述目标数据源中的存储顺序,将所述数据抽取任务拆...

【专利技术属性】
技术研发人员:李杰赵红兵侯俊
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1