本发明专利技术公开了一种数据处理方法、装置及系统，属于数据处理领域。在获取待处理数据以及用户对待处理数据的操作需求后，在Web页面选取已配置的功能单元进行构建数据处理模型。这样到接收到处理指令时，将数据处理模型中功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并执行该目标查询语句，得到数据处理模型的输出结果，并存储在存储目录中。本申请技术方案在处理数据时，根据Web页面已配置的功能单元构建数据处理模型，无需用户自己编写代码，对用户的技术基础要求低，降低了数据处理的成本。据处理的成本。据处理的成本。
【技术实现步骤摘要】
一种数据处理方法、装置及系统
[0001]本专利技术涉及数据处理领域，特别地，涉及一种数据处理方法、装置及系统。
技术介绍
[0002]随着大数据技术的快速发展，企业对大数据技术的应用已经越来越普及，然而大数据作为一门技术含量比较高的应用，往往需要使用大数据的企业拥有自己的技术基础，这显然会阻碍大数据技术大范围的普及应用。而现在市面上的一些数据分析产品，更多的是为用户提供一种工具，例如ETL工具，用户在使用ETL工具去做数据分析时，需要进行一定的代码编写或者SQL逻辑的处理，对使用用户有较高的技术基础要求，从而增加了使用大数据技术的成本。
技术实现思路
[0003]为了克服现有技术的不足，本专利技术提供一种数据处理方法、装置及系统，以解决现有技术进行数据处理时，需要用户编写代码，对用户技术基础要求较高的问题。
[0004]本专利技术解决其技术问题所采用的技术方案是：第一方面，一种数据处理方法，包括以下步骤：获取待处理数据以及用户对所述待处理数据的操作需求；根据所述操作需求在Web页面中选取已配置的功能单元构建数据处理模型；当接收到处理指令时，将所述数据处理模型中任一功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并对所述待处理数据执行所述目标查询语句；将执行所述目标查询语句后所述数据处理模型输出的结果存储到存储目录，以供用户使用。
[0005]进一步地，所述获取待处理数据，包括：接收用户数据选择指令，所述数据选择指令用于选择数据库中的一个或多个数据集，将所述数据集中的数据作为待处理数据；与所述数据集建立链接，以便当接收到处理指令时，直接对所述数据集中待处理数据进行处理。
[0006]进一步地，所述根据所述操作需求在Web页面中选取已配置的功能单元构建数据处理模型，包括：根据所述操作需求在所述Web页面中选择已配置的功能单元；所述功能单元包括：过滤、分组聚合、抽取字段、新增字段和上下合并以及左右合并；接收所述用户对选择的所述功能单元的参数设置指令，以完成所述模型的构建。
[0007]进一步地，还包括：当选择的功能单元中包括过滤时，判断所述过滤的功能单元过滤的内容是否是新增字段；
若不是，则将所述过滤功能单元设置为数据处理模型首个功能单元；若是，则将所述过滤功能单元设置为新增字段功能单元后的首个功能单元。
[0008]进一步地，还包括：接收所述用户在所述Web页面设置的任务执行方式，所述任务执行方式包括执行周期以及执行开始时间；将所述任务执行方式与构建完成的数据处理模型关联。
[0009]进一步地，还包括：获取当前时间与所述数据处理模型上次执行时间的间隔时长；当所述间隔时长等于所述执行周期时，调用所述数据处理模型在所述执行开始时间执行任务。
[0010]第二方面，一种数据处理装置，包括：数据获取模块，用于获取待处理数据以及用户对所述待处理数据的操作需求；模型构建模块，用于根据所述操作需求在Web页面中选取已配置的功能单元构建数据处理模型；语句转换模块，用于当接收到处理指令时，将所述数据处理模型中任一功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并对所述待处理数据执行所述目标查询语句；结果存储模块，用于将执行所述目标查询语句后所述数据处理模型输出的结果存储到存储目录，以供用户使用。
[0011]第三方面，一种数据处理系统，包括：Web页面，用于提供已配置的功能单元，以构建数据处理模型，所述数据处理模型包括任务执行方式；数据处理层，用于将构建的数据处理模型中的功能单元中的queryDsl语句转换为存储目录支持的目标查询语句，并执行所述目标查询语句；存储目录，用于存储数据处理模型执行所述目标查询语句后得到的结果；任务调度层，用于解析所述任务执行方式，并生成所述数据处理单元的执行任务。
[0012]有益效果：本申请技术方案提供一种数据处理方法、装置及系统，在获取待处理数据以及用户对待处理数据的操作需求后，在Web页面选取已配置的功能单元进行构建数据处理模型。这样到接收到处理指令时，将数据处理模型中功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并执行该目标查询语句，得到数据处理模型的输出结果，并存储在存储目录中。本申请技术方案在处理数据时，根据Web页面已配置的功能单元构建数据处理模型，无需用户自己编写代码，对用户的技术基础要求低，降低了数据处理的成本。
附图说明
[0013]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1是本专利技术实施例提供的一种数据处理方法流程图；图2是本专利技术实施例提供的一种数据处理装置结构示意图；图3是本专利技术实施例提供的一种数据处理系统结构示意图。
具体实施方式
[0015]为使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本专利技术的技术方案进行详细的描述说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。
[0016]参照图1，本专利技术实施例提供了一种数据处理方法，包括以下步骤：获取待处理数据以及用户对待处理数据的操作需求；根据操作需求在Web页面中选取已配置的功能单元构建数据处理模型；当接收到处理指令时，将数据处理模型中任一功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并对待处理数据执行目标查询语句；将执行目标查询语句后数据处理模型输出的结果存储到存储目录，以供用户使用。
[0017]本专利技术实施例提供一种数据处理方法，在获取待处理数据以及用户对待处理数据的操作需求后，在Web页面选取已配置的功能单元进行构建数据处理模型。这样到接收到处理指令时，将数据处理模型中功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并执行该目标查询语句，得到数据处理模型的输出结果，并存储在存储目录中。本申请技术方案在处理数据时，根据Web页面已配置的功能单元构建数据处理模型，无需用户自己编写代码，对用户的技术基础要求低，降低了数据处理的成本。
[0018]作为对上述专利技术实施例一种补充说明，获取待处理数据，包括：接收用户数据选择指令，数据选择指令用于选择数据库中的一个或多个数据集，将数据集中的数据作为待处理数据；与数据集建立链接，以便当接收到处理指令时，直接对数据集中待处理数据进行处理。可以理解的是，需要数据处理操作并不是一次处理，而是需要进行多次数据处理操作，而每次数据处理时，其待处理的数据和上次数据处理的数据来源相同，但是数据的内容或数量等很大可能与上次数据处理时不同，因此与数据集间链接，每次数据处理时，从数据集获取待处理数据即可。
[0019本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括以下步骤：获取待处理数据以及用户对所述待处理数据的操作需求；根据所述操作需求在Web页面中选取已配置的功能单元构建数据处理模型；当接收到处理指令时，将所述数据处理模型中任一功能单元的queryDsl语句转换为存储目录支持的目标查询语句，并对所述待处理数据执行所述目标查询语句；将执行所述目标查询语句后所述数据处理模型输出的结果存储到存储目录，以供用户使用。2.根据权利要求1所述的方法，其特征在于：所述获取待处理数据，包括：接收用户数据选择指令，所述数据选择指令用于选择数据库中的一个或多个数据集，将所述数据集中的数据作为待处理数据；与所述数据集建立链接，以便当接收到处理指令时，直接对所述数据集中待处理数据进行处理。3.根据权利要求1所述的方法，其特征在于：所述根据所述操作需求在Web页面中选取已配置的功能单元构建数据处理模型，包括：根据所述操作需求在所述Web页面中选择已配置的功能单元；所述功能单元包括：过滤、分组聚合、抽取字段、新增字段和上下合并以及左右合并；接收所述用户对选择的所述功能单元的参数设置指令，以完成所述模型的构建。4.根据权利要求3所述的方法，其特征在于，还包括：当选择的功能单元中包括过滤时，判断所述过滤的功能单元过滤的内容是否是新增字段；若不是，则将所述过滤功能单元设置为数据处理模型首个功能单元；若是，则将所述过滤功能单元设置为新增字段功能单元后的首个功能单元。5.根据权利要...
【专利技术属性】
技术研发人员：程学涛，韩锡锐，冯晋阳，金旸，高俊超，
申请(专利权)人：北京德塔精要信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。