一种数据处理方法、任务调度方法、装置和存储介质制造方法及图纸

本发明专利技术提供了一种数据处理方法、任务调度方法、装置和存储介质，涉及数据处理领域。根据本发明专利技术的实施例，在获取到SQL关联查询语句后，根据SQL关联查询语句中的数据源信息获取待处理数据表；根据所述待处理数据表的数据表信息，将所述SQL关联查询语句转换为可执行SQL查询语句，执行所述可执行SQL查询语句得到查询结果，通过对用户输入的符合预先规范的SQL关联查询语句进行转换，得到执行SQL查询语句，利用SQL语言就可以实时将位于不同数据源中的数据融合在一起。据融合在一起。据融合在一起。

【技术实现步骤摘要】
一种数据处理方法、任务调度方法、装置和存储介质


[0001]本专利技术涉及数据处理领域，尤其涉及一种数据处理方法、任务调度方法、装置和存储介质。

技术介绍

[0002]随着大数据时代的到来，各企业开始通过大数据平台，对生产及运营过程中产生的数据进行统一的存储管理与分析处理。同一企业在存储数据时，可以根据需求将数据存储在不同的数据源中，但对数据进行分析时要将存储在不同数据源中的数据，融合到一起进行查询分析。一般可以使用ETL工具将不同种数据源的数据同步到某种数据仓库内，在数据仓库内进行分析，但这种方式需要预先同步数据，不仅流程复杂耗时长，且同步完成的数据已经成为历史数据，无法做到实时数据的计算分析。

技术实现思路

[0003]本专利技术提供了一种数据处理方法、任务调度方法、装置和存储介质，以解决相关技术中的不足。
[0004]根据本专利技术实施例的第一方面，提供了一种数据处理方法，应用于大数据平台，所述大数据平台包含至少两个不同的数据源；所述方法包括：
[0005]展示数据处理任务页面，响应于用户在所述数据处理任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于大数据平台，所述大数据平台包含至少两个不同的数据源；所述方法包括：展示数据处理任务页面，响应于用户在所述数据处理任务页面上的输入操作获取SQL关联查询语句，所述SQL关联查询语句包括多个第一待处理数据表的数据源信息，其中，所述多个第一待处理数据表中的至少两个第一待处理数据表来自不同数据源；根据所述数据源信息获取第二待处理数据表；将所述SQL关联查询语句中第一待处理数据表的数据源信息替换为对应所述第二待处理数据表的数据表信息，得到可执行SQL查询语句；执行所述可执行SQL查询语句得到查询结果。2.根据权利要求1所述的方法，其特征在于，所述数据处理方法基于PySpark框架实现。3.根据权利要求1所述的方法，其特征在于，在得到查询结果之后，所述方法还包括：基于用户的输入操作，确定对所述查询结果进行处理的处理条件；基于所述处理条件对所述查询结果进行处理得到处理结果；在所述查询结果中增加一列，并在该列中显示处理结果。4.根据权利要求1所述的方法，其特征在于，在得到查询结果之后，所述方法还包括：基于用户的配置操作，确定存储所述查询结果的目标数据库，以及存储所述查询结果的数据表名；若所述目标数据库中不包括所述数据表名对应的数据表，则创建所述数据表名对应的数据表；若所述目标数据库中包括所述数据表名对应的数据表，则根据用户的选择操作确定输出模式，并以所述输出模式将所述查询结果写入到所述目标数据库的数据表中。5.一种任务调度方法，其特征在于，应用于大数据平台，所述方法包括：展示任务调度页面，基于用户在所述任务调度页面上的输入操作，创建调度任务；基于用户的选择操作从预先创建的多个候选数据任务中确定所述调度任务的多个目标数据任务，所述候选数据任务包括数据处理任务，所述数据处理任务利用权利要求1至4中任一项所述的数据处理方法实现；在所述任务调度页面上显示各目标数据任务的图标；基于用户对各图标的移动操作，确定所述调度任务中各目标数据任务的执行顺序；根据所述执行顺序执行所述调度任务中的各目标数据任务。6.根据权利要求5所述的方法，其特征在于，所述候选数据任务还包括数据集成任务；所述方法还包括：...

【专利技术属性】
技术研发人员：关蕊，张宁，何文，樊林，
申请(专利权)人：北京京东方技术开发有限公司，
类型：发明
国别省市：