基于Spark组件的数据处理方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种基于Spark组件的数据处理方法及装置，所述方法包括：获取SQL数据处理指令，确定与所述SQL数据指令对应的至少一个处理参数；将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制；基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式，并基于所述目标数据库和目标数据处理方式进行数据处理。采用本发明专利技术实施例，可以对各种数据库的数据进行处理，提高数据处理的便利性。高数据处理的便利性。高数据处理的便利性。

【技术实现步骤摘要】
基于Spark组件的数据处理方法、装置、设备及介质


[0001]本专利技术涉及大数据
，尤其涉及一种基于Spark组件的数据处理方法、装置、计算机设备及计算机可读存储介质。

技术介绍

[0002]数据仓库技术(Extract
‑
Transform
‑
Load，ETL)用来描述将数据从来源端经过抽取(Extract)、转换(Transform)、加载(Load)至目的端的过程。ETL将分布的、异构数据源中的数据抽取到临时中间层后进行清洗、转换、集成，最后将数据加载到数据仓库中。市面上常见的ETL工具有informatica powercenter、IBM Datastage、 Kettle、Talend、DataX、Xplenty、DataPipeline等，但由于这些ETL工具或者无法适应海量数据的处理需求，或者数据清洗的复杂性不够、或者易用性不好、使用起来不方便、甚至需要二次开发。

技术实现思路

[0003]基于此，在本实施例中，提供了一种基于Spark组件的数据处理方法、装置、计算机设备及计算机可读存储介质，可提高基于ETL框架的数据处理的操作便利性。
[0004]在本专利技术的第一部分，提供了一种基于Spark组件的数据处理方法，所述方法包括：获取SQL数据处理指令，确定与所述SQL数据指令对应的至少一个处理参数；将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制；基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式，并基于所述目标数据库和目标数据处理方式进行数据处理。
[0005]可选的，所述将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制的步骤，还包括：对所述Spark会话控制进行初始化处理。
[0006]可选的，所述基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式的步骤，还包括：基于所述Spark会话控制加载所述至少一个处理参数；确定所述Spark会话控制加载所述至少一个处理参数的参数加载类型和参数加载模式，根据所述参数加载类型确定所述目标数据库，根据所述参数加载模式确定所述目标处理方式。
[0007]可选的，所述目标数据库包括DB数据库、ES数据库、图数据库Neo4j、文件存储数据库MongoDB或文件系统数据库中至少一个；所述基于所述目标数据库和目标数据处理方式进行数据处理的步骤，还包括：基于所述至少一个处理参数，对所述目标数据库进行删除、插入、更新或覆盖操作。
[0008]可选的，所述基于所述目标数据库和目标数据处理方式进行数据处理的步骤之后，还包括：将进行数据处理的时间戳存储至dat目录下，将进行数据处理的日志文件存储至log目录下。
[0009]在本专利技术的第二部分，提供了一种基于Spark组件的数据处理装置，所述装置包括：参数获取模块，用于获取SQL数据处理指令，确定与所述SQL数据指令对应的至少一个处理参数；Spark创建模块，用于将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制；Spark数据处理模块，用于基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式，并基于所述目标数据库和目标数据处理方式进行数据处理。
[0010]可选的，所述Spark创建模块还用于对所述Spark会话控制进行初始化处理。
[0011]可选的，所述Spark数据处理模块还用于基于所述Spark会话控制加载所述至少一个处理参数；确定所述Spark会话控制加载所述至少一个处理参数的参数加载类型和参数加载模式，根据所述参数加载类型确定所述目标数据库，根据所述参数加载模式确定所述目标处理方式。
[0012]可选的，所述Spark数据处理模块还用于将进行数据处理的时间戳存储至dat目录下，将进行数据处理的日志文件存储至log目录下。
[0013]可选的，所述目标数据库包括DB数据库、ES数据库、图数据库Neo4j、文件存储数据库MongoDB或文件系统数据库中至少一个。
[0014]可选的，所述目标数据处理方式包括删除、插入、更新或覆盖操作中的至少一个。
[0015]在本专利技术的第三部分，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取SQL数据处理指令，确定与所述SQL数据指令对应的至少一个处理参数；将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制；基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式，并基于所述目标数据库和目标数据处理方式进行数据处理。
[0016]在本专利技术的第四部分，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取SQL数据处理指令，确定与所述SQL数据指令对应的至少一个处理参数；将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制；基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式，并基于所述目标数据库和目标数据处理方式进行数据处理。
[0017]采用本专利技术实施例，具有如下有益效果：在本专利技术实施例中，提供了一种基于Spark组件的数据处理方法、装置、设备及计
算机可读存储介质之后，基于ETL框架，对Spark组件进行封装，然后可以直接通过标准的SQL 语句来实现对各类数据库的数据处理操作。具体的，获取SQL数据处理指令，然后将SQL数据处理指令的处理参数传递到ETL框架，并通过ETL框架创建Spark会话控制，然后基于该Spark会话控制加载处理参数，确定目标数据库和目标处理方式，并通过目标处理方式对目标数据库进行数据处理，完成基于Spark组件的ETL框架的数据处理过程。也就是说，采用了上述基于Spark组件的数据处理方法及装置之后，通过对Spark组件的封装，可实现对各类数据库的各种读写操作，不用针对每一个数据库分别进行数据处理工具的编写，也就是说，在本实施例中，对数据库中的数据的处理与数据库无关，可以处理不同的数据库以及异构数据库的数据，并且可以扩展到各种应用场景，提高数据处理的便利性和标准化。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]其中：图1为一个实施例中一种ETL框架的结构示意图；图2为一个实施例中一种基于Spark组件的数据处理方法的流程示意图；图3为一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Spark组件的数据处理方法，其特征在于，所述方法包括：获取SQL数据处理指令，确定与所述SQL数据指令对应的至少一个处理参数；将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制；基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式，并基于所述目标数据库和目标数据处理方式进行数据处理。2.根据权利要求1所述的基于Spark组件的数据处理方法，其特征在于，所述将所述至少一个处理参数传输给预设的ETL框架，创建Spark会话控制的步骤，还包括：对所述Spark会话控制进行初始化处理。3.根据权利要求1所述的基于Spark组件的数据处理方法，其特征在于，所述基于所述Spark会话控制，根据所述至少一个处理参数确定与所述SQL数据处理指令对应的目标数据库以及目标数据处理方式的步骤，还包括：基于所述Spark会话控制加载所述至少一个处理参数；确定所述Spark会话控制加载所述至少一个处理参数的参数加载类型和参数加载模式，根据所述参数加载类型确定所述目标数据库，根据所述参数加载模式确定所述目标处理方式。4.根据权利要求3所述的基于Spark组件的数据处理方法，其特征在于，所述目标数据库包括DB数据库、ES数据库、图数据库Neo4j、文件存储数据库MongoDB或文件系统数据库中至少一个；所述基于所述目标数据库和目标数据处理方式进行数据处理的步骤，还包括：基于所述至少一个处理参数，对所述目标数据库进行删除、插入、更新或覆盖操作。5.根据权利要求1所述的基于Spark组件的数据处理方法，其特征在于，所述基于所述目标数据库和目标数据处理方式进行数据处理的步骤之后，还包括：将进行数据处理的时间戳存储至dat目录下，将进行数据...

【专利技术属性】
技术研发人员：施震，张在翔，王久玖，
申请(专利权)人：中证信用增进股份有限公司，
类型：发明
国别省市：