数据处理系统、数据处理方法、可读存储介质技术方案

本公开是关于一种数据处理系统、数据处理方法、可读存储介质。该系统与设置有数据ETL组件和kafka组件的多个数据集群通信，用于向数据集群的数据ETL组件配置数据ETL任务，以使数据ETL组件执行所述数据ETL任务并经由kafka组件实现至少一个源集群到至少一个目标集群之间的数据交换。本实施例中通过ETL组件和kafka组件可以实现1个源集群到1个目标集群以及多个源集群到多个目标集群之间的数据ETL任务，可以满足数据ETL任务对于多维度数据的需求，可以提高数据交换效率。可以提高数据交换效率。可以提高数据交换效率。

【技术实现步骤摘要】
数据处理系统、数据处理方法、可读存储介质


[0001]本公开涉及数据处理
，尤其涉及一种数据处理系统、数据处理方法、可读存储介质。

技术介绍

[0002]目前，各行各业会形成不同的数据中心，并且各个数据中心相互隔离。当需求两个数据中心的数据时可以将一个数据中心的数据同步到另一个数据，如相关技术中数据ETL(Extract
‑
Transform
‑
Load，提取
‑
转换
‑
加载)转换工具可以从一个数据中心的集群内抽取数据并同步到另一个数据中心的集群内。实际应用中，有些需求依赖一个维度数据无法实现，即这些需求需要依赖多个维度的数据实现，因此只有将多个数据中心的数据汇聚在一起时，才能进行数据融合与协同计算。然而，每个数据中心的数据量如此之大，将一个数据中心的数据完全存储到另一个数据中心的方式并不现实，尤其是需求涉及到多个数据中心的数据时上述方案更无法实现。

技术实现思路

[0003]本公开提供一种数据处理系统、数据处理方法、可读存储介质，以解决相关技术的不足。
[0004]根据本公开实施例的第一方面，提供一种数据处理系统，所述系统与设置有数据ETL组件和kafka组件的多个数据集群通信；所述系统用于向数据集群的数据ETL组件配置数据ETL任务，以使数据ETL组件执行所述数据ETL任务并经由kafka组件实现至少一个源集群到至少一个目标集群之间的数据交换。
[0005]可选地，所述源集群包括以下至少一种：Mysql数据集群、PostgresSql数据集群、Clickhouse数据集群、Mongodb数据集群、Hdfs数据集群、ElasticSearch数据集群和Kafka数据集群；
[0006]所述目标集群包括以下至少一种：Mysql数据集群、PostgresSql数据集群、Clickhouse数据集群、Mongodb数据集群、Hdfs数据集群、ElasticSearch数据集群、Redis数据集群和Kafka数据集群。
[0007]可选地，所述系统用于向数据集群的数据ETL组件配置数据ETL任务，以使数据ETL组件执行所述数据ETL任务并经由kafka组件实现至少一个源集群到至少一个目标集群之间的数据交换，包括：
[0008]所述数据ETL任务对应的第一数据ETL组件从源集群读取所述数据ETL任务所需要的目标数据，并输出到所述源集群中的kafka组件；
[0009]所述数据ETL任务对应的第二数据ETL组件从所述源集群中的kafka组件读取所述目标数据，并输出到所述目标集群中的kafka组件；
[0010]所述数据ETL任务对应的第三数据ETL组件从所述目标集群中的kafka组件读取所述目标数据，并输出到所述目标集群。
[0011]可选地，所述系统还用于：
[0012]从所述第一数据ETL组件、所述第二数据ETL组件和所述第三数据ETL组件获取任务信息，并显示所述任务信息，所述任务信息用于使维护人员定位异常任务；
[0013]响应于处理所述异常任务的操作，恢复所述异常任务对应的数据ETL任务。
[0014]可选地，所述kafka组件对所述目标数据进行持久化处理。
[0015]可选地，所述源集群中不同的业务数据可选用不同的主题topic实现。
[0016]可选地，所述kafka组件的节点可随着主题topic数量的增加而横向扩展。
[0017]可选地，kafka组件设置有多个消费组，每个消费组对应至少一个数据ETL任务，
[0018]可选地，所述系统还用于：
[0019]当检测到跨集群的数据ETL任务时生成审核任务，并发送给所述审核任务对应的目标用户；
[0020]响应于检测到目标用户通过所述审核任务的操作，生成所述数据ETL任务并配置到所述数据ETL组件。
[0021]可选地，所述系统还用于：
[0022]获取并显示所述数据ETL任务的任务日志，以使用户查询各所述数据ETL任务在各阶段的状态信息。
[0023]可选地，所述系统还用于：
[0024]当检测到表示关闭或暂停数据ETL任务的操作，控制所述数据ETL任务对应的数据ETL组件暂停从kafka组件读入数据并且继续输出数据；
[0025]当数据输出完成后，控制所述数据ETL任务对应的数据ETL组件关闭或暂停数据ETL任务。
[0026]根据本公开实施例的第二方面，提供一种数据处理方法，包括：
[0027]向数据集群的数据ETL组件配置数据ETL任务，以使数据ETL组件执行所述数据ETL任务并经由kafka组件实现至少一个源集群到至少一个目标集群之间的数据交换。
[0028]根据本公开实施例的第三方面，提供一种数据处理系统，包括至少一个处理装置和至少一个存储装置；
[0029]所述至少一个存储装置，用于存储所述至少一个处理装置可执行的计算机程序；
[0030]其中，所述至少一个处理器装置配置为执行所述至少一个存储器中的计算机程序，以实现如第二方面所述的方法。
[0031]根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的可执行的计算机程序由处理器执行时，能够实现如第二方面所述的方法。
[0032]本公开的实施例提供的技术方案可以包括以下有益效果：
[0033]由上述实施例可知，本公开实施例提供的方案中，数据处理系统可以与设置有数据ETL组件和kafka组件的多个数据集群通信，并用于向数据集群的数据ETL组件配置数据ETL任务，以使数据ETL组件执行所述数据ETL任务并经由kafka组件实现至少一个源集群到至少一个目标集群之间的数据交换。本实施例中通过ETL组件和kafka组件可以实现1个源集群到1个目标集群以及多个源集群到多个目标集群之间的数据ETL任务，可以满足数据ETL任务对于多维度数据的需求，可以提高数据交换效率。
[0034]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不
Execution System，制造执行系统)等系统的关系型数据库(如Oracle、Mysql等)中。上述数据ETL组件是指被配置为提供诸如抽取、转换或加载数据的功能的计算机程序逻辑。在一些实施例中，数据ETL组件被存储在分布式网络中的一个或多个存储节点上，加载到分布式网络中的一个或多个存储器中，并且由分布式网络中的一个或多个处理器执行。
[0049]分布式存储装置400中的数据湖层是用于存储任何结构或非结构数据的集中式HDFS(Hadoop Distributed File System，分布式文件系统)或KUDU数据库。可选地，数据湖被配置为存储由数据ETL组件从多个数据源DS抽取的第一组数据。可选地，第一组数据和原始数据具有相同的内容。原始数据的维度和属性被保存在第一组数据中。在一些实施例中，数据湖存储的第一组数据包括动态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，所述系统与设置有数据ETL组件和kafka组件的多个数据集群通信；所述系统用于向数据集群的数据ETL组件配置数据ETL任务，以使数据ETL组件执行所述数据ETL任务并经由kafka组件实现至少一个源集群到至少一个目标集群之间的数据交换。2.根据权利要求1所述的系统，其特征在于，所述源集群包括以下至少一种：Mysql数据集群、PostgresSql数据集群、Clickhouse数据集群、Mongodb数据集群、Hdfs数据集群、ElasticSearch数据集群和Kafka数据集群；所述目标集群包括以下至少一种：Mysql数据集群、PostgresSql数据集群、Clickhouse数据集群、Mongodb数据集群、Hdfs数据集群、ElasticSearch数据集群、Redis数据集群和Kafka数据集群。3.根据权利要求1所述的系统，其特征在于，所述系统用于向数据集群的数据ETL组件配置数据ETL任务，以使数据ETL组件执行所述数据ETL任务并经由kafka组件实现至少一个源集群到至少一个目标集群之间的数据交换，包括：所述数据ETL任务对应的第一数据ETL组件从源集群读取所述数据ETL任务所需要的目标数据，并输出到所述源集群中的kafka组件；所述数据ETL任务对应的第二数据ETL组件从所述源集群中的kafka组件读取所述目标数据，并输出到所述目标集群中的kafka组件；所述数据ETL任务对应的第三数据ETL组件从所述目标集群中的kafka组件读取所述目标数据，并输出到所述目标集群。4.根据权利要求3所述的系统，其特征在于，所述系统还用于：从所述第一数据ETL组件、所述第二数据ETL组件和所述第三数据ETL组件获取任务信息，并显示所述任务信息，所述任务信息用于使维护人员定位异常任务；响应于处理所述异常任务的操作，恢复所述异常任务对应的数据ETL任务。5.根据权利要求4所述的系统，其...

【专利技术属性】
技术研发人员：关蕊，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：