服务器集群数据同步方法及装置制造方法及图纸

本发明专利技术公开一种服务器集群数据同步方法及装置。在该方法中，服务器节点根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；针对源数据集中的各个源数据，根据数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中多种目标数据格式包括至少一个异构数据源所适用的数据格式；针对源数据集中的各个源数据所对应的目标数据集，基于目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。由此，通过在服务器节点中进行组件配置的方式灵活地实现了数据同步过程，具有较好的扩展性。

Data synchronization method and device of server cluster

【技术实现步骤摘要】
服务器集群数据同步方法及装置
本申请属于互联网
，尤其涉及一种服务器集群数据同步方法及装置。
技术介绍
随着企业信息化建设的发展，越来越多的企业建立了众多的信息系统，以帮助企业进行内外部业务的处理和管理工作。但是随着信息系统的增加，各自孤立工作的信息系统造成了大量的冗余数据和业务人员的重复劳动。数据集成技术应运而生，而ETL(Extraction-Transformation-Loading,数据抽取-转换-加载)是数据集成技术中的重要部分。通过ETL能够将业务系统的数据经过抽取、清洗转换之后加载到数据仓库，以将企业中的分散、零乱、异构、标准不统一的数据整合到一起，从而实现数据同步的功能。目前，常用的ETL工具包括Kettle和DataX等工具。在本申请的专利技术人实践本申请的过程中发现目前相关技术至少存在以下缺陷：1)在大数据量下ETL能力较差，但是在大数据和物联网的背景下，中小企业数据量过亿也很常见，尤其无法支持实时ETL，导致时效性差。2)在大数据量场景下一般都要使用服务器集群模式，然而目前的ETL处理方案无法在集群中稳定运行。针对上述问题，目前业界暂无较佳的解决方案。
技术实现思路
本申请实施例提供一种服务器集群数据同步方法及装置，用于至少解决上述技术问题之一。第一方面，本申请实施例提供一种服务器集群数据同步方法，所述服务器集群包括多个服务器节点，所述方法由所述服务器节点执行，所述方法包括：根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中所述多种目标数据格式是所述至少一个异构数据源所适用的数据格式；针对所述源数据集中的各个源数据所对应的目标数据集，基于所述目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。第二方面，本申请实施例提供一种服务器集群数据同步装置，包括：源数据读取单元，被配置为根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；数据转换单元，被配置为针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中所述多种目标数据格式是所述至少一个异构数据源所适用的数据格式；数据输出单元，被配置为针对所述源数据集中的各个源数据所对应的目标数据集，基于所述目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。第三方面，本申请实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法的步骤。第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。本申请实施例的有益效果在于：在服务器节点中设置ETL配置数据，将服务器集群中的各个异构数据源的数据进行抽取、转换并加载，这里通过数据转换规则可以实现将源数据转换为具有各种目标数据格式的各个目标数据，并将目标数据输出至各个数据源。由此，通过在服务器节点中进行组件配置的方式灵活地实现了数据同步过程，具有较好的扩展性。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了根据本申请实施例的服务器集群数据同步方法的一示例的流程图；图2示出了根据本申请实施例的服务器集群数据同步方法的一示例的架构示意图；图3示出了根据本申请实施例的服务器集群数据同步方法的一示例的流程图；以及图4示出了根据本申请的实施例的服务器集群数据同步装置的一示例的方框图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。在本申请中，“模块”、“系统”等等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。最后，还需要说明的是，在本文中，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。在本文中，术语“元素”可以表示用来描述数据或文件的数据，例如元素可以是元数据、被封装的索引数据等。术语“对话流程架构”可以表示对话流程的结构，例如可以表示多个顺序连接的流程节点。此外，“节点类型”可以表示在流程中起到不同功能或位于不同的特定位置的节点，例如节点类型可以是对话节点、开始节点、函数节点、填槽节点和跳转节点等。图1示出了根据本申请实施例的服务器集群数据同步方法的一示例的流程图。需说明的是，服务器集群包括多个服务器节点，该方法可以是由服务器节点来执行的，例如各个服务器节点。如图1所示，在步骤110中，根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集。另外，ETL配置数据本文档来自技高网...

【技术保护点】
1.一种服务器集群数据同步方法，所述服务器集群包括多个服务器节点，所述方法由所述服务器节点执行，所述方法包括：/n根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；/n针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中所述多种目标数据格式是所述至少一个异构数据源所适用的数据格式；/n针对所述源数据集中的各个源数据所对应的目标数据集，基于所述目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。/n

【技术特征摘要】
1.一种服务器集群数据同步方法，所述服务器集群包括多个服务器节点，所述方法由所述服务器节点执行，所述方法包括：
根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；
针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中所述多种目标数据格式是所述至少一个异构数据源所适用的数据格式；
针对所述源数据集中的各个源数据所对应的目标数据集，基于所述目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。


2.如权利要求1所述的方法，其中，所述数据源读取配置信息包括数据同步模式，所述根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集包括：
当所述数据同步模式指示实时同步模式时，实时地从至少一个异构数据源中采集源数据集；
当所述数据同步模式指示离线同步模式时，根据设定时间周期从至少一个异构数据源中采集源数据集。


3.如权利要求1所述的方法，其中，所述至少一个异构数据源包括至少一个服务器节点中的异构数据源。


4.如权利要求1所述的方法，其中，所述针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集包括：
根据第一数据转换规则将所述源数据集中的各个源数据分别转换为具有设定数据结构格式的相应的中间数据；
针对各个所述相应的中间数据，根据各个第二数据转换规则将该相应的中间数据分别转换为具有多种目标数据格式的目标数据。
<...

【专利技术属性】
技术研发人员：赵伟，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32