服务器集群数据同步方法及装置制造方法及图纸

本发明专利技术公开一种服务器集群数据同步方法及装置。在该方法中，服务器节点根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；针对源数据集中的各个源数据，根据数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中多种目标数据格式包括至少一个异构数据源所适用的数据格式；针对源数据集中的各个源数据所对应的目标数据集，基于目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。由此，通过在服务器节点中进行组件配置的方式灵活地实现了数据同步过程，具有较好的扩展性。

Data synchronization method and device of server cluster

【技术实现步骤摘要】
服务器集群数据同步方法及装置
本申请属于互联网
，尤其涉及一种服务器集群数据同步方法及装置。
技术介绍
随着企业信息化建设的发展，越来越多的企业建立了众多的信息系统，以帮助企业进行内外部业务的处理和管理工作。但是随着信息系统的增加，各自孤立工作的信息系统造成了大量的冗余数据和业务人员的重复劳动。数据集成技术应运而生，而ETL(Extraction-Transformation-Loading,数据抽取-转换-加载)是数据集成技术中的重要部分。通过ETL能够将业务系统的数据经过抽取、清洗转换之后加载到数据仓库，以将企业中的分散、零乱、异构、标准不统一的数据整合到一起，从而实现数据同步的功能。目前，常用的ETL工具包括Kettle和DataX等工具。在本申请的专利技术人实践本申请的过程中发现目前相关技术至少存在以下缺陷：1)在大数据量下ETL能力较差，但是在大数据和物联网的背景下，中小企业数据量过亿也很常见，尤其无法支持实时ETL，导致时效性差。2)在大数据量场景下一般都要使用服务器集群模式，然而目前的ETL处理方案无法在集群本文档来自技高网...

【技术保护点】
1.一种服务器集群数据同步方法，所述服务器集群包括多个服务器节点，所述方法由所述服务器节点执行，所述方法包括：/n根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；/n针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中所述多种目标数据格式是所述至少一个异构数据源所适用的数据格式；/n针对所述源数据集中的各个源数据所对应的目标数据集，基于所述目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。/n

【技术特征摘要】
1.一种服务器集群数据同步方法，所述服务器集群包括多个服务器节点，所述方法由所述服务器节点执行，所述方法包括：
根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；
针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中所述多种目标数据格式是所述至少一个异构数据源所适用的数据格式；
针对所述源数据集中的各个源数据所对应的目标数据集，基于所述目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。


2.如权利要求1所述的方法，其中，所述数据源读取配置信息包括数据同步模式，所述根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集包括：
当所述数据同步模式指示实时同步模式时，实时地从至少一个异构数据源中采集源数据集；
当所述数据同步模式指示离线同步模式时，根据设定时间周期从至少一个异构数据源中采集源数据集。


3.如权利要求1所述的方法，其中，所述至少一个异构数据源包括至少一个服务器节点中的异构数据源。


4.如权利要求1所述的方法，其中，所述针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集包括：
根据第一数据转换规则将所述源数据集中的各个源数据分别转换为具有设定数据结构格式的相应的中间数据；
针对各个所述相应的中间数据，根据各个第二数据转换规则将该相应的中间数据分别转换为具有多种目标数据格式的目标数据。
<...

【专利技术属性】
技术研发人员：赵伟，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32