一种多数据源之间单向数据同步方法技术

本发明专利技术公开了一种多数据源之间单向数据同步方法，涉及数据存储技术领域。通过对主从数据源数据映射管理；主从数据源单向数据同步配置管理，分布式数据传输任务调度管理，传输节点并行传输数据，以及对主从数据源数据变更采集，实现了数据同步，解决了现有分布式数据存储主从数据源之间的数据一致性和时效性问题。具有容错性强、操作简单和数据变更时序一致性的优点。

Unidirectional data synchronization method between multiple data sources

The invention discloses a one-way data synchronization method between a plurality of data sources. Based on the master-slave data source mapping management; master data source one-way data synchronization configuration management, distributed data transmission scheduling management, transmission nodes transmit data in parallel, and the change of master-slave data acquisition, realizing data synchronization, solve the existing distributed data storage from the data source data consistency and timeliness the problem. It has the advantages of strong fault tolerance, simple operation and consistency of data change timing.

【技术实现步骤摘要】

本专利技术涉及数据存储
，尤其涉及一种多数据源之间单向数据同步方法。
技术介绍
经过几十年的信息技术发展，数据库/文件系统已经在各行各业的信息化系统中扮演着重要的数据存储角色，特别是在互联网领域表现尤为突出。然而近几年基础数据体积呈几何级数增长，传统的单点数据存储已经无法满足实际需求，因此衍生了很多分布式数据存储机制和技术。然而如何保证分布式环境下多数据源，尤其是主从数据源之间的数据一致性和时效性成为当前分布式数据存储需要不断解决和完善的问题。在很多互联网企业，为了提高系统性能一般都采用了数据的读写分离机制，尤其是数据库数据和文件数据的读写分离，这些企业同样面临主(写数据)从(读数据)数据源的单向数据同步问题。虽然在数据库领域，无论是oracle数据库还是sqlserver数据库，都提供了相应的数据同步备份工具。然而，由于其软件特有的封闭性，造成很多企业无法灵活的、低成本的实现多数据库之间数据同步工作。目前，主要采用以下两种方法来解决上述问题：一种是基于触发器方法。该方法是在源数据库中对复制对象创建增删改操作的触发器，当对复制对象进行修改、插入和删除操作时，触发器将变化的数据序列提取出来。基于触发器方法能够实时捕获数据源的变化数据，效率高。但是，这种方法存在以下缺点：1、数据库触发器只能应用于数据库(该数据库必须支持触发器)，无法满足文件系统数据同步，无法判断文件系统数据是否发生变化，因而也无法实现文件系统数据同步；2、无法保证每个主数据源产生数据的时序性，由于数据库触发器只对该数据库负责，从而会造成数据同步时时序混乱。如果数据对时序敏感，将会面临数据同步一致性问题；3、很难应用于分布式环境，各触发器之间无法通信。另一种是基于API方法。该方法是对不支持触发器机制的小型数据库和非关系型数据库，也可以应用于文件系统数据。在应用程序和数据库/文件系统之间引入一类中间件，提供一系列API。中间件在完成应用程序对数据库/文件系统修改的同时，把复杂对象的变化序列记录下来，从而达到捕获数据变更的目的。但是，这种方法存在以下缺点：1、针对大数据量的同步，无法并行处理，数据同步调度不完善；2、无法保证每个主数据源数据产生时序性，由于数据库触发器只对该数据库负责，从而会造成数据同步时时序混乱。如果数据对时序敏感，将会面临数据同步一致性问题。
技术实现思路
本专利技术的目的在于提供一种多数据源之间单向数据同步方法，从而解决现有技术中存在的前述问题。为了实现上述目的，本专利技术采用的技术方案如下：一种多数据源之间单向数据同步方法，包括如下步骤：S1，配置主从数据源之间的数据映射关系；S2，配置系统参数；S3，通过分布式任务调度器，根据配置的所述系统参数创建数据传输节点，并监测每个数据传输节点网络状态；S4，根据所述数据映射关系，在主从数据源中创建一致的数据结构；S5，利用数据变更触发器检测数据变化，所述数据变更触发器包括数据变更API接口，用于为数据库或文件系统的数据变更提供一套统一的API接口，任何需要同步的数据项均需要调用该API口接进行记录；所述数据变更触发器采用数据项时序一致性机制：在变更数据前，为每一次变更生成时序唯一的标识，用于保证主从多数据源变更数据的时序一致性；所述数据变更触发器与分布式调度器进行通信连接，将具体数据同步传输任务交给具体的数据传输节点完成；S6，根据配置的所述数据传输节点，并行传输数据到数据同步器；S7，所述数据同步器接收到数据传输节点传输的数据后，通过查询数据关系映射以及数据标识，将数据写入到相应的从数据源。优选地，所述数据源包括：数据库和文件系统；所述数据映射关系包括：数据库用户映射关系、数据库表映射关系和数据库表字段映射关系，或，文件系统用户映射关系和文件系统数据存储目录映射关系。优选地，所述系统参数包括：主从数据源网络地址、数据变更触发器频率、并行传输策略和数据库类型。优选地，所述数据库类型包括主数据库类型和从数据库类型，所述主数据库类型和从数据库类型相同，所述数据库类型包括oracle数据库，mysql数据库和sqlserver数据库。优选地，S3具体为：根据配置的并行传输策略的参数创建数据传输节点，并监测每个数据传输节点网络状态。优选地，所述数据结构包括用户、表空间和文件系统目录。本专利技术的有益效果是：本专利技术实施例提供的多数据源之间单向数据同步方法，通过对主从数据源数据映射管理；主从数据源单向数据同步配置管理，分布式数据传输任务调度管理，传输节点并行传输数据，以及对主从数据源数据变更采集，实现了数据同步，解决了现有分布式数据存储主从数据源之间的数据一致性和时效性问题。具有以下优点：1)容错性强。当有部分传输节点发生异常终止传输后，分布式任务调度器能够监测传输节点状态，并重新创建数据传输节点继续传输发生异常的数据；2)操作简单。正确配置系统参数之后，无须人工参与，系统自动实现数据同步；3)数据变更时序一致性。通过全局数据变更标识，保证数据源数据变更的时序一致性。附图说明图1是本专利技术实施例提供的多数据源之间单向数据同步方法流程示意图；图2是本专利技术实施例提供的多数据源之间单向数据同步方法的实现过程示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例提供的一种在多数据源之间单向数据同步方法，包括如下步骤：S1，配置主从数据源之间的数据映射关系；S2，配置系统参数；S3，通过分布式任务调度器，根据配置的所述系统参数创建数据传输节点，并监测每个数据传输节点网络状态；S4，根据所述数据映射关系，在主从数据源中创建一致的数据结构；S5，利用数据变更触发器检测数据变化，所述数据变更触发器包括数据变更API接口，用于为数据库或文件系统的数据变更提供一套统一的API接口，任何需要同步的数据项均需要调用该API口接进行记录；所述数据变更触发器采用数据项时序一致性机制：在变更数据前，为每一次变更生成时序唯一的标识，用于保证主从多数据源变更数据的时序一致性；所述数据变更触发器与分布式调度器进行通信连接，将具体数据同步传输任务交给具体的数据传输节点完成；S6，根据配置的所述数据传输节点，并行传输数据到数据同步器；S7，所述数据同步器接收到数据传输节点传输的数据后，通过查询数据关系映射以及数据标识，将数据写入到相应的从数据源。上述方法中，主要包括：1、数据源：文件系统和数据库；2、数据变更触发器；3、数据映射管理；4、配置管理；5、分布式任务调度；6、数据传输节点；7、数据同步器。其实现过程可参见图2。其中，所述数据源可以包括：数据库和文件系统；所述数据映射关系包括：数据库用户映射关系、数据库表映射关系和数据库表字段映射关系，或，文件系统用户映射关系和文件系统数据存储目录映射关系。所述系统参数可以包括：主从数据源网络地址、数据变更触发器频率、并行传输策略和数据库类型。所述数据库类型可以包括主数据库类型和从数据库类型，所述主数据库类型和从数据库类型相同，所述数据库类型包括oracle数据库，mysql数据库和sqlserver数据库。S3具体可以为：根据配置的并本文档来自技高网...

【技术保护点】
一种多数据源之间单向数据同步方法，其特征在于，包括如下步骤：S1，配置主从数据源之间的数据映射关系；S2，配置系统参数；S3，通过分布式任务调度器，根据配置的所述系统参数创建数据传输节点，并监测每个数据传输节点网络状态；S4，根据所述数据映射关系，在主从数据源中创建一致的数据结构；S5，利用数据变更触发器检测数据变化，所述数据变更触发器包括数据变更API接口，用于为数据库或文件系统的数据变更提供一套统一的API接口，任何需要同步的数据项均需要调用该API口接进行记录；所述数据变更触发器采用数据项时序一致性机制：在变更数据前，为每一次变更生成时序唯一的标识，用于保证主从多数据源变更数据的时序一致性；所述数据变更触发器与分布式调度器进行通信连接，将具体数据同步传输任务交给具体的数据传输节点完成；S6，根据配置的所述数据传输节点，并行传输数据到数据同步器；S7，所述数据同步器接收到数据传输节点传输的数据后，通过查询数据关系映射以及数据标识，将数据写入到相应的从数据源。

【技术特征摘要】
1.一种多数据源之间单向数据同步方法，其特征在于，包括如下步骤：S1，配置主从数据源之间的数据映射关系；S2，配置系统参数；S3，通过分布式任务调度器，根据配置的所述系统参数创建数据传输节点，并监测每个数据传输节点网络状态；S4，根据所述数据映射关系，在主从数据源中创建一致的数据结构；S5，利用数据变更触发器检测数据变化，所述数据变更触发器包括数据变更API接口，用于为数据库或文件系统的数据变更提供一套统一的API接口，任何需要同步的数据项均需要调用该API口接进行记录；所述数据变更触发器采用数据项时序一致性机制：在变更数据前，为每一次变更生成时序唯一的标识，用于保证主从多数据源变更数据的时序一致性；所述数据变更触发器与分布式调度器进行通信连接，将具体数据同步传输任务交给具体的数据传输节点完成；S6，根据配置的所述数据传输节点，并行传输数据到数据同步器；S7，所述数据同步器接收到数据传输节点传输的数据后，通过查询数据关系映射以及数据标识，将数据写入到相应的从数据源。2...

【专利技术属性】
技术研发人员：宋航成，
申请(专利权)人：航天科工智慧产业发展有限公司，
类型：发明
国别省市：北京;11