基于数据库为平台的数据同步系统及方法技术方案

本发明专利技术公开了基于数据库为平台的数据同步系统及方法，包括子服务器、同步文件生产系统、同步文件接收系统和目标服务器；所述子服务器内包括源数据库，且源数据库设置有多组；所述同步文件生产系统，用于获取所述子服务器内的同步数据，根据所述同步数据生成结构化查询语言SQL数据文件；所述同步文件接收系统，用于接收同步文件生产系统产生的同步数据，并将同步数据传输到目标服务器中，本发明专利技术本发明专利技术通过设置子服务器、同步文件生产系统、同步文件接收系统和目标服务器，利用同步文件生产系统和同步文件接收系统将子服务器内产生或者改变的数据及时的传递到目标服务器中，以便随时更新目标服务器内的内容。

Data synchronization system and method based on Database

【技术实现步骤摘要】
基于数据库为平台的数据同步系统及方法
本专利技术涉及数据传输
，具体为基于数据库为平台的数据同步系统及方法。
技术介绍
随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术包括：大规模并行处理数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统等。随着科技的快速发展，现有的数据同步系统中存在不止一种数据库平台，每个数据库平台中的数据在不断的更新和增加，如果不及时进行数据同步，会产生信息误差，现有的数据同步系统在进行数据同步时，容易产生数据传输错误，使得数据库平台上的信息不一致，为此，我们提出基于数据库为平台的数据同步系统及方法。
技术实现思路
本专利技术的目的在于提供基于数据库为平台的数据同步系统及方法，通过设置子服务器、同步文件生产系统、同步文件接收系统和目标服务器，利用同步文件生产系统和同步文件接收系统将子服务器内产生或者改变的数据及时的传递到目标服务器中，以便随时更新目标服务器内的内容。为实现上述目的，本专利技术提供如下技术方案：基于数据库为平台的数据同步系统及方法，包括子服务器、同步文件生产系统、同步文件接收系统和目标服务器；所述子服务器内包括源数据库，且源数据库设置有多组；所述同步文件生产系统，用于获取所述子服务器内的同步数据，根据所述同步数据生成结构化查询语言SQL数据文件；所述同步文件接收系统，用于接收同步文件生产系统产生的同步数据，并将同步数据传输到目标服务器中，所述同步文件接收系统包括接收单元、审判单元和处理发送单元；所述目标服务器，用于接收同步文件接收系统内经过处理后的同步数据，并进行存储更新。优选的，所述同步文件接收系统，还用于对接收的同步数据进行一致性判断。优选的，所述同步文件接收系统的接收单元，用于接收同步文件生产系统传输的同步数据。优选的，所述同步文件接收系统的审判单元，用于判断SQL数据文件与所述接收单元接收到的SQL数据文件是否一致。优选的，所述处理发送单元，用于将同步数据SQL数据文件发送到目标服务器中。优选的，所述审判单元内设有警告模块。基于数据库为平台的数据同步系统的方法，步骤如下：S1、所述子服务器内的多组源数据库中的一组源数据库产生新数据或者数据发生变化时，同步文件生产系统将新的数据进行同步复制；S2、同步文件生产系统对同步复制的数据对解析，解析结束后对同步复制的数据过滤、映射、转换生成可执行SQL数据文件；S3、将经过转换生成的SQL数据文件发送到同步文件接收系统中；S4、同步文件接收系统内的接收单元接收同步文件生产系统的SQL数据文件；S5、同步文件接收系统内文件接收完成后，审判单元对接收单元接收的SQL数据文件进行判断，判断SQL数据文件与接收单元接收到的SQL数据文件是否一致；S6、当结果一致时，将该组SQL数据文件通过处理发送单元发送到目标服务器内；S7、当结果不一致时，审判单元的警告模块产生警告信息，并将该警告信息传输回同步文件生产系统，继续执行步骤S1、S2、S3、S4和S5，直到结果一致。本专利技术提供了基于数据库为平台的数据同步系统及方法，具备以下有益效果：（1）本专利技术通过设置子服务器、同步文件生产系统、同步文件接收系统和目标服务器，利用同步文件生产系统和同步文件接收系统将子服务器内产生或者改变的数据及时的传递到目标服务器中，以便随时更新目标服务器内的内容。（2）本专利技术的数据同步系统的方法，通过对接收到的同步数据进行审查对比，当对比校验通过后，如果校验不合格，会重复执行传输步骤，直至对比校验结果通过，从而保证数据的实时更新，也保证更新数据的准确性。附图说明图1为本专利技术的系统结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。实施例1：如图1所示，本专利技术提供一种技术方案：基于数据库为平台的数据同步系统及方法，包括子服务器、同步文件生产系统、同步文件接收系统和目标服务器；所述子服务器内包括源数据库，且源数据库设置有多组；所述同步文件生产系统，用于获取所述子服务器内的同步数据，根据所述同步数据生成结构化查询语言SQL数据文件；所述同步文件接收系统，用于接收同步文件生产系统产生的同步数据，并将同步数据传输到目标服务器中，所述同步文件接收系统包括接收单元、审判单元和处理发送单元；所述目标服务器，用于接收同步文件接收系统内经过处理后的同步数据，并进行存储更新。优选的，所述同步文件接收系统，还用于对接收的同步数据进行一致性判断。优选的，所述同步文件接收系统的接收单元，用于接收同步文件生产系统传输的同步数据。优选的，所述同步文件接收系统的审判单元，用于判断SQL数据文件与所述接收单元接收到的SQL数据文件是否一致。优选的，所述处理发送单元，用于将同步数据SQL数据文件发送到目标服务器中。优选的，所述审判单元内设有警告模块。本专利技术通过设置子服务器、同步文件生产系统、同步文件接收系统和目标服务器，利用同步文件生产系统和同步文件接收系统将子服务器内产生或者改变的数据及时的传递到目标服务器中，以便随时更新目标服务器内的内容实施例2：S1、同步文件生产系统检测到子服务器内的某个源数据库存入新的数据时，将该组新数据进行同步复制；S2、同步复制的新数据进入同步文件生产系统后，同步文件生产系统对同步复制的数据对解析，解析结束后对同步复制的同步数据进行过滤、映射、转换，最后生成可执行SQL数据文件；S3、将经过转换生成的SQL数据文件发送到同步文件接收系统中；S4、同步文件接收系统内的接收单元接收同步文件生产系统的SQL数据文件；S5、同步文件接收系统内文件接收完成后，审判单元立即对接收单元接收的SQL数据文件进行判断，判断接收的SQL数据文件的验证信息与同步文件生产系统内SQL数据文件的验证信息是否一致；S6、当结果一致时，将该组SQL数据文件通过处理发送单元发送到目标服务器内；S7、当结果不一致时，审判单元的警告模块产生警告信息，并将该警告信息传输回同步文件生产系统；返回步骤S1中，续执行步骤S2、S3、S4和S5，直到验证结果一致。实施例3：S1、同步文件生产系统检测到子服务器内的某个源数据库存发生数据更新时，将该组新数据进行同步复制；S2、同步复制的新数据进入同步文件生产系统后，同步文件生产系统对同步复制的数据对解析，解析结束后对同步复制的同步数据进行过滤、映射、转换，最后生成可执行SQL数据文件；S3、将经过转换生成的SQL数据文件发送到同步文件接收系统中；S4、同步文件接收系统内的接收单元接收同本文档来自技高网...

【技术保护点】
1.基于数据库为平台的数据同步系统及方法，其特征在于，包括子服务器、同步文件生产系统、同步文件接收系统和目标服务器；/n所述子服务器内包括源数据库，且源数据库设置有多组；/n所述同步文件生产系统，用于获取所述子服务器内的同步数据，根据所 述同步数据生成结构化查询语言SQL数据文件；/n所述同步文件接收系统，用于接收同步文件生产系统产生的同步数据，并将同步数据传输到目标服务器中，所述同步文件接收系统包括接收单元、审判单元和处理发送单元；/n所述目标服务器，用于接收同步文件接收系统内经过处理后的同步数据，并进行存储更新。/n

【技术特征摘要】
1.基于数据库为平台的数据同步系统及方法，其特征在于，包括子服务器、同步文件生产系统、同步文件接收系统和目标服务器；
所述子服务器内包括源数据库，且源数据库设置有多组；
所述同步文件生产系统，用于获取所述子服务器内的同步数据，根据所述同步数据生成结构化查询语言SQL数据文件；
所述同步文件接收系统，用于接收同步文件生产系统产生的同步数据，并将同步数据传输到目标服务器中，所述同步文件接收系统包括接收单元、审判单元和处理发送单元；
所述目标服务器，用于接收同步文件接收系统内经过处理后的同步数据，并进行存储更新。


2.根据权利要求1所述的基于数据库为平台的数据同步系统及方法，其特征在于：所述同步文件接收系统，还用于对接收的同步数据进行一致性判断。


3.根据权利要求1所述的基于数据库为平台的数据同步系统及方法，其特征在于：所述同步文件接收系统的接收单元，用于接收同步文件生产系统传输的同步数据。


4.根据权利要求1所述的基于数据库为平台的数据同步系统及方法，其特征在于：所述同步文件接收系统的审判单元，用于判断SQL数据文件与所述接收单元接收到的SQL数据文件是否一致。


5.根据权利要求1所述的基于数据库为平台的数据...

【专利技术属性】
技术研发人员：关玉欣，安兴亚，
申请(专利权)人：内蒙古工业大学，
类型：发明
国别省市：内蒙;15