多数据源数据同步方法技术

本申请公开了一种多数据源数据同步方法，涉及数据处理技术领域，方法包括：通过主日志服务器定时从各个从日志服务器中获取信息，将获取到的信息打包成小区块，从日志服务器中的信息为监听器监听并归档的信息；在各个区域中的小区块满足第一预设条件时，将各个小区块打包为大区块，并广播大区块的区块标识；第一预设条件包括所有区域的小区块已经过第一预设数量的区域数据中心认证，且在预设时间段内的各个小区块均存储在全球数据库中；在大区块满足第二预设条件时，将大区块存储至全球数据库，第二预设条件包括大区块经过第二预设数量的区域数据中心认证。多类型的数据区，保证了不同的应用可以根据自身的需求灵活选择不同类型的数据日志。类型的数据日志。类型的数据日志。

【技术实现步骤摘要】
多数据源数据同步方法


[0001]本专利技术涉及多数据源数据同步方法，属于数据处理


技术介绍

[0002]传统的分布式数据收集一般直接将数据送入kafka之类的可存储消息队列，当数据量巨大时，消息队列阻塞现象非常严重。

技术实现思路

[0003]本专利技术的目的在于提供一种多数据源数据同步方法，用于解决现有技术中存在的问题。
[0004]为达到上述目的，本专利技术提供如下技术方案：
[0005]根据第一方面，本专利技术实施例提供了一种多数据源数据同步方法，所述方法应用于多数据源数据同步系统中，所述多数据源数据同步系统包括全球数据系统和设置在每个区域的区域数据系统，所述全球数据系统包括全球消息队列服务器、全球数据服务器和全球数据库，所述区域数据系统包括区域消息队列服务器、区域数据中心、主日志服务器、至少两个从日志服务器、数据服务服务器和中心数据库，所述方法包括：
[0006]通过所述主日志服务器定时从各个从日志服务器中获取信息，将获取到的信息打包成小区块，所述从日志服务器中的信息为监听器监听并归档的信息；
[0007]在各个区域中的小区块满足第一预设条件时，将各个小区块打包为大区块，并广播大区块的区块标识；所述第一预设条件包括所有区域的小区块已经过第一预设数量的区域数据中心认证，且在预设时间段内的各个小区块均存储在所述全球数据库中；
[0008]在大区块满足第二预设条件时，将所述大区块存储至所述全球数据库，所述第二预设条件包括所述大区块经过第二预设数量的区域数据中心认证。
[0009]可选的，所述方法还包括：
[0010]所述监听器监听数据表的变化，并将监听到的变化广播至区域消息队列服务器；
[0011]从日志服务器消费所述区域消息队列服务器中的消息，并按时间段归档在本地。
[0012]可选的，所述监听器以数据源产生时间为标准时间存储。
[0013]可选的，所述方法还包括：
[0014]在所述主日志服务器与所述从日志服务器断开时，从所述至少两个从日志服务器中选择目标日志服务器，并将选择的所述目标日志服务器确定为新的主日志服务器，并在数据不完整时，重新进行数据归档。
[0015]可选的，所述主日志服务器与所述从日志服务器通过心跳信息进行连接确认。
[0016]可选的，所述方法还包括：
[0017]在所述主日志服务器打包小区块之后，判断小区块中的数据的完整性；
[0018]在数据完整时，所述主日志服务器同步所述小区块至各个从日志服务器，所述从日志服务器接收到同步数据之后，更新本地存储的数据；且所述主日志服务器在所述全球
消息队列服务器中广播所述小区块的区块标识。
[0019]可选的，所述方法还包括：在数据不完整时，重新从所述监听器中获取数据信息。
[0020]可选的，所述方法还包括：
[0021]所述区域数据中心消费其他区域数据中心的广播信息，比对自身对应的小区块的区块标识，若一致，则签名后在所述全球消息队列服务器中广播。
[0022]可选的，所述方法还包括：
[0023]若区域数据中心检测到所述小区块仅经过部分区域数据中心认证，则将所述小区块存储至所述区域数据库。
[0024]可选的，所述方法还包括：
[0025]接收快照指令，所述快照指令用于请求生成预设时间点的数据快照；
[0026]在接收到所述快照指令之后，生成所述预设时间点的数据快照。
[0027]通过所述主日志服务器定时从各个从日志服务器中获取信息，将获取到的信息打包成小区块，所述从日志服务器中的信息为监听器监听并归档的信息；在各个区域中的小区块满足第一预设条件时，将各个小区块打包为大区块，并广播大区块的区块标识；所述第一预设条件包括所有区域的小区块已经过第一预设数量的区域数据中心认证，且在预设时间段内的各个小区块均存储在所述全球数据库中；在大区块满足第二预设条件时，将所述大区块存储至所述全球数据库，所述第二预设条件包括所述大区块经过第二预设数量的区域数据中心认证，实现了数据分区，提供了更灵活更方便的数据获取方式，解决了现有技术中会出现消息队列堵塞的问题。并且上述方法中通过大区块嵌套小区块，数据分区存储使得数据具有不可更改及可靠性高的效果。多类型的数据区，保证了不同的应用可以根据自身的需求灵活选择不同类型的数据日志，例如，需要本地最新的数据可以直接从区域数据中心获取最新数据区数据。而需要全局数据的例如统计，看板等业务，可以获取全局数据区的延迟数据。
[0028]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。
附图说明
[0029]图1为本专利技术一个实施例提供的多数据源数据同步系统的拓扑结构图；
[0030]图2为本专利技术一个实施例提供的多数据源数据同步方法的方法流程图；
[0031]图3至图5为本专利技术一个实施例提供的数据收集的收集流程图；
[0032]图6为本专利技术一个实施例提供的数据分区的示意图；
[0033]图7为本专利技术一个实施例提供的各个区域进行数据归档的示意图；
[0034]图8为本专利技术一个实施例提供的日志区块链的示意图；
[0035]图9为本专利技术一个实施例提供的数据快照的一种可能的示意图。
具体实施方式
[0036]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0038]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。
[0039]此外，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0040]请参考图1，其示出了本申请各个实施例所涉及的多数据源数据同步系统的拓扑结构图，如图1所示，所述多数据源数据同步系统包括：全球数据系统和设置在每个区域的区域数据系统。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多数据源数据同步方法，其特征在于，所述方法应用于多数据源数据同步系统中，所述多数据源数据同步系统包括全球数据系统和设置在每个区域的区域数据系统，所述全球数据系统包括全球消息队列服务器、全球数据服务器和全球数据库，所述区域数据系统包括区域消息队列服务器、区域数据中心、主日志服务器、至少两个从日志服务器、数据服务服务器和中心数据库，所述方法包括：通过所述主日志服务器定时从各个从日志服务器中获取信息，将获取到的信息打包成小区块，所述从日志服务器中的信息为监听器监听并归档的信息；在各个区域中的小区块满足第一预设条件时，将各个小区块打包为大区块，并广播大区块的区块标识；所述第一预设条件包括所有区域的小区块已经过第一预设数量的区域数据中心认证，且在预设时间段内的各个小区块均存储在所述全球数据库中；在大区块满足第二预设条件时，将所述大区块存储至所述全球数据库，所述第二预设条件包括所述大区块经过第二预设数量的区域数据中心认证。2.根据权利要求1所述的多数据源数据同步方法，其特征在于，所述方法还包括：所述监听器监听数据表的变化，并将监听到的变化广播至区域消息队列服务器；从日志服务器消费所述区域消息队列服务器中的消息，并按时间段归档在本地。3.根据权利要求2所述的多数据源数据同步方法，其特征在于，所述监听器以数据源产生时间为标准时间存储。4.根据权利要求2所述的多数据源数据同步方法，其特征在于，所述方法还包括：在所述主日志服务器与所述从日志服务器断开时，从所述至少两个从日...

【专利技术属性】
技术研发人员：万千，
申请(专利权)人：大健云仓科技苏州有限公司，
类型：发明
国别省市：