基于HTTP协议高速度、高稳定以及断点续传的数据同步方法技术

本发明专利技术提供一种基于HTTP协议高速度、高稳定以及断点续传的数据同步方法，本方法主要包括中心系统数据同步模块和子节点数据同步模块。中心系统的数据录入管理模块用于对更新的业务数据进行处理，处理存储后调用中心系统的数据更新通知模块，通知模块通过消息队列链路向子节点的数据更新监听模块发送通知，数据更新监听模块再调用子节点的数据同步请求模块来向中心系统的同步数据下载模块发起请求，获取到请求的版本数据，再循环请求处理直到子节点此种业务数据的最大版本号与中心系统最大版本号一致后停止数据同步，等待下一次中心系统的更新通知或者到达定时周期再向中心系统的同步数据下载模块请求新的版本数据。此方法组成简单，成本较低，能够与现有多级平台结合，保证网络不稳定情况下一中心系统与多子节点之间也能够快速高效稳定的进行增量数据同步。

Data synchronization method based on HTTP protocol with high speed, high stability and breakpoint continuation

【技术实现步骤摘要】
基于HTTP协议高速度、高稳定以及断点续传的数据同步方法
本专利技术属于数据分析应用领域，具体涉及一种针对实时业务数据能够稳定快速实时下发的方法。
技术介绍
随着信息技术和网络技术的飞速发展,多级系统中数据库技术得到广泛的应用。同一系统内部可以利用数据库自带的同步机制实现多服务器间数据的热备份,但是对于一个中心与多个子节点的数据同步问题却仍然凸显。目前在该领域,人们提出了许多方法来维护数据的一致性,但都有一定的局限性。多级系统间的数据同步主要存在以下5个问题:1)中心系统对于数据同步的时效性要求比较高,其中中心系统修改的数据应尽快地反映至其他所有子节点中。2)中心系统随时可能增加或者修改大量业务数据,但是仍然要保证其他子节点实时快速的进行同步并且要保证数据一致性，不出现数据混乱的情况。3)多级系统之间存在网络不稳定情况，在数据同步过程中网络随时断开，如何保证网络不稳定情况不影响数据同步，是否能够支持断点续传以避免出现异常时又从头开始同步一遍业务数据。4)随时都有新的子节点接入，同时要保证和中心系统无缝接入，快速完整地将中心系统所有业务数据同步下来？5)中心系统的数据量较大(百万甚至千万级)，子节点性能不足，如何快速高效的将中心系统的数据同步到子节点中？
技术实现思路
针对上述问题，本专利技术提供一种基于HTTP协议高速度、高稳定以及断点续传的数据同步方法。该系统组成简单、成本低，且可以通过标准HTTP协议与现有多级平台的业务数据融合，达到中心系统能够快速、稳定地将数据同步到各个子节点中。本专利技术采用的技术方案为：一种基于HTTP协议高速度、高稳定以及断点续传的数据同步方法，包括以下步骤：(1)中心系统数据同步模块批量采集基础业务数据，并存储到本地数据库中，存储完成后将更新通知实时推送给当前在线的子节点数据同步模块；(2)子节点数据同步模块初始启动时，自动向中心系统数据同步模块进行数据更新请求；启动后实时监控中心系统数据同步模块的更新通知，接收到更新通知后，向中心系统数据同步模块进行更新数据请求并存储到本地数据库中；当与中心系统数据同步模块断开连接后启动定时任务监测与中心系统的连接状态，当监测到与中心系统数据同步模块连接恢复后立刻向中心系统数据同步模块请求更新数据。其中，步骤(1)具体包括以下步骤：(101)中心系统数据同步模块的数据录入管理模块批量采集基础业务数据，进行治理和版本分割后存储到本地数据库中；(102)数据存储完成后，数据录入管理模块通过中心系统数据同步模块的数据更新通知模块，将更新通知实时地推送给当前在线的子节点数据同步模块的数据监听更新模块。其中，步骤(2)子节点数据同步模块接收到更新通知后，向中心系统数据同步模块进行更新数据请求并存储到本地数据库中，具体包括以下步骤：(201)子节点数据同步模块的数据监听更新模块接收到更新通知后，调用数据同步请求模块向中心系统数据同步模块的同步数据下载模块发起新版本数据请求；(202)同步数据下载模块检查请求的版本号是否合法，如果版本不合法，则向数据同步请求模块返回当前最高版本信息，如果版本合法，则向数据同步请求模块返回请求数据信息；(203)数据同步请求模块获取返回的数据信息后，判断本地最大版本是否小于中心系统最大版本，如果是，则将获取到的数据集存储到本地数据库中，返回步骤(201)；否则，将获取到的数据集存储到本地数据库中，数据同步请求停止。其中，步骤(101)具体为：中心系统数据同步模块的数据录入管理模块批量采集基础业务数据，并进行版本分割，如果采集的基础业务数据小于等于设定阈值，则将基础业务数据和增量版本号存储到本地数据库中；如果采集的基础业务数据大于阈值，则进行版本分隔，先将设定阈值的基础业务数据和增量版本号存储到本地数据库中，然后再继续存储超出设定阈值的基础业务数据，直到采集的所有基础业务数据和增量版本号全部存储完成。其中，中心系统数据同步模块与子节点数据同步模块的数据库设计相同，均包括数据同步通用字段以及业务数据当前同步最高版本表，所述的通用字段是粗略有序的。本专利技术相比现有技术的优点为：本专利技术一种基于HTTP协议高速度、高稳定以及断点续传的数据同步方法，该方法组成简单，成本较低，能够与现有多级平台结合，保证网络不稳定情况下一中心系统与多子节点之间也能够快速高效稳定的进行增量数据同步。附图说明图1是本专利技术的基于HTTP协议高速度、高稳定以及断点续传的数据同步方法的主要结构示意图；图2是本专利技术的基于HTTP协议高速度、高稳定以及断点续传的数据同步方法的详细结构示意图；图3是本专利技术的基于HTTP协议高速度、高稳定以及断点续传的数据同步方法的流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清晰明白，以下结合附图及实施例，对本专利技术进一步仔细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。一种基于HTTP协议高速度、高稳定以及断点续传的数据同步方法，该方法包括中心系统数据同步模块、子节点数据同步模块以及用于实时通知的消息队列，如图1所示。中心系统数据同步模块作为同步数据的源头，管理着各种基础业务数据的接入采集和下发。能够将每种更新的基础业务数据进行版本处理后存储到数据库中，然后向子节点数据同步模块发送数据更新通知，保证子节点实时的进行数据同步，同时还为子节点数据同步模块提供了基于版本号进行基础业务数据下载的功能，随时可以为子节点提供数据支撑。其中，所述的基础业务数据的表结构设计如下，针对需要下发的基础业务数据，数据库表结构需要增加数据同步通用字段以及业务数据当前最高版本表，此种表结构设计为数据录入管理模块提供数据治理条件，同时为同步数据下载模块提供数据支撑。中心系统数据同步模块包括数据录入管理模块、数据更新通知模块和同步数据下载模块，如图2所示。数据录入管理模块用于对基础业务数据的治理、存储。对于录入的业务数据先进行处理，然后进行版本分割，直到将此批数据都分割存储完成，最后再与数据更新通知模块进行交互，发送更新通知。数据更新通知模块用于接收数据录入管理模块的更新消息，再通过消息队列的方式发布更新的数据信息，消息队列则实时将通知消息推送到每一个当前在线的订阅者(子节点的数据更新监听模块)，后续数据更新监听模块再通过数据同步请求模块发起更新数据请求。同步数据下载模块用于为子节点的数据同步请求模块提供数据支撑，同步数据下载模块会对请求版本号合法性进行检测，如果版本不合法则返回当前最高版本信息，如果版本合法则首先从缓存数据进行命中，如果不命中则通过物理数据库命中进行请求数据信息返回，物理数据命中后会写入缓存数据，以便于后续再次请求此数据时快速命中返回。子节点的数据同步模块用于从中心系统数据同步模块实时同步更新的数据，子节点可能包含N个，每个子节点都能够实时本文档来自技高网...

【技术保护点】
1.一种基于HTTP协议高速度、高稳定以及断点续传的数据同步方法，其特征在于，包括以下步骤：/n(1)中心系统数据同步模块批量采集基础业务数据，并存储到本地数据库中，存储完成后将更新通知实时推送给当前在线的子节点数据同步模块；/n(2)子节点数据同步模块初始启动时，自动向中心系统数据同步模块进行数据更新请求；启动后实时监控中心系统数据同步模块的更新通知，接收到更新通知后，向中心系统数据同步模块进行更新数据请求并存储到本地数据库中；当与中心系统数据同步模块断开连接后启动定时任务监测与中心系统的连接状态，当监测到与中心系统数据同步模块连接恢复后立刻向中心系统数据同步模块请求更新数据。/n

【技术特征摘要】
1.一种基于HTTP协议高速度、高稳定以及断点续传的数据同步方法，其特征在于，包括以下步骤：
(1)中心系统数据同步模块批量采集基础业务数据，并存储到本地数据库中，存储完成后将更新通知实时推送给当前在线的子节点数据同步模块；
(2)子节点数据同步模块初始启动时，自动向中心系统数据同步模块进行数据更新请求；启动后实时监控中心系统数据同步模块的更新通知，接收到更新通知后，向中心系统数据同步模块进行更新数据请求并存储到本地数据库中；当与中心系统数据同步模块断开连接后启动定时任务监测与中心系统的连接状态，当监测到与中心系统数据同步模块连接恢复后立刻向中心系统数据同步模块请求更新数据。


2.根据权利要求1所述的基于HTTP协议高速度、高稳定以及断点续传的数据同步方法，其特征在于，步骤(1)具体包括以下步骤：
(101)中心系统数据同步模块的数据录入管理模块批量采集基础业务数据，进行治理和版本分割后存储到本地数据库中；
(102)数据存储完成后，数据录入管理模块通过中心系统数据同步模块的数据更新通知模块，将更新通知实时地推送给当前在线的子节点数据同步模块的数据监听更新模块。


3.根据权利要求1所述的基于HTTP协议高速度、高稳定以及断点续传的数据同步方法，其特征在于，步骤(2)子节点数据同步模块接收到更新通知后，向中心系统数据同步模块进行更新数据请求并存储到本地数据库中，具体包括以下步骤：
(201)子节点数...

【专利技术属性】
技术研发人员：詹克通，侯位昭，康志杰，郑岩松，张永超，张海岩，魏北琛，冯凯，朱子轩，陈晨，李智慧，陈少亭，耿子腾，王郑合，吕琛靖，夏鹏，霍彦宇，祝胜强，周冰，王虎，
申请(专利权)人：河北远东通信系统工程有限公司，
类型：发明
国别省市：河北;13