支持断点续传的数据同步方法、系统、设备及存储介质技术方案

本发明专利技术涉及一种支持断点续传的数据同步方法、系统、设备及存储介质，其技术方案要点是：获取源数据库的日志文件数据；根据日志文件数据建表；根据表中数据的数据特征在表的数据中写入对应的数据节点；将写入有数据节点的数据传输给目标数据库，在将写入有数据节点的数据传输给目标数据库的过程中传输数据节点的情况下，判断是否接收有目标数据库反馈的接收有该数据节点的信息，在有接收目标数据库反馈的该信息的情况下，存储该数据节点的位置信息和对应的存储时间；本申请具有在断点后，可快速对未传输成功的数据重新进行传输，避免了对之前传输过的数据重新进行同步，大大提高了数据同步的效率的效果。数据同步的效率的效果。数据同步的效率的效果。

【技术实现步骤摘要】
支持断点续传的数据同步方法、系统、设备及存储介质


[0001]本专利技术涉及数据传输
，更具体地说，它涉及一种支持断点续传的数据同步方法、系统、设备及存储介质。

技术介绍

[0002]现有的大数据平台通常采用离线数据同步,而各业务系统中存在需要历史数据重算的场景且历史数据量巨大，若仍采用离线的方式将历史数据重新同步一次会占有大量的计算资源且难以界定数据同步的范围，导致数据仓库中保存的历史数据与实际的业务数据存在一定的误差，其数据准确性无法支撑某些场景下的业务需求，另外由于业务或大屏等其他对实时性要求较高的需求，对平台提出了数据实时性的要求。

技术实现思路

[0003]针对现有技术存在的不足，本专利技术的目的在于提供一种支持断点续传的数据同步方法、系统、设备及存储介质，具有在断点后，可快速对未传输成功的数据重新进行传输，避免了对之前传输过的数据重新进行同步的功能优点。
[0004]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0005]一种支持断点续传的数据同步方法，包括：
[0006]获取源数据库的日志文件数据；
[0007]根据所述日志文件数据建表；
[0008]根据所述表中数据的数据特征在所述表的数据中写入对应的数据节点；
[0009]将写入有数据节点的数据传输给目标数据库，在将写入有数据节点的数据传输给目标数据库的过程中传输数据节点的情况下，判断是否接收有所述目标数据库反馈的接收有该数据节点的信息，在有接收所述目标数据库反馈的该信息的情况下，存储该数据节点的位置信息和对应的存储时间；
[0010]接收断点续传请求，确定所述断点续传请求的请求时间；
[0011]根据所述请求时间确定与其时间点最近的存储时间对应的目标数据节点；
[0012]根据所述目标数据节点和写入有数据节点的数据确定未传输给所述目标数据库的数据，并将其继续传输给目标数据库。
[0013]可选的，所述数据特征包括：数据波峰和数据波谷；所述根据所述表中数据的数据特征在所述表的数据中写入对应的数据节点，包括：
[0014]判断所述表中的数据是否有数据波峰，在有数据波峰的情况下，在该数据波峰处写入对应的数据节点；
[0015]判断所述表中的数据是否有数据波谷，在有数据波谷的情况下，在该数据波谷处写入对应的数据节点。
[0016]可选的，所述数据特征还包括：数据消耗时间；所述数据消耗时间根据实时网络传输速度确定；所述根据所述表中数据的数据特征在所述表的数据中写入对应的数据节点，
还包括：
[0017]判断所述表中相邻数据节点之间的数据所需的数据消耗时间是否大于预设时间阈值，在相邻数据节点之间的数据所需的数据消耗时间大于预设时间阈值的情况下，根据预设时间阈值和实时网络传输速度计算得到数据长度，在相邻数据节点中的前一数据节点处加上所述数据长度得到数据写入点，在数据写入点处写入对应的数据节点。
[0018]可选的，所述根据所述日志文件数据建表，包括：
[0019]解析所述日志文件数据得到数据库名、表名、操作类型、主键和所有字段值；
[0020]根据所述数据库名、表名、操作类型、主键和所有字段值进行建表。
[0021]可选的，在所述根据所述日志文件数据建表之后，还包括：
[0022]根据所述主键将所述表中的数据划分为多个数据行；
[0023]根据所述预设配置将各个数据行划分为多个数据块。
[0024]可选的，所述将写入有数据节点的数据传输给目标数据库，包括：
[0025]根据时间戳依次读取各个所述数据行中的所有数据块，其中，所述时间戳从日志文件数据中获取；
[0026]在读取到所述数据块的前端的情况下，在该数据块的前端标记第一binlog位置，其中，所述第一binlog位置为从日志文件数据中获取的数据块前端的位置信息；
[0027]在读取到所述数据块的后端的情况下，在该数据块的后端标记第二binlog位置，其中，所述第二binlog位置为从日志文件数据中获取的数据块后端的位置信息；
[0028]将标记有所述第一binlog位置和第二binlog位置的数据块传输给目标数据端。
[0029]可选的，还包括：
[0030]在将写入有数据节点的数据传输目标数据库的过程中所述源数据库有数据变化的情况下，根据变化的数据对应的主键确定该变化的数据对应的数据行，将该变化的数据的位置与该数据行的所有第一binlog位置和所有第二binlog位置进行比较确定该变化的数据对应的数据块，根据该变化的数据对应的主键对与其对应的数据块的数据进行变化。
[0031]一种支持断点续传的数据同步系统，包括：
[0032]数据获取模块，用于获取源数据库的日志文件数据；
[0033]数据建表模块，用于根据所述日志文件数据建表；
[0034]节点写入模块，用于根据所述表中数据的数据特征在所述表的数据中写入对应的数据节点；
[0035]传输判断模块，用于将写入有数据节点的数据传输给目标数据库，在将写入有数据节点的数据传输给目标数据库的过程中传输数据节点的情况下，判断是否接收有所述目标数据库反馈的接收有该数据节点的信息，在有接收所述目标数据库反馈的该信息的情况下，存储该数据节点的位置信息和对应的存储时间；
[0036]接收请求模块，用于接收断点续传请求，确定所述断点续传请求的请求时间；
[0037]节点确定模块，用于根据所述请求时间确定与其时间点最近的存储时间对应的目标数据节点；
[0038]数据续传模块，用于根据所述目标数据节点和写入有数据节点的数据确定未传输给所述目标数据库的数据，并将其继续传输给目标数据库。
[0039]一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，所述处理
器执行所述计算机程序时实现上述的方法的步骤。
[0040]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
[0041]综上所述，本专利技术具有以下有益效果：在断点后，可快速对未传输成功的数据重新进行传输，避免了对之前传输过的数据重新进行同步，大大提高了数据同步的效率；且相比于对数据进行固定分段的划分，通过在数据波峰和数据波谷处写入对应的数据节点，以及通过实时网络传输速度确定数据消耗时间，然后根据数据消耗时间和预设时间阈值将相邻数据节点之间的数据传输的时间控制在预设时间阈值内，以实现了根据数据的特征对数据进行划分，能够动态的决定以多少数据为一个单位来进行处理，更适用于对数据的实时同步传输。
附图说明
[0042]图1是本专利技术提供的支持断点续传的数据同步方法的流程示意图；
[0043]图2是本专利技术提供的支持断点续传的数据同步系统的结构框图；
[0044]图3是本专利技术实施例中计算机设备的内部结构图。
具体实施方式
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持断点续传的数据同步方法，其特征在于，包括：获取源数据库的日志文件数据；根据所述日志文件数据建表；根据所述表中数据的数据特征在所述表的数据中写入对应的数据节点；将写入有数据节点的数据传输给目标数据库，在将写入有数据节点的数据传输给目标数据库的过程中传输数据节点的情况下，判断是否接收有所述目标数据库反馈的接收有该数据节点的信息，在有接收所述目标数据库反馈的该信息的情况下，存储该数据节点的位置信息和对应的存储时间；接收断点续传请求，确定所述断点续传请求的请求时间；根据所述请求时间确定与其时间点最近的存储时间对应的目标数据节点；根据所述目标数据节点和写入有数据节点的数据确定未传输给所述目标数据库的数据，并将其继续传输给目标数据库。2.根据权利要求1所述的支持断点续传的数据同步方法，其特征在于，所述数据特征包括：数据波峰和数据波谷；所述根据所述表中数据的数据特征在所述表的数据中写入对应的数据节点，包括：判断所述表中的数据是否有数据波峰，在有数据波峰的情况下，在该数据波峰处写入对应的数据节点；判断所述表中的数据是否有数据波谷，在有数据波谷的情况下，在该数据波谷处写入对应的数据节点。3.根据权利要求2所述的支持断点续传的数据同步方法，其特征在于，所述数据特征还包括：数据消耗时间；所述数据消耗时间根据实时网络传输速度确定；所述根据所述表中数据的数据特征在所述表的数据中写入对应的数据节点，还包括：判断所述表中相邻数据节点之间的数据所需的数据消耗时间是否大于预设时间阈值，在相邻数据节点之间的数据所需的数据消耗时间大于预设时间阈值的情况下，根据预设时间阈值和实时网络传输速度计算得到数据长度，在相邻数据节点中的前一数据节点处加上所述数据长度得到数据写入点，在数据写入点处写入对应的数据节点。4.根据权利要求1所述的支持断点续传的数据同步方法，其特征在于，所述根据所述日志文件数据建表，包括：解析所述日志文件数据得到数据库名、表名、操作类型、主键和所有字段值；根据所述数据库名、表名、操作类型、主键和所有字段值进行建表。5.根据权利要求4所述的支持断点续传的数据同步方法，其特征在于，在所述根据所述日志文件数据建表之后，还包括：根据所述主键将所述表中的数据划分为多个数据行；根据所述预设配置将各个数据行划分为多个数据块。6.根据权利要求4所述的支持断点续传的数据同步方法，其特征在于...

【专利技术属性】
技术研发人员：陈钟浩，管瑞峰，姚海杰，刘晋昊，钟远东，胡钊滨，
申请(专利权)人：上海致景信息科技有限公司，
类型：发明
国别省市：