本申请公开了一种数据同步方法，包括：当接收到同步指令时，启动数据同步进程和源数据库在备份节点上的第一解析工具；利用所述第一解析工具读取所述源数据库中目标同步对象对应的第一重做日志；通过所述数据同步进程构建所述目标同步对象对应的第一字典；利用所述第一字典对所述第一重做日志进行解析，获得第一同步数据；将所述第一同步数据写入目标数据库。应用本申请所提供的技术方案，可以有效降低基于日志分析工具进行数据同步过程中对数据库服务资源的占用，提高数据库系统的稳定性。本申请还公开了一种数据同步装置、系统以及计算机可读存储介质，同样具有上述有益效果。果。果。
【技术实现步骤摘要】
一种数据同步方法、装置及相关设备
[0001]本申请涉及计算机
，特别涉及一种数据同步方法，还涉及一种数据同步装置、系统及计算机可读存储介质。
技术介绍
[0002]目前，基于日志分析工具的数据同步技术为常见的用于进行数据库数据同步的技术，即利用日志分析工具获取源数据库中的历史事件流，并对其进行解析获得源数据库中的变更数据，最后将其推送到目标数据库，从而实现源数据库与目标数据库之间的数据同步。但是，日志分析工具运行于源数据库服务上，需要占用一定的源数据库服务系统资源，会对数据库服务带来一定的性能消耗，当遇到超大事务时，该问题更为明显，影响数据库系统的稳定运行。
[0003]因此，如何有效降低基于日志分析工具进行数据同步过程中对数据库服务资源的占用，提高数据库系统的稳定性是本领域技术人员亟待解决的问题。
技术实现思路
[0004]本申请的目的是提供一种数据同步方法，该数据同步方法可以有效降低基于日志分析工具进行数据同步过程中对数据库服务资源的占用，提高数据库系统的稳定性；本申请的另一目的是提供一种数据同步装置、系统及计算机可读存储介质，均具有上述有益效果。
[0005]第一方面，本申请提供了一种数据同步方法，包括：
[0006]当接收到同步指令时，启动数据同步进程和源数据库在备份节点上的第一解析工具；
[0007]利用所述第一解析工具读取所述源数据库中目标同步对象对应的第一重做日志；
[0008]通过所述数据同步进程构建所述目标同步对象对应的第一字典；/>[0009]利用所述第一字典对所述第一重做日志进行解析，获得第一同步数据；
[0010]将所述第一同步数据写入目标数据库。
[0011]优选的，所述通过所述数据同步进程构建所述目标同步对象对应的第一字典，包括：
[0012]利用所述数据同步进程获取所述目标同步对象的schema信息；
[0013]利用所述schema信息构建所述目标同步对象对应的第一字典。
[0014]优选的，所述利用所述数据同步进程获取所述目标同步对象的schema信息，包括：
[0015]基于所述数据同步进程，通过JDBC接口在所述源数据库中读取获得所述目标同步对象的schema信息。
[0016]优选的，所述启动数据同步进程和源数据库在备份节点上的第一解析工具之前，还包括：
[0017]根据所述同步指令确定同步模式，所述同步模式包括主同步模式和从同步模式；
[0018]当所述同步模式为所述从同步模式时，执行所述启动数据同步进程和源数据库在备份节点上的第一解析工具的步骤；
[0019]当所述同步模式为所述主同步模式时，利用所述源数据库的主节点执行数据同步操作。
[0020]优选的，所述利用所述源数据库的主节点执行数据同步操作，包括：
[0021]在所述主节点上构建所述目标同步对象对应的第二字典，并启动所述主节点上的第二解析工具；
[0022]利用所述第二解析工具读取所述目标同步对象对应的第二重做日志；
[0023]利用所述第二字典对所述第二重做日志进行解析，获得第二同步数据；
[0024]将所述第二同步数据写入所述目标数据库。
[0025]优选的，所述将所述第一同步数据写入目标数据库之前，还包括：
[0026]将所述第一同步数据的数据格式转换为CDC格式；
[0027]相应地，所述将所述第二同步数据写入所述目标数据库之前，还包括：
[0028]将所述第二同步数据的数据格式转换为所述CDC格式。
[0029]优选的，所述第一解析工具和所述第二解析工具为Logminer工具。
[0030]第二方面，本申请还公开了一种数据同步装置，包括：
[0031]启动模块，用于当接收到同步指令时，启动数据同步进程和源数据库在备份节点上的第一解析工具；
[0032]读取模块，用于利用所述第一解析工具读取所述源数据库中目标同步对象对应的第一重做日志；
[0033]构建模块，用于通过所述数据同步进程构建所述目标同步对象对应的第一字典；
[0034]解析模块，用于利用所述第一字典对所述第一重做日志进行解析，获得第一同步数据；
[0035]写入模块，用于将所述第一同步数据写入目标数据库。
[0036]第三方面，本申请还公开了一种数据同步系统，包括：
[0037]存储器，用于存储计算机程序；
[0038]处理器，用于执行所述计算机程序时实现如上所述的任一种数据同步方法的步骤。
[0039]第四方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的任一种数据同步方法的步骤。
[0040]本申请所提供的一种数据同步方法，包括：当接收到同步指令时，启动数据同步进程和源数据库在备份节点上的第一解析工具；利用所述第一解析工具读取所述源数据库中目标同步对象对应的第一重做日志；通过所述数据同步进程构建所述目标同步对象对应的第一字典；利用所述第一字典对所述第一重做日志进行解析，获得第一同步数据；将所述第一同步数据写入目标数据库。
[0041]可见，本申请所提供的数据同步方法，对源数据库创建备份节点，并在该备份节点上部署日志解析工具，即上述第一解析工具，同时创建关于源数据库的数据同步进程，由此，即可在备份节点上利用第一解析工具进行日志读取，利用数据同步进程进行字典构建，
从而利用构建的第一字典对读取的第一重做日志进行日志解析得到需要进行数据同步的变更数据，即上述第一同步数据，最后将该第一同步数据写入目标数据库，实现源数据库与目标数据库之间的数据同步，显然，该种实现方式可以将数据同步过程带来的数据库服务资源占用压力转移到数据库的备份节点上，从而有效降低日志分析工具对数据库服务资源的占用，进而提高数据库系统的稳定性。
[0042]本申请所提供的一种数据同步装置、系统及计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
[0043]为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。
[0044]图1为本申请所提供的一种数据同步方法的流程示意图；
[0045]图2为本申请所提供的另一种数据同步方法的流程示意图；
[0046]图3为本申请所提供的一种数据同步装置的结构示意图；
[0047]图4为本申请所提供的一种数据同步系统的结构示意图。
具体实施方式
[0048]本申请的核心是提供一种数据同步方法，该数据同步方法可以有效降低基于日志分析工具本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：当接收到同步指令时，启动数据同步进程和源数据库在备份节点上的第一解析工具；利用所述第一解析工具读取所述源数据库中目标同步对象对应的第一重做日志；通过所述数据同步进程构建所述目标同步对象对应的第一字典；利用所述第一字典对所述第一重做日志进行解析，获得第一同步数据；将所述第一同步数据写入目标数据库。2.根据权利要求1所述的数据同步方法，其特征在于，所述通过所述数据同步进程构建所述目标同步对象对应的第一字典，包括：利用所述数据同步进程获取所述目标同步对象的schema信息；利用所述schema信息构建所述目标同步对象对应的第一字典。3.根据权利要求2所述的数据同步方法，其特征在于，所述利用所述数据同步进程获取所述目标同步对象的schema信息，包括：基于所述数据同步进程，通过JDBC接口在所述源数据库中读取获得所述目标同步对象的schema信息。4.根据权利要求1所述的数据同步方法，其特征在于，所述启动数据同步进程和源数据库在备份节点上的第一解析工具之前，还包括：根据所述同步指令确定同步模式，所述同步模式包括主同步模式和从同步模式；当所述同步模式为所述从同步模式时，执行所述启动数据同步进程和源数据库在备份节点上的第一解析工具的步骤；当所述同步模式为所述主同步模式时，利用所述源数据库的主节点执行数据同步操作。5.根据权利要求3所述的数据同步方法，其特征在于，所述利用所述源数据库的主节点执行数据同步操作，包括：在所述主节点上构建所述目标同步对象对应的第二字典，...
【专利技术属性】
技术研发人员：莫根生，符宣东，陈飞，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。