【技术实现步骤摘要】
数据同步方法及装置
[0001]本申请涉及数据处理
，特别是数据同步方法及装置。
技术介绍
[0002]为了实现数据库之间的实时数据同步，通常需要将源端数据库中的数据发送到消息队列中进行缓存，由数据同步工具从消息队列中获取对应的数据，并加载到对应的目的数据表。
[0003]相关技术中，对应于消息队列中的每一个消息队列主题，数据同步工具都需要设置对应的数据同步线程，一个数据同步线程只能抽取一个消息队列主题中的数据。在所需同步的数据不是持续的数据流的情况下，数据同步线程的利用率较低，线程资源浪费较为严重。
技术实现思路
[0004]有鉴于此，本申请提供了数据同步方法及装置，用以实现两个数据端之间的数据同步。
[0005]具体的，本申请通过如下技术方案实现：
[0006]根据本申请的第一方面，提出了一种数据同步方法，应用于数据同步工具，所述数据同步工具运行有一个或多个数据同步线程，所述数据同步线程被配置有数据同步任务，所述数据同步任务的输入配置信息包括对应的消息队列主题的信息、输出配置...
【技术保护点】
【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于数据同步工具，所述数据同步工具运行有一个或多个数据同步线程，所述数据同步线程被配置有数据同步任务，所述数据同步任务的输入配置信息包括对应的消息队列主题的信息、输出配置信息包括对应的目的数据表的信息，所述方法包括：获取消息队列发送的通知消息，所述通知消息用于表明所述消息队列中的目标消息队列主题存在新增数据；根据每个数据同步任务的输入配置信息，确定出匹配于所述目标消息队列主题的目标数据同步任务；在所述目标数据同步任务属于目标数据同步线程的情况下，通过目标数据同步线程执行所述目标数据同步任务，以从所述消息队列中抽取所述新增数据，并将所述新增数据同步到所述目标数据同步任务的输出配置信息所定义的目的数据表。2.根据权利要求1所述方法，其特征在于，所述通知消息包括所述新增数据在所述消息队列中的分区和偏移量，所述通过目标数据同步线程执行所述目标数据同步任务包括：在所述目标数据同步任务不存在对应于所述通知消息中的分区的本地分区，或者所述通知消息中的偏移量大于所述目标数据同步任务的对应于所述通知消息中的分区的本地偏移量的情况下，通过所述目标数据同步线程执行所述目标数据同步任务；其中，本地分区为历史同步数据所处的分区，本地偏移量为历史同步数据在所处分区中对应的最大偏移量。3.根据权利要求2所述方法，其特征在于，还包括：在所述通知消息中的分区大于所述目标数据同步任务的本地分区的情况下，在将所述新增数据同步至所述目标数据同步任务的输出配置信息所定义的目的数据表之后，将所述本地分区更新为所述通知消息中的分区并将所述本地偏移量更新为所述通知消息中的偏移量；在所述通知消息中的偏移量大于所述目标数据同步任务的本地偏移量的情况下，在将所述新增数据同步至所述目标数据同步任务的输出配置信息所定义的目的数据表之后，将所述本地偏移量更新为所述通知消息中的偏移量。4.根据权利要求1所述方法，其特征在于，通过目标数据同步线程执行所述目标数据同步任务，包括：确定所述目标数据同步任务与所述目标数据同步线程对应的任务调度队列中已存在的各个数据同步任务之间的执行顺序；根据确定出的执行顺序，将所述目标数据同步任务插入至所述任务调度队列中的对应位置；通过所述目标数据同步线程依次执行所述调度队列中的各个数据同步任务。5.根据权利要求4所述方法，其特征在于，确定所述目标数据同步任务与所述目标数据同步线程对应的任务调度队列中已存在的各个数据同步任务之间的执行顺序，包括：根据所述目标数据同步任务的预设优先级和所述目标数据同步线程对应的任务调度队列中已存在的各个数据同步任务的预设优先级，确定所述目标数据同步任务与所述已存在的各个数据同步任务之间的执行顺序；若任一已存在的数据同步任务与所述目标数据同步任务的预设优先级相同，则按照对
应于所述目标数据同步任务和所述任一已存在的数据同步任务的通知消息的获取时间点，确定所述目标数据同步任务与所述任一已存在的数据同步任务之间的执行顺序。6.根据权利要求5所述方法，其特征在于，还包括：若所述目标数据同步任务对应的新增数据的数据量大于预设数据量阈值，则通过所述目标数据同步线程执行所述目标数据同步任务，以从所述消息队列中抽取数据量为所述预设数据量阈值的新增数据，并将所述抽取的新增数据同步到所述目标数据同步任务的输...
【专利技术属性】
技术研发人员：林鹏程，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。