一种数据同步的方法及装置制造方法及图纸

本发明专利技术公开了一种数据同步的方法及装置，包括：第一系统接收第二系统针对第二数据库的日志记录；日志记录采用全量方式记录；针对日志记录中同一主键值的各日志事件，创建主键值的任务队列，将各日志事件按时间顺序依次加入所述任务队列；若确定待入队的第一日志事件为删除类型且任务队列中存在删除类型的第二日志事件，则删除第二日志事件并将第一日志事件入队；并行执行N个任务队列，以此减少任务队列中待写入的事件，降低数据写入的延迟，缩短数据写入的耗时，提升数据写入效率，增加实时搜索的效率。索的效率。索的效率。

【技术实现步骤摘要】
一种数据同步的方法及装置


[0001]本专利技术涉及金融科技(Fintech)领域，尤其涉及一种数据同步的方法及装置。

技术介绍

[0002]随着计算机技术的发展，越来越多的技术(例如：区块链、云计算或大数据)应用在金融领域，传统金融业正在逐步向金融科技转变，大数据技术也不例外，但由于金融、支付行业的安全性、实时性要求，也对大数据技术中数据同步提出了的更高的要求。
[0003]在现有数据中，业务数据通常以表格的形式保存在关系型数据库(如MySQL数据库)中，在MySQL数据库中的数据表发生数据变化时，会产生日志记录，为了保证搜索数据库的数据与MySQL数据库的数据一致，需要通过采集工具，采集日志记录，并将日志记录中的多个DML(Data manipulation language，数据操纵语言)事件，按照顺序写入搜索数据库中，以此实现数据同步。
[0004]但是，在将日志记录中的多个DML写入搜索数据库的过程中，耗时较长，影响实时搜索的效率。
[0005]因此，现需要一种数据同步的方法，用于降低数据写入的延迟，缩短数据写本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步的方法，其特征在于，包括：第一系统接收第二系统针对第二数据库的日志记录；所述第一系统中的第一数据库与所述第二数据库通过索引方式关联数据表；所述日志记录采用全量方式记录；针对所述日志记录中同一主键值的各日志事件，所述第一系统创建所述主键值的任务队列，将所述各日志事件按时间顺序依次加入所述任务队列；所述第一系统若确定待入队的第一日志事件为修改类型且所述任务队列中存在修改类型的第二日志事件，则删除所述第二日志事件并将所述第一日志事件入队；所述第一系统并行执行N个任务队列。2.如权利要求1所述的方法，其特征在于，所述方法还包括：所述第一系统若确定待入队的第一日志事件为新增类型，则将所述第一日志事件入队。3.如权利要求1所述的方法，其特征在于，所述方法还包括：所述第一系统若确定待入队的第一日志事件为删除类型，则将所述任务队列中其他事件删除且将所述第一日志事件入队。4.如权利要求1所述的方法，其特征在于，针对所述日志记录中同一主键值的各日志事件，所述第一系统创建所述主键值的任务队列，包括：所述第一系统确定所述日志记录中包含的各主键值及各主键值对应的日志事件；针对任一主键值，所述第一系统创建所述主键值的任务队列；或针对任一日志事件，所述第一系统确定所述日志事件的主键值是否已创建任务队列，若没有，则创建所述主键的任务队列。5.如权利要求1所述的方法，其特征在于，所述第一系统并行执行N个任务队列，包括：所述第一系统分别为所述N个任务队列分配各自的...

【专利技术属性】
技术研发人员：石卫军，徐为恺，杨杨，江旻，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：