一种数据同步的方法及装置制造方法及图纸

本发明专利技术涉及金融科技(Fintech)领域，并公开了一种数据同步的方法及装置，方法包括：监听针对源数据仓库的元数据的第一操作事件；从第一操作事件中根据预设规则确定出第二操作事件，生成第二操作事件对应的各同步任务；执行各同步任务从而实现源文件系统与目的文件系统的同步。本发明专利技术从源数据的变化原因入手，实现更加精确高效的数据同步。将源数据变化情况准确、及时、有效进行存储和聚合，然后同步至目的文件系统，这样就可规避递归遍历数据路径带来的耗时操作，通过监控和侦听源端源数据变化情况，大大降低数据比对开销提高增量同步的性能和效率。

【技术实现步骤摘要】
一种数据同步的方法及装置
本专利技术涉及金融科技(Fintech)
，尤其涉及一种数据同步的方法及装置。
技术介绍
随着计算机技术的发展，越来越多的技术(例如：分布式架构、云计算或大数据)应用在金融领域，传统金融业正在逐步向金融科技转变，大数据技术也不例外，但由于金融、支付行业的安全性、实时性要求，也对大数据技术提出的更高的要求。在集群数据迁移过程中，一般先将源集群的数据和元数据一次全量同步到目的集群端，让目的集群与源集群数据基本保持一致，然后再将源集群的新增数据按照增量同步的方式定期同步到目的集群让两端集群数据动态保持一致。全量同步的主要作用是将源和目的集群的数据差异大幅缩小，为增量同步让两端集群保持基本完全一致创造条件。现有的跨集群数据同步方案，在增量同步过程中通过源集群与目的集群数据路径的比对，间接的判断源集群与目的集群相关元数据的差异，依据差异进行元数据的同步。具体的，增量同步一般按照库级别(或者表级别和分区级别)进行任务配置和数据比对，数据比对使用路径数据进行比对，包括文件大小，目录数及文件数等。在比对的本文档来自技高网...

【技术保护点】
1.一种数据同步的方法，其特征在于，适用于具有数据仓库的分布式文件系统；所述方法包括：/n监听针对源数据仓库的元数据的第一操作事件；/n从所述第一操作事件中根据预设规则确定出第二操作事件，所述第二操作事件是指与源文件系统中存储的源数据有变化关联的操作事件；/n生成所述第二操作事件对应的各同步任务；/n执行所述各同步任务从而实现所述源文件系统与目的文件系统的同步。/n

【技术特征摘要】
1.一种数据同步的方法，其特征在于，适用于具有数据仓库的分布式文件系统；所述方法包括：
监听针对源数据仓库的元数据的第一操作事件；
从所述第一操作事件中根据预设规则确定出第二操作事件，所述第二操作事件是指与源文件系统中存储的源数据有变化关联的操作事件；
生成所述第二操作事件对应的各同步任务；
执行所述各同步任务从而实现所述源文件系统与目的文件系统的同步。


2.如权利要求1所述的方法，其特征在于，每个同步任务对应一个操作事件；
执行所述各同步任务从而实现所述源文件系统与目的文件系统的同步，包括：
若所述同步任务是针对源数据仓库的元数据的，则通过执行所述同步任务将源数据仓库的元数据同步至目的数据仓库；
若所述同步任务是针对源数据的，则执行所述同步任务后，从所述源文件系统中获取所述同步任务对应的源数据并发送至目的文件系统。


3.如权利要求1所述的方法，其特征在于，生成所述第二操作事件对应的各同步任务，包括：
从所述第二操作事件中确定针对同一操作对象的第三操作事件；
针对每个操作对象，根据所述操作对象的第三操作事件中的操作时间、操作类型进行处理，得到所述操作对象的第四操作事件；
生成各操作对象的第四操作事件对应的各同步任务。


4.如权利要求3所述的方法，其特征在于，根据所述操作对象的第三操作事件中的操作时间、操作类型进行处理，得到所述操作对象的第四操作事件，包括：
针对删除类型的操作事件，将操作时间位于删除类型的操作事件之前的第三操作事件删除；或
针对新建或修改类型的操作事件，通过参数聚合合并各第三操作事件；或
针对插入类型的操作事件，若插入属性为覆盖写入，则删除操作时间位于最晚的插入事件之前...

【专利技术属性】
技术研发人员：蒋超，谢健，邸帅，卢道和，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44