基于日志的数据同步方法、装置、电子设备、及程序产品制造方法及图纸

本发明专利技术提供基于日志的数据同步方法、装置、电子设备、及计算机程序产品，涉及数据处理技术领域。所述方法包括：监控日志数据队列，并从日志数据队列中获取更新日志数据；解析更新日志数据，得到更新日志数据的配置信息；根据更新日志数据的配置信息，获取源数据并对源数据进行数据同步。本发明专利技术提供基于日志的数据同步方法，通过实时监控日志数据队列，一旦发现日志数据队列中的日志数据发生变化时，可以立即获取更新日志数据，再通过解析更新日志数据，继而根据更新日志数据的配置信息，获取源数据并对源数据进行实时的数据同步，而且该方法可以独立运行，与业务系统的业务功能完全解耦，一定程度上保证了业务系统的业务处理能力。力。力。

【技术实现步骤摘要】
基于日志的数据同步方法、装置、电子设备、及程序产品


[0001]本专利技术涉及数据处理
，尤其涉及基于日志的数据同步方法、装置、电子设备、及计算机程序产品。

技术介绍

[0002]在互联网分布式系统架构中，会存在各种子系统，每个子系统之间会存在数据的交叉联系，由此带来了数据同步的需求。在大数据的场景中，需要针对业务平台中的数据进行分析计算，为了使分析计算跟业务处理解耦，那么分析平台需要对业务平台的数据进行抽取，数据抽取的过程属于数据同步的一部分。
[0003]数据抽取通常分为全量抽取和增量抽取，针对大量数据的同步，全量抽取并不适用；而增量抽取存在一定的业务侵入性，无法与业务处理完全解耦，并且需要维护抽取的时间戳或者上次抽取的标记，比较麻烦；而且，不管是采用全量抽取还是采用增量抽取的数据同步方式，均无法实现实时地同步数据。

技术实现思路

[0004]本专利技术提供基于日志的数据同步方法、装置、电子设备、及计算机程序产品，用以解决现有的数据同步方式无法实现实时地同步数据的技术问题。
[0005]本专利技术提供一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于日志的数据同步方法，其特征在于，包括以下步骤：监控日志数据队列，并从所述日志数据队列中获取更新日志数据；解析所述更新日志数据，得到所述更新日志数据的配置信息；根据所述更新日志数据的配置信息，获取源数据并对所述源数据进行数据同步。2.根据权利要求1所述的基于日志的数据同步方法，其特征在于，所述监控日志数据队列，并从所述日志数据队列中获取更新日志数据，包括：根据规则脚本监控所述日志数据队列；当所述日志数据队列中的日志数据发生变化时，获取变化后的日志数据作为所述更新日志数据。3.根据权利要求2所述的基于日志的数据同步方法，其特征在于，所述获取变化后的日志数据，包括：获取历史日志数据的坐标值；截取在所述历史日志数据的坐标值对应的时序之后的坐标值上的日志数据，作为所述变化后的日志数据。4.根据权利要求2所述的基于日志的数据同步方法，其特征在于，所述规则脚本包括以下任一字段：监控名称字段、实例字段、及源数据信息字段。5.根据权利要求1
‑
4任一项所述的基于日志的数据同步方法，其特征在于，所述更新日志数据的配置信息包括以下任一项：源数据存储库信息、数据同步信息、及目标数据存储库信息。6.根据权利要求5所述的基于日志的数据同步方法，其特征在于...

【专利技术属性】
技术研发人员：蒋汉华，
申请(专利权)人：语联网武汉信息技术有限公司，
类型：发明
国别省市：