数据同步方法技术

本申请提供一种数据同步方法

【技术实现步骤摘要】
数据同步方法、装置、存储介质及处理器


[0001]本申请涉及计算机
，具体涉及一种数据同步方法
、
一种数据同步装置
、
一种机器可读存储介质
、
一种计算机程序产品及一种处理器
。

技术介绍

[0002]通常企业的自动化运维类系统需要对接各类跨领域
(
比如：主机类
、
平台类
、
应用类
、
网络类等
)
，跨系统
(
比如：用户中心
、
配置管理数据库
、
大数据平台
、
日志平台
、
变更平台等
)
数据，同时，由于企业的各个分公司的自动化运维类系统的上下游系统建设不一致，使得设计出统一的同步方案比较困难，当需要进行数据同步时，需要针对不同分公司的不同上下游系统接口进行单独开发，效率很低
。
[0003]Kettle
是一种将数据从来源端经过抽取
(extract)、...

【技术保护点】

【技术特征摘要】
1.
一种数据同步方法，其特征在于，所述数据同步方法包括：响应于实时数据同步指令，获取流处理配置文件；在外部数据源为数据库类型数据源的情况下，通过监听数据库的日志文件判断数据库是否有新操作，并在确定数据库有新操作的情况下，从所述外部数据源获取待同步数据；在外部数据源为非标准化数据源的情况下，从所述外部数据源采集得到待同步数据；基于所述流处理配置文件，将所述待同步数据转化为业务数据，并将所述业务数据发送至目标位置，以实现数据同步
。2.
根据权利要求1所述的方法，其特征在于，所述在确定数据库有新操作的情况下，从所述外部数据源获取待同步数据，包括：判断所述新操作是否为更新操作或插入操作；确定所述新操作为更新操作或插入操作，获取所述新操作对应数据的主键
ID
；基于所述数据的主键
ID
，从所述外部数据源查找出待同步数据
。3.
根据权利要求1所述的方法，其特征在于，所述数据同步方法还包括：响应于批处理数据同步指令，获取批处理配置文件；在外部数据源为非标准化数据源的情况下，获取批处理编排流程；其中，所述批处理编排流程是对预先封装好的节点组件进行编排得到，所述节点组件用于实现数据同步过程中的各个阶段；基于所述批处理配置文件，将所述外部数据源中的待同步数据按照所述批处理编排流程进行处理，得到批处理数据，并将所述批处理数据发送至目标位置，以实现数据同步
。4.
根据权利要求3所述的方法，其特征在于，所述批处理配置文件中包括
cron
表达式，所述基于所述批处理配置文件，将所述外部数据源中的待同步数据按照所述批处理编排流程进行处理，得到批处理数据，包括：基于所述
cron
表达式，定时将所述外部数据源中的待同步数据按照所述批处理编排流程进行处理，得到批处理数据
。5.
根据权利要求3所述的方法，其特征在于，所述批处理配置文件中包括分片参数，所述基于所述批处理配置文件，将所述外部数据源中的待同步数据按照所述批处理编排流程进行处理，得到批处理数据，并将所述批处理数据发送至目标位置，以实现数据同步，包括：基于所述分片参数，将所述外部数据源中的待同步数据划分为多个待同步业务数据；其中，各个待同步业务数据之间没有关联；基于所述批处理配置文件，采用分布式处理方式将各个待同步业务数据分别按照所述批处理编排流程进行处理，得到批处理数据，并将所述批处理数据发送至目标位置，以实现数据同步
。6.
...

【专利技术属性】
技术研发人员：段雪超，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：