数据自动同步方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及金融科技领域、数据处理领域，揭露一种数据自动同步方法，包括：将同步工具与源数据库进行连接，利用同步工具实时监听预设消息组；若当前t时刻消息组发生变化，将表结构修改消息转换为第一格式数据，将字段修改消息转换为第二格式数据；当判断第一格式数据为消息类型时利用第一格式数据更新目标数据库对应表结构；获取t时刻的第二格式数据的第一字段数量，及获取t

【技术实现步骤摘要】
数据自动同步方法、装置、电子设备及存储介质


[0001]本专利技术涉及金融科技领域、数据处理领域，尤其涉及一种数据自动同步方法、装置、电子设备及存储介质。

技术介绍

[0002]在金融科技领域中，常常通过同步工具将金融机构的源数据库的表字段消息(Schema)的变化数据自动同步到目标数据库，然而现有这些同步工具例如有Sqoop、DataX、Kettle等，是基于查询的方式实现的，通过离线调度查询作业，实现处理请求。这意味着，这些同步工具在数据同步过程中无法自动识别源数据库的表字段消息的变化并将其自动同步到目标数据库，如果源数据库的表字段消息发生变化，必须停止数据同步任务并手动在目标数据库执行表字段的变更，然后重新启动同步任务。
[0003]例如，在金融科技领域中，金融机构对源数据库的金融资产负债表、金融利润表、金融现金流量表等，进行修改、删除、增加字段后。
[0004]现有的同步工具无法自动识别源数据库上述的表字段消息的变化并将其自动同步到目标数据库，造成源数据库与目标数据库的不同步，导致金融市场中各方参与者所具备的信息不对称，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据自动同步方法，其特征在于，所述方法包括：将预设的同步工具与预设的源数据库进行连接，利用所述同步工具实时监听所述源数据库的预设消息组是否发生变化；若当前t时刻所述消息组发生变化，则将所述消息组中的表结构修改消息转换为第一格式数据，及将所述消息组中的字段修改消息转换为第二格式数据；对所述第一格式数据的消息类型进行判断，当判断所述第一格式数据为所述表结构修改消息的消息类型时，利用所述第一格式数据更新目标数据库对应表结构的元数据；获取所述t时刻的第二格式数据的第一字段数量，及获取t
‑
1时刻的第二格式数据的第二字段数量进行计算，当所述第一字段数量大于或小于所述第二字段数量时，将所述t时刻的第二格式数据写入所述目标数据库。2.如权利要求1所述的数据自动同步方法，其特征在于，所述将预设的同步工具与预设的源数据库进行连接，包括：将所述同步工具通过连接器与所述源数据库的数据流接口建立连接。3.如权利要求1或2所述的数据自动同步方法，其特征在于，所述利用所述同步工具实时监听所述源数据库的预设消息组是否发生变化，包括：将所述源数据库的表字段类型消息作为所述消息组；利用所述连接器将所述源数据库的消息组自动映射至所述同步工具的循环日志文件中；实时监听所述消息组的表字段类型消息是否发生变化。4.如权利要求3所述的数据自动同步方法，其特征在于，在利用所述同步工具实时监听所述源数据库的预设消息组是否发生变化之后，包括：将发生变化的消息组写入所述同步工具的循环日志文件中，所述循环日志文件中包括有表结构修改消息、字段修改消息。5.如权利要求1所述的数据自动同步方法，其特征在于，所述将所述消息组中的表结构修改消息转换为第一格式数据，包括：获取所述表结构修改消息中包含的数据库名、表名、字段名、及对所述表结构修改消息操作过的SQL语句，转换为所述第一格式数据。6...

【专利技术属性】
技术研发人员：杜均，蔡满天，凌海挺，张茜，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：