数据库的同步处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种数据库的同步处理方法、装置、电子设备及存储介质，涉及数据库技术、大数据技术。该方法包括：获取源数据库中的源表的元数据信息，以及目标数据库中的目标表的元数据信息；根据源表的元数据信息和目标表的元数据信息，校验源表的表结构与目标表的表结构之间的一致性；若上述源表的表结构与目标表的表结构一致，则查询与源数据库的操作记录文件对应的消费偏移量记录表，以确定源表的表结构是否发生变更；若上述源表的表结构未发生变更，则将源表的数据同步至目标表。用以解决现有技术中数据同步存在无法保证实效、消耗成本过高的问题。的问题。的问题。

【技术实现步骤摘要】
数据库的同步处理方法、装置、电子设备及存储介质


[0001]本申请涉及数据库技术、大数据技术，尤其涉及一种数据库的同步处理方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，在软件开发过程中，经常面临不同或相同数据库之间数据同步的问题，例如，使用脚本定时导出源数据库数据，再导入到目标数据库中进行同步。但是，这种方式无法满足对用户对数据同步的实效性需求。
[0003]另外，在开发过程中源数据库中的业务基础表会新增或修改字段，这些变化需在目标数据库同步进行，这种方式需要人工操作，人工成本过高。此外，针对企业用户开发的系统对安全性要求较高，要求对相关同步组件进行定期升级整改，以修复漏洞，这种方式维护成本过高。
[0004]由此，现有技术中数据库之间的数据同步方式普遍存在无法保证实效、消耗成本过高的问题。

技术实现思路

[0005]本申请提供一种数据库的同步处理方法、装置、电子设备及存储介质，用以解决现有技术中数据同步存在无法保证实效、消耗成本过高的问题，实现数据库之间实时进行数据同步，降低消耗成本的技术效果。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库的同步处理方法，其特征在于，所述方法包括：获取源数据库中的源表的元数据信息，以及目标数据库中的目标表的元数据信息；根据所述源表的元数据信息和所述目标表的元数据信息，校验所述源表的表结构与所述目标表的表结构之间的一致性；若所述源表的表结构与所述目标表的表结构一致，则查询与所述源数据库的操作记录文件对应的消费偏移量记录表，以确定所述源表的表结构是否发生变更；若所述源表的表结构未发生变更，则将所述源表的数据同步至所述目标表。2.根据权利要求1所述的方法，其特征在于，查询所述源数据库中操作记录文件对应的消费偏移量记录表，以确定所述源表的表结构是否发生变更，包括：查询所述源数据库中操作记录文件对应的消费偏移量记录表，得到上次消费所述操作记录文件成功后所保存的消费位置，其中，所述操作记录文件用于记录对所述源表进行更新的数据操作类型和表结构变更信息；从所述消费位置开始，对所述操作记录文件进行解析，以确定所述源表的表结构是否发生变更。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述源表的表结构发生变更，且所述目标表的表结构自动变更功能已开启，则基于所述源表的表结构变更所述目标表的表结构；更新所述操作记录文件对应的所述消费偏移量记录表；从上次消费所述操作记录文件成功后所保存的消费位置的下一位置开始，对所述操作记录文件进行解析，以确定所述源表的表结构是否发生变更。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述源表的表结构发生变更，且所述目标表的表结构自动变更功能已关闭，则再次校验所述源表的表结构与所述目标表的表结构之间的一致性；若所述源表的表结构与所述目标表的表结构不一致，则等待一段时间继续进行校验，直到校验次数超过最大重试次数，则停止数据同步处理程序，并输出错误提示信息；若所述源表的表结构与所述目标表的表结构一致，从上次消费所述操作记录文件成功后所保存的消费位置...

【专利技术属性】
技术研发人员：王文儒，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：