数据同步方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据同步方法、装置、设备及存储介质，通过源数据库中待同步业务数据的数据表，生成数据库实体关系模型和目标索引表，从而能够利用标准SQL根据数据库的基础技术和数据库的元数据进行数据同步设计；并根据目标索引表中的主键索引关系，将源数据库的数据记录同步至数据中台，数据记录包含待同步业务数据；以及根据数据库实体关系模型，还原数据记录所对应的实体关系，以完成源数据库到数据中台的数据同步，从而可以在任何兼容标准SQL的数据库下执行数据同步工作，有效避免数据中台的复杂度随着数据源种类的增多而增大的问题，降低数据中台的复杂度。降低数据中台的复杂度。降低数据中台的复杂度。

【技术实现步骤摘要】
数据同步方法、装置、设备及存储介质


[0001]本申请涉及数据同步
，尤其涉及一种数据同步方法、装置、设备及存储介质。

技术介绍

[0002]通用数据同步方法使针对数据中台离线数仓数据的同步场景所提出的数据同步方法，解决现有数据中台需要根据不同数据源使用不同的工具创建ETL过程进行数据同步的难点。
[0003]目前，数据中台会根据数据源的不同采用不同的技术架构实现。比如，针对MySQL数据源，采用canal+kafka的数据采集架构，对MySQL的Binlog日志文件进行解析获取数据记录写入数据仓库；针对Oracle数据库，采用Oracle公司的Oracle GoldenGate工具完成数据同步。可以预见，随着数据中台接入的数据源种类增多，需要引入更多工具才能完成数据源到数据仓库的数据同步，使得数据中台的整体复杂度增加，不利于日常的运维管理。

技术实现思路

[0004]本申请提供了一种数据同步方法、装置、设备及存储介质，以解决当前数据同步场景中数据中台的复杂度随着数据源种类的增多而增大的技术问题。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：根据源数据库中待同步业务数据的数据表，生成数据库实体关系模型和目标索引表，所述数据库实体关系模型用于表征所述源数据库中数据实体之间的实体关系，所述目标索引表用于记录源数据库的第一数据主键与同步到所述数据中台后的第二数据主键之间的主键索引关系；根据所述目标索引表中的主键索引关系，将所述源数据库的数据记录同步至所述数据中台，所述数据记录包含所述待同步业务数据；根据所述数据库实体关系模型，还原所述数据记录所对应的实体关系，以完成所述源数据库到所述数据中台的数据同步。2.如权利要求1所述的数据同步方法，其特征在于，所述根据源数据库中待同步业务数据的数据表，生成数据库实体关系模型和目标索引表，包括：根据业务关系，确定所述源数据库中的待同步业务数据对应的数据表；根据所述数据表，利用数据库工具DBeaver，创建所述数据库实体关系模型；根据所述数据库，利用预设的数据库建表语句，创建所述目标索引表。3.如权利要求2所述的数据同步方法，其特征在于，所述根据所述数据表，利用数据库工具DBeaver，创建所述数据库实体关系模型，包括：利用所述数据库工具DBeaver，将所述数据表的表结构移植至所述数据中台的模型数据库；在所述模型数据库，通过配置外键对应关系，建立源数据库与数据中台之间的实体关系，所述外键对应关系为所述源数据库的第一外键与所述数据中台的第二外键之间的对应关系。4.如权利要求2所述的数据同步方法，其特征在于，所述根据所述数据库，利用预设的数据库建表语句，创建所述目标索引表，包括：利用所述数据库建表语句，在所述数据表的数据表名称添加预设值，得到初始索引表；将所述初始索引表的自增值配置为目标自增值，并将所述源数据库的第一数据主键插入到所述初始索引表，得到所述目标索引表。5.如权利要求4所述的数据同步方法，其特征在于，所...

【专利技术属性】
技术研发人员：邓文浩，王兵，林昂，张南锋，谢铭敏，李哲弘，陈炯炯，林文俊，周铎鸿，
申请(专利权)人：广东航宇卫星科技有限公司，
类型：发明
国别省市：