数据同步方法、装置、电子设备及介质制造方法及图纸

本申请提供的数据同步方法、装置、电子设备及介质，包括：获取各源数据表中更新的目标数据，并针对所有目标数据，建立一个同步任务；每个源数据表对应Doris数仓中的一个同步数据表；对同一同步任务下的所有目标数据执行处理，生成多个数据流；每个数据流下的目标数据属于同一源数据表；将各数据流下的目标数据写入所属源数据表对应的同步数据表；同一同步任务下的目标数据的同步状态相同；从数据更新的源数据表中确定目标源数据表，比较目标源数据表中的数据的行数与对应的目标同步数据表中的数据的行数是否相等，若相等，则判定完成同步任务。本方案能够降低数据同步过程的监控负担，从而提高数据同步的时效性。

【技术实现步骤摘要】

本申请涉及大数据，尤其涉及一种数据同步方法、装置、电子设备及介质。

技术介绍

1、随着大数据应用的不断深入，企业不在满足离线数据加工计算的时效，实时数据需求成为数据应用的新常态。为了方便查询或获取各数据库下的数据，将需要查询的各数据库下的数据同步至doris数仓中，doris数仓具有较强的查询功能，因而能够方法企业基于doris数仓中的数据进行快速的获取及分析。

2、相关技术中，在源数据库和数仓之间设置kafka源流处理平台，通过kafka实现数据的同步，由于kafka是基于消息队列的形式对数据执行处理，因而在数据同步过程中，针对每个源数据表建立一个同步任务，将同步任务分配到kafka对应消息队列，然后将每个同步任务下的数据同步至doris数仓中。并针对每个同步任务进行监控，以确认数据同步的有效性。

3、然而相关技术中，需要对每个数据表对应的同步任务进行监控，在库和表的数量较多的场景中，监控负担较重，占用的资源较多，从而导致数据同步的时效性较差。

技术实现思路

1、本申请实施例提供一种本文档来自技高网...

【技术保护点】

1.一种数据同步方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取各源数据表中更新的目标数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述目标数据中包括所属源数据表的标识字段；所属所述对同一同步任务下的所有目标数据执行处理，生成多个数据流，包括：

4.根据权利要求1所述的方法，其特征在于，所述从数据更新的源数据表中确定目标源数据表，比较所述目标源数据表中的数据的行数与所述Doris数仓中对应的同步数据表的数据的行数是否相等，包括：

5.根据权利要求4所述的方法，其特征在于，所述比较所述目标源数据表中的数据...

【技术特征摘要】

1.一种数据同步方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取各源数据表中更新的目标数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述目标数据中包括所属源数据表的标识字段；所属所述对同一同步任务下的所有目标数据执行处理，生成多个数据流，包括：

4.根据权利要求1所述的方法，其特征在于，所述从数据更新的源数据表中确定目标源数据表，比较所述目标源数据表中的数据的行数与所述doris数仓中对应的同步数据表的数据的行数是否相等，包括：

5.根据权利要求4所述的方法，其特征在于，所述比较所述目标源数据表中的数据的行数...

【专利技术属性】
技术研发人员：黄民政，温源，姜辉，乔新亚，滕海燕，郑子初，赵健，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：