一种数据同步方法、装置，计算机设备和存储介质制造方法及图纸

本发明专利技术适用于数据梳理技术领域，提供了一种数据同步方法、装置，计算机设备和存储介质，所述同步方法包括：获取源数据并生成待同步数据；根据所述待同步数据生成资源配置表，所述资源配置表用于表征待同步数据的来源信息、表征存储待同步数据的目标数据库信息以及表征执行待同步数据同步任务的资源池信息；根据所述资源配置表将所述待同步数据同步至目标数据库。通过设置资源配置表，并在资源配置表的规划下，对待同步数据以及用于同步待同步数据的资源进行双向规划，使计算引擎无需在有同步任务时就启动，防止计算引擎多次启动导致同步时间慢；且能够对每个资源池得以最大利用；另外，也可以防止短时间内同时执行大量同步任务。务。务。

【技术实现步骤摘要】
一种数据同步方法、装置，计算机设备和存储介质


[0001]本专利技术涉及数据处理领域，特别是涉及一种数据同步方法、装置，计算机设备和存储介质。

技术介绍

[0002]当今世界是一个充满着数据的互联网世界，充斥着大量的数据。即这个互联网世界就是数据世界。通过数据库来存储数据已经深入生活中的各种场景，数据的来源有很多，比如出行记录、消费记录、浏览的网页、发送的消息等等。除了文本类型的数据，图像、音乐、声音都是数据。
[0003]不同的业务系统之间经常有数据流转，且数据交互变得越来越频繁，当数据在业务系统之间流转过程中，需要保证数据的正确性，保证数据同步可以兼容多种数据库格式；即数据同步要保证数据的完整性和一致性。常用的数据同步方式有批同步和流同步，也存在批同步和流同步同时进行的场景。
[0004]现有技术在进行数据同步过程中，通常是将源数据通过计算引擎直接同步至目标数据库中。
[0005]现有技术在数据同步过程中耗时较慢并表浪费计算资源。

技术实现思路

[0006]基于此，有必要针对上述的问题，提供一种数据同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述同步方法包括：获取源数据并生成待同步数据；根据所述待同步数据生成资源配置表，所述资源配置表用于表征待同步数据的来源信息、表征存储待同步数据的目标数据库信息以及表征执行待同步数据同步任务的资源池信息；根据所述资源配置表将所述待同步数据同步至目标数据库。2.根据权利要求1所述的一种数据同步方法，其特征在于，所述获取源数据并生成待同步数据包括以下步骤：利用离线数据同步工具，从源数据库中获取源数据，并将源数据转存为待同步数据；利用在线数据同步工具，从源接口中获取源数据，并将源数据转存为待同步数据。3.根据权利要求2所述的一种数据同步方法，其特征在于，所述源数据库为Mysql数据库，所述目标数据库为Hive数据库；所述离线数据同步工具为DataX，所述在线数据同步工具为Kafka和Flink。4.根据权利要求1所述的一种数据同步方法，其特征在于，所述根据待同步数据的数据量生成资源配置表包括以下步骤：提取并写入待同步数据的来源信息，包括待同步数据的来源数据库、待同步数据的名称；确定并写入待同步数据的目标数据库信息，包括待同步数据的目标数据库以及同步后的名称；规划并写入为待同步数据分配的资源池信息。5.根据权利要求1所述的一种数据同步方法，其特征在于，所述根据所述资源配置表将所述待同步数据同步至目标数据库包括以下步骤：读取所述资源配置表与待同步信息；根据所述资源配置表，得到若干同步任务，每个同步任务表征每个资源池以及该资源池所对应的待同步数据...

【专利技术属性】
技术研发人员：潘力，陈泽演，唐帆，
申请(专利权)人：广州骏伯网络科技有限公司，
类型：发明
国别省市：