数据同步方法、装置、电子设备及计算机存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据同步方法、装置、电子设备及计算机存储介质，其中，数据同步方法包括：根据数据同步指示，获取数据库中待同步数据的第一信息，和，所述数据库中已建立的数据同步任务对应的数据的第二信息；若确定所述第一信息和所述第二信息存在差异，则创建新的数据同步任务，以进行所述数据同步指示所指示的数据同步。通过本发明专利技术实施例，降低了数据同步的工作量和负担，从而提高了同步效率，能够实现大量数据的智能同步。能够实现大量数据的智能同步。能够实现大量数据的智能同步。

【技术实现步骤摘要】
数据同步方法、装置、电子设备及计算机存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据同步方法、装置、电子设备及计算机存储介质。

技术介绍

[0002]数据同步是一种常用的数据处理方法，通过对不同设备上的数据进行同步，可以保持不同设备上数据的完整性与统一性。随着通信和计算机技术的发展，人们的生活和工作越来越多地依赖于各种业务和应用，而这些业务和应用又会涉及海量数据的数据同步任务。
[0003]目前，在进行海量数据的数据同步任务时，如海量数据表的数据同步任务时，需要针对每一个数据表进行鉴别和区分，以为其创建适当的数据同步任务。为此，一些自动构建数据同步任务的工具应运而生。但是，这些工具大多只能简单为每一个数据表构建定期同步任务。显然，这种方式不适用于工业大数据场景，因为该场景下，数据表通常按照预设规则如按天存储，造成数据表数量巨大，不可能都进行同步，只能由人工介入。
[0004]由上可见，现有的数据同步方式在工业大数据场景下，同步效率较为低下，无法实现海量数据的智能同步。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种数据同步方案，以至少部分解决上述问题。
[0006]根据本专利技术实施例的第一方面，提供了一种数据同步方法，包括：根据数据同步指示，获取数据库中待同步数据的第一信息，和，所述数据库中已建立的数据同步任务对应的数据的第二信息；若确定所述第一信息和所述第二信息存在差异，则创建新的数据同步任务，以进行所述数据同步指示所指示的数据同步。
[0007]根据本专利技术实施例的第二方面，提供了一种数据同步装置，包括：获取模块，用于根据数据同步指示，获取数据库中待同步数据的第一信息，和，所述数据库中已建立的数据同步任务对应的数据的第二信息；同步模块，用于若确定所述第一信息和所述第二信息存在差异，则创建新的数据同步任务，以进行所述数据同步指示所指示的数据同步。
[0008]根据本专利技术实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的数据同步方法对应的操作。
[0009]根据本专利技术实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的数据同步方法。
[0010]根据本专利技术实施例提供的数据同步方案，以数据库中已建立的数据同步任务为依据，若待同步数据的第一信息与该任务对应的数据的第二信息存在差异，则表明相较于前次同步任务，数据已发生变化，需要进行数据同步。一方面，已建立的数据同步任务可以指
示已同步过的数据的信息(包括第二信息)，而通过比较第一信息和第二信息，即可确定哪些数据有变动，无需另行获取或存储第二信息；另一方面，数据库在收到数据同步指示后，即可对数据库中的所有数据进行检测，以确定第一信息和第二信息存在差异的那些数据，进而创建针对这些数据的数据同步任务，以进行数据同步。由此，在工业大数据场景下，可以针对有变动的数据进行处理，无需人工参与，且可避免对未发生变动的数据进行处理，降低了数据同步的工作量和负担，从而提高了同步效率，能够实现大量数据的智能同步。
附图说明
[0011]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0012]图1A为根据本专利技术实施例一的一种数据同步方法的步骤流程图；
[0013]图1B为图1A所示实施例中的一种场景示例的示意图；
[0014]图2A为根据本专利技术实施例二的一种数据同步方法的步骤流程图；
[0015]图2B为图2A所示实施例中的一种场景示例的示意图；
[0016]图3为根据本专利技术实施例三的一种数据同步方法的步骤流程图；
[0017]图4为根据本专利技术实施例四的一种数据同步方法的步骤流程图；
[0018]图5为根据本专利技术实施例五的一种数据同步装置的结构框图；
[0019]图6A为根据本专利技术实施例六的一种数据同步装置的结构框图；
[0020]图6B为图6A所示实施例中的一种数据同步架构的示意图；
[0021]图7为根据本专利技术实施例七的一种电子设备的结构示意图。
具体实施方式
[0022]为了使本领域的人员更好地理解本专利技术实施例中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术实施例一部分实施例，而不是全部的实施例。基于本专利技术实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本专利技术实施例保护的范围。
[0023]下面结合本专利技术实施例附图进一步说明本专利技术实施例具体实现。
[0024]实施例一
[0025]参照图1A，示出了根据本专利技术实施例一的一种数据同步方法的步骤流程图。
[0026]本实施例中，以待同步数据为数据表，第一信息和第二信息为元数据信息为示例，对本专利技术实施例提供数据同步方法进行示例性说明。但本领域技术人员应当明了，其它非数据表形式的数据也同样适用于本专利技术实施例的方案。本实施例的数据同步方法包括以下步骤：
[0027]步骤S102：根据数据同步指示，获取数据库中待同步的数据表的第一元数据信息，和，所述数据库中已建立的数据同步任务对应的数据表的第二元数据信息。
[0028]数据表的元数据信息可以描述数据表中数据的组织、数据域及其关系，通过元数据信息可确定数据表的结构。而已建立的数据同步任务中也携带有已进行过数据同步的数
据表的信息，即第二元数据信息。
[0029]需要说明的是，若无法在数据库中匹配到与待同步的数据表相对应的已建立的数据同步任务，则可认为该数据同步任务为空，其对应的数据表的第二元数据信息也为空。
[0030]数据库中包含有至少一个数据表，因此，在接收到数据同步指示后，可获取其中的每个待同步的数据表的第一元数据信息和已建立的数据同步任务对应的数据表的第二元数据信息，进而通过后续操作确定有变动的那些数据表并对其进行同步。为便于说明，本专利技术的多个实施例均以单个数据表为例，但本领域技术人员应当明了的是，在存在多个待同步的数据表的实际应用中，每个数据表都可参照本专利技术实施例实现数据同步。
[0031]此外，本专利技术实施例中，数据同步指示可以实现为任意适当的形式，如，指令形式、触发信号形式、消息形式等等，本专利技术实施例对此不作限定。
[0032]步骤S104：若确定第一元数据信息和第二元数据信息存在差异，则创建新的数据同步任务，以进行数据同步指示所指示的数据同步。
[0033]若第一元数据信息和第二元数据信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，包括：根据数据同步指示，获取数据库中待同步数据的第一信息，和，所述数据库中已建立的数据同步任务对应的数据的第二信息；若确定所述第一信息和所述第二信息存在差异，则创建新的数据同步任务，以进行所述数据同步指示所指示的数据同步。2.根据权利要求1所述的方法，其中，所述根据数据同步指示，获取数据库中待同步数据的第一信息，和，所述数据库中已建立的数据同步任务对应的数据的第二信息，包括：根据数据同步指示，获取数据库中待同步的数据表的第一元数据信息，和，所述数据库中已建立的数据同步任务对应的数据表的第二元数据信息；所述若确定所述第一信息和所述第二信息存在差异，则创建新的数据同步任务，以进行所述数据同步指示所指示的数据同步，包括：若确定所述第一元数据信息和所述第二元数据信息存在差异，则创建新的数据同步任务，以进行所述数据同步指示所指示的数据同步。3.根据权利要求2所述的方法，其中，所述确定所述第一元数据信息和所述第二元数据信息存在差异，包括：计算所述第一元数据信息对应的第一关键值和所述第二元数据信息对应的第二关键值；根据所述第一关键值和所述第二关键值的比较结果，确定所述第一元数据信息和所述第二元数据信息存在差异。4.根据权利要求2或3所述的方法，其中，所述创建新的数据同步任务，以进行所述数据同步指示所指示的数据同步，包括：确定所述待同步的数据表中的增量分割字段，根据所述增量分割字段创建新的数据同步任务，以进行所述数据同步指示所指示的数据同步。5.根据权利要求4所述的方法，其中，所述确定所述待同步的数据表中的增量分割字段，包括：获取所述待同步的数据表中的多个时间类型字段的信息，其中，所述时间类型字段的信息包括：是否为索引字段的信息、记录非空率的信息、最后一条记录对应的时间距离当前时间的时间距离信息；根据所述时间类型字段的信息，从多个所述时间类型字段中确定所述待同步的数据表中的增量分割字段。6.根据权利要求5所述的方法，其中，所述根据所述时间类型字段的信息，从多个所述时间类型字段中确定所述待同步的数据表中的增量分割字段，包括：根据所述是否为索引字段的信息及对应的权重、所述记录非空率的信息...

【专利技术属性】
技术研发人员：占怀旻，戢洋，华超杰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：