数据同步方法和存储介质技术

本申请适用于大数据技术领域，提供了一种数据同步方法和存储介质。上述方法通过在数据库的数据进行更新时，获取更新后的第一待同步数据，并根据第一待同步数据，更新第一数据集，得到第二数据集，实现在数据库的数据进行更新时实时同步数据，通过提高数据同步的频率减少每一次数据同步的数据量，从而在降低对数据库的性能占用的同时降低了数据同步延时；还通过获取数据库预设周期内进行更新的数据，得到第二待同步数据，并根据第二待同步数据，更新第二数据集，得到第三数据集，实现根据预设周期定时同步数据，可以在实时同步数据发生数据遗漏时再次同步数据，保证了数据同步的完整性。保证了数据同步的完整性。保证了数据同步的完整性。

Data synchronization method and storage medium

【技术实现步骤摘要】
数据同步方法和存储介质


[0001]本申请属于大数据
，尤其涉及一种数据同步方法和存储介质。

技术介绍

[0002]目前拥有数据处理业务或处理业务过程中生成大量数据的企事业单位，会选择将数据导入数据库中进行统一的存储和管理，可以实现数据的集中化管理和数据结构化。而数据库在进行检索、调用等数据分析任务时处理效率差，在面对大规模的数据分析需求时，通常会将数据迁移至数据分析引擎，以提高数据分析的处理效率。
[0003]在将数据迁移至数据分析引擎时，数据迁移的频率越低，数据同步延时越高，使数据分析引擎无法及时获取最新数据；数据迁移的频率越高，数据同步延时越小，而对数据库的性能占用提高，影响数据库的数据处理能力，因此，如何在降低数据库的性能占用的同时降低数据同步延时成为当前亟需解决的问题。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种数据同步方法和存储介质，以解决目前在将数据迁移至数据分析引擎时，降低数据同步延时会导致对数据库的性能占用提高的问题。
[0005]本申请实施例的第一方面提供了一种数据同步方法，应用于数据分析服务器，所述数据分析服务器与至少一个数据库连接，所述方法包括：
[0006]获取所述数据库的所有数据，生成第一数据集；
[0007]在所述数据库的数据进行更新时，获取更新后的第一待同步数据；
[0008]根据所述第一待同步数据，更新所述第一数据集，得到第二数据集；
[0009]获取所述数据库在预设周期内进行更新的数据，得到第二待同步数据；
[0010]根据所述第二待同步数据，更新所述第二数据集，得到第三数据集。
[0011]本申请实施例的第一方面提供一种数据同步方法，通过在数据库的数据进行更新时，获取更新后的第一待同步数据，并根据第一待同步数据，更新第一数据集，得到第二数据集，实现在数据库的数据进行更新时实时同步数据，通过提高数据同步的频率减少每一次数据同步的数据量，从而在降低对数据库的性能占用的同时降低了数据同步延时；还通过获取数据库预设周期内进行更新的数据，得到第二待同步数据，并根据第二待同步数据，更新第二数据集，得到第三数据集，实现根据预设周期定时同步数据，可以在实时同步数据发生数据遗漏时再次同步数据，保证了数据同步的完整性。
[0012]本申请实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面提供的数据同步方法的步骤。
[0013]可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
[0014]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]图1是本申请实施例提供的一种数据分析服务器与至少一个数据库连接的场景示意图；
[0016]图2是本申请实施例提供的数据同步方法的第一种流程示意图；
[0017]图3是本申请实施例提供的数据同步方法的第二种流程示意图；
[0018]图4是本申请实施例提供的数据同步装置的结构示意图；
[0019]图5是本申请实施例提供的终端设备的结构示意图。
具体实施方式
[0020]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0021]应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0022]还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0023]如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0024]另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0025]在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0026]在应用中，在将数据迁移至数据分析引擎时，数据迁移的频率越低，数据同步延时越高，使数据分析引擎无法及时获取最新数据；数据迁移的频率越高，数据同步延时越小，而对数据库的性能占用提高，影响数据库的数据处理能力，因此，如何在降低数据库的性能占用的同时降低数据同步延时成为当前亟需解决的问题。
[0027]针对上述技术问题，本申请实施例提供一种数据同步方法，通过在数据库的数据
进行更新时，获取更新后的第一待同步数据，并根据第一待同步数据，更新第一数据集，得到第二数据集，实现在数据库的数据进行更新时实时同步数据，通过提高数据同步的频率减少每一次数据同步的数据量，从而在降低对数据库的性能占用的同时降低了数据同步延时；还通过获取数据库预设周期内进行更新的数据，得到第二待同步数据，并根据第二待同步数据，更新第二数据集，得到第三数据集，实现根据预设周期定时同步数据，可以在实时同步数据发生数据遗漏时再次同步数据，保证了数据同步的完整性。
[0028]本申请实施例提供的数据同步方法可以应用于数据分析服务器，或者能够对数据分析服务器进行驱动控制的任意终端设备。终端设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra
‑
mobile personal computer，UMPC)、上网本、个人数字助理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于数据分析服务器，所述数据分析服务器与至少一个数据库连接，所述方法包括：获取所述数据库的所有数据，生成第一数据集；在所述数据库的数据进行更新时，获取更新后的第一待同步数据；根据所述第一待同步数据，更新所述第一数据集，得到第二数据集；获取所述数据库在预设周期内进行更新的数据，得到第二待同步数据；根据所述第二待同步数据，更新所述第二数据集，得到第三数据集。2.如权利要求1所述的数据同步方法，其特征在于，所述获取所述数据库的所有数据，生成第一数据集，包括：获取所述数据库的每一条数据和所述每一条数据的数据标识，生成第一数据集；所述获取所述数据库在预设周期内进行更新的数据，得到第二待同步数据，包括：获取所述数据库在预设周期内进行更新的数据，得到第二待同步数据和所述第二待同步数据的数据标识。3.如权利要求2所述的数据同步方法，其特征在于，所述根据所述第二待同步数据，更新所述第二数据集，得到第三数据集，包括：根据所述第二待同步数据的数据标识，确定第二数据集中的代替换数据；在所述第二待同步数据与所述代替换数据相同时，将所述第二待同步数据录入备份数据集；在所述第二待同步数据与所述代替换数据不同时，根据所述第二待同步数据，更新所述第二数据集，得到第三数据集。4.如权利要求1所述的数据同步方法，其特征在于，所述在所述数据库中的数据进行更新时，获取更新后的第一待同步数据，包括：在所述数据库的任意一条数据进行更新时，将更新后的所述任意一条数据作为第一待同步数据并发送至消息队列，所述消息队列用于存储所述第一待同步数据；所述根据所述第一待同步数据，更新所述第一数据集，得到第二数据集，包括：根据所述第一待同步数据加入所述消息队列的顺序，将所述第一待同步数据更新至所述第一数据集，得到第二数据集。5.如权利要求1所述的数据同步方法，其特征在于，所述在所述数据库的数据进行更新时，获取更新后的第一待同步数据之后，还包括：根据所述第一待同步数据的数据类型，确定所述第一待同步数据的索引类型，以对所述第一待同步数据进行分类；所述获取...

【专利技术属性】
技术研发人员：梅俊原，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：