数据同步方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提出一种数据同步方法、装置、设备及存储介质，所述数据同步方法包括：获取所述搜索引擎的至少一个检索索引，每个所述检索索引指向至少一种数据类型的检索数据，所述搜索引擎依据所述检索索引在对应数据类型的所述检索数据中进行检索；从外部数据平台获取所述检索索引对应的所述数据类型的待同步的检索数据；创建同步索引，将所述同步索引指向所述待同步的检索数据；将所述检索索引指向所述同步索引；接收检索关键词，依据所述检索关键词获取对应的所述检索索引，在所述检索索引指向的所述同步索引对应的所述检索数据中进行检索。通过上述方法，本发明专利技术能够达到提高数据同步的及时性、稳定性、可靠性及完整性的目的。可靠性及完整性的目的。可靠性及完整性的目的。

【技术实现步骤摘要】
数据同步方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理\数据同步
，尤其涉及一种数据同步方法、装置、设备及存储介质。

技术介绍

[0002]在信息化的时代，搜索引擎在各行各业发挥着极其重要的作用，搜索数据的同步是决定搜索是否准确的重要步骤，当前搜索引擎普遍采用的同步方法是，同步数据前会先将检索索引及检索索引下的数据全部删除，然后再开始全量同步，全量同步数据时，先获取需要同步的数据，然后创建一个自定义的索引，然后将数据插入到该索引下，后续进行检索时，都会以这个索引来检索数据。
[0003]采用如上方法进行数据同步,在存在异常导致同步失败的时候，会因为旧数据已被删除，新数据又同步失败，导致使用新建的索引检索数据时，存在查询出错、查询不到数据、查询到的数据不完整等问题。

技术实现思路

[0004]本专利技术提供一种数据同步方法、装置、设备及存储介质，能够达到提高数据同步的及时性、稳定性、可靠性及完整性的目的。
[0005]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种数据同步方法，所述数据同步方法包括：
[0006]获取所述搜索引擎的至少一个检索索引，每个所述检索索引指向至少一种数据类型的检索数据，所述搜索引擎依据所述检索索引在对应数据类型的所述检索数据中进行检索；
[0007]从外部数据平台获取所述检索索引对应的所述数据类型的待同步的检索数据；
[0008]创建同步索引，将所述同步索引指向所述待同步的检索数据；
[0009]将所述检索索引指向所述同步索引；
[0010]接收检索关键词，依据所述检索关键词获取对应的所述检索索引，在所述检索索引指向的所述同步索引对应的所述检索数据中进行检索。
[0011]根据本专利技术的一种实施例，所述从外部数据平台获取所述检索索引对应的所述数据类型的待同步的检索数据，包括：
[0012]创建至少一个第一调度任务，所述第一调度任务为按预设时间被调度器调度执行的任务；
[0013]按所述预设时间调度所述第一调度任务从所述外部数据平台获取所述待同步的检索数据。
[0014]根据本专利技术的一种实施例，所述创建同步索引，将所述同步索引指向所述待同步的检索数据，包括：
[0015]调度所述第一调度任务创建所述同步索引，并为所述同步索引命名获得所述同步
索引名称，不同所述同步索引对应不同所述同步索引名称；
[0016]依据所述同步索引名称调度所述第一调度任务将所述同步索引指向所述待同步的检索数据。
[0017]根据本专利技术的一种实施例，所述检索索引包括检索索引名称，不同所述检索索引对应不同所述检索索引名称，所述将所述检索索引指向所述同步索引，包括：
[0018]依据所述检索索引名称、所述同步索引名称将所述检索索引指向所述同步索引。
[0019]根据本专利技术的一种实施例，所述将所述检索索引指向所述同步索引，包括：
[0020]创建第二调度任务；
[0021]判断所述第一调度任务是否执行成功，若所述第一调度任务执行成功，则调度所述第二调度任务获取所述检索索引当前的指向关系；
[0022]若所述检索索引当前指向除所述同步索引外的其他索引，则调度所述第二调度任务移除所述检索索引与所述其他索引的指向关系；并
[0023]将所述检索索引指向所述同步索引。
[0024]根据本专利技术的一种实施例，所述数据同步方法还包括：
[0025]调度所述第二调度任务删除所述其他索引及其对应的检索数据。
[0026]根据本专利技术的一种实施例，所述数据同步方法，还包括：
[0027]接收第一指令，所述第一指令为触发调度器进行任务调度的指令；
[0028]依据所述第一指令，调度所述第一调度任务从外部数据平台获取待同步的检索数据。
[0029]此外，为解决上述技术问题，本专利技术还采用的一个技术方案是：提供一种数据同步装置，所述数据同步装置包括：
[0030]获取模块，用于用于获取所述搜索引擎的至少一个检索索引，每个所述检索索引指向至少一种数据类型的检索数据，所述搜索引擎依据所述检索索引在对应数据类型的所述检索数据中进行检索；
[0031]第一调度模块，用于从外部数据平台获取所述检索索引对应的所述数据类型的待同步的检索数据；创建同步索引，将所述同步索引指向所述待同步的检索数据；第二调度模块，用于将所述检索索引指向所述同步索引；
[0032]检索模块，用于接收检索关键词，依据所述检索关键词获取对应的所述检索索引，在所述检索索引指向的所述同步索引对应的所述检索数据中进行检索。
[0033]此外，为解决上述技术问题，本专利技术还采用的一个技术方案是：提供一种数据同步设备，所述数据同步设备包括处理器、与所述处理器耦接的存储器，其中，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上述任一项所述数据同步方法的步骤。
[0034]此外，为解决上述技术问题，本专利技术还采用的一个技术方案是：提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述任一项所述数据同步方法的步骤。
[0035]本专利技术提出的数据同步方法、装置、设备及存储介质，通过使用检索数据进行数据检索，同时使用同步索引进行数据更新，并将检索索引指向对应的同步索引完成检索数据同步，使用两层索引可以在同步检索数据的过程中不影响搜索引擎的正常检索功能，在同
步索引对应检索数据失败时，检索索引仍可以对旧的检索数据进行检索，避免了同步失败导致检索功能不可用，或者查询出错、查询不到数据、查询到的数据不完整等问题，提高了数据同步的及时性、稳定性、可靠性及完整性。
[0036]进一步地，通过创建第一调度任务进行所述检索数据的获取，不需要人为介入，可以定时的进行检索数据的获取，便于检索数据及时的同步更新。
[0037]进一步地，通过第二调度任务进行索引切换，将数据更新和索引切换区分到两个互不影响的调度任务中，在数据获取失败或出现异常时，第二调度任务不会进行索引切换，保证了数据同步的可靠性。
[0038]进一步地，通过在索引切换后，对其他索引对应的多余的数据进行删除，可以节约存储空间，并且保障了数据更新的容错性，避免数据同步失败又删除了原有检索数据导致检索异常。
[0039]进一步地，通过检索索引名称、同步索引名称对所述检索索引和所述同步索引进行指向对应，指向关系简单明了、实现简单，进一步保证了数据同步的正确性。
[0040]进一步地，所述第一调度任务可以通过接收第一指令触发执行，可以在同步失败的问题解决后手动触发检索数据的同步，提高了数据同步的及时性。
附图说明
[0041]图1是本专利技术一种实施例的数据同步方法的流程示意图；
[0042]图2是本专利技术一种实施例的数据同步装置的结构示意图；
...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述数据同步方法用于搜索引擎同步检索数据，所述数据同步方法包括：获取所述搜索引擎的至少一个检索索引，每个所述检索索引指向至少一种数据类型的检索数据，所述搜索引擎依据所述检索索引在对应数据类型的所述检索数据中进行检索；从外部数据平台获取所述检索索引对应的所述数据类型的待同步的检索数据；创建同步索引，将所述同步索引指向所述待同步的检索数据；将所述检索索引指向所述同步索引；接收检索关键词，依据所述检索关键词获取对应的所述检索索引，在所述检索索引指向的所述同步索引对应的所述检索数据中进行检索。2.根据权利要求1所述数据同步方法，其特征在于，所述从外部数据平台获取所述检索索引对应的所述数据类型的待同步的检索数据，包括：创建至少一个第一调度任务，所述第一调度任务为按预设时间被调度器调度执行的任务；按所述预设时间调度所述第一调度任务从所述外部数据平台获取所述待同步的检索数据。3.根据权利要求2所述数据同步方法，其特征在于，所述创建同步索引，将所述同步索引指向所述待同步的检索数据，包括：调度所述第一调度任务创建所述同步索引，并为所述同步索引命名获得所述同步索引名称，不同所述同步索引对应不同所述同步索引名称；依据所述同步索引名称调度所述第一调度任务将所述同步索引指向所述待同步的检索数据。4.根据权利要求3所述数据同步方法，其特征在于，所述检索索引包括检索索引名称，不同所述检索索引对应不同所述检索索引名称，所述将所述检索索引指向所述同步索引，包括：依据所述检索索引名称、所述同步索引名称将所述检索索引指向所述同步索引。5.根据权利要求3所述数据同步方法，其特征在于，所述将所述检索索引指向所述同步索引，包括：创建第二调度任务；判断所述第一调度任务是否执行成功，若所述第一调度任务执行成功...

【专利技术属性】
技术研发人员：祝昊阳，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：