一种增量索引的更新方法、装置、存储介质及电子设备制造方法及图纸

本发明专利技术实施例公开了一种增量索引的更新方法、装置、存储介质及电子设备。该方法包括：获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数；若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更，和/或，所述当前无变更次数满足更新要求，则提取增量数据的增量标识，基于所述增量标识更新增量索引，以及更新历史增量数值标识和所述当前无变更次数。上述技术方案通过对历史增量数值标识、当前增量数值标识和当前无变更次数进行比较分析，实现了在主从模式下能够有效捕获增量数据，提高了数据同步的完整性，从而提高了增量索引的准确性。从而提高了增量索引的准确性。从而提高了增量索引的准确性。

【技术实现步骤摘要】
一种增量索引的更新方法、装置、存储介质及电子设备


[0001]本专利技术实施例涉及计算机
，尤其涉及一种增量索引的更新方法、装置、存储介质及电子设备。

技术介绍

[0002]搜索引擎通常情况下是对已有存储库中的数据进行索引，为外部提供快速查询和全文检索的能力。当存储库中的数据发生变更时要实时的将变更的数据更新到搜索引擎的索引中。
[0003]现有技术方案中，实现索引更新的方式通常为两种，一种是基于日志监控，通常能够在毫秒级实现索引数据的变更，这种基于日志监控的实现方式通常被称为实时索引。另一种是基于修改时间字段监控的方式实现，这种方式的基本操作流程为:搜索引擎服务每隔一个时间单位查询从当前时间到过去time(时间间隔t+偏移时间pt)秒之间发生变更的数据并取到数据的唯一ID,然后根据这批数据的唯一ID获取到全部文档数据，更新到搜索引擎的索引中。
[0004]但在数据库为主从模式下，发生数据同步延迟时，现有技术存在无法完整捕获增量数据的情况，从而降低了增量索引的准确性。

技术实现思路

[0005]本专利技术实施例提供一种增量索引的更新方法、装置、存储介质及电子设备，以实现完整捕获增量数据，提高增量索引的准确性。
[0006]第一方面，本专利技术实施例提供了一种增量索引的更新方法，所述方法包括：
[0007]获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数；
[0008]若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更，和/或，所述当前无变更次数满足更新要求，则提取增量数据的增量标识，基于所述增量标识更新增量索引，以及更新历史增量数值标识和所述当前无变更次数。
[0009]第二方面，本专利技术实施例还提供了一种增量索引的更新装置，所述装置包括：
[0010]数据获取模块，用于获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数；
[0011]数据更新模块，用于若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更，和/或，所述当前无变更次数满足更新要求，则提取增量数据的增量标识，基于所述增量标识更新增量索引，以及更新历史增量数值标识和所述当前无变更次数。
[0012]第三方面，本专利技术实施例还提供了一种电子设备，所述电子设备包括：
[0013]一个或多个处理器；
[0014]存储装置，用于存储一个或多个程序，
[0015]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术实施例任一所述的增量索引的更新方法。
[0016]第四方面，本专利技术实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本专利技术实施例中任一所述的增量索引的更新方法。
[0017]本专利技术通过获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数；若基于历史增量数值标识和当前增量数值标识确定数值标识发生变更，和/或，当前无变更次数满足更新要求，则提取增量数据的增量标识，基于增量标识更新增量索引，以及更新历史增量数值标识和所述当前无变更次数。上述技术方案通过对历史增量数值标识、当前增量数值标识和当前无变更次数进行比较分析，实现了在主从模式下能够有效捕获增量数据，提高了数据同步的完整性，从而提高了增量索引的准确性。此外，与现有技术相比，本专利技术通过设置增量索引的更新要求，可避免重复捕获增量数据的增量标识，从而提高增量索引的吞吐能力。
附图说明
[0018]为了更加清楚地说明本专利技术示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本专利技术所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
[0019]图1是本专利技术实施例一所提供的一种增量索引的更新方法的流程示意图；
[0020]图2是本专利技术实施例二所提供的一种增量索引的更新方法的流程示意图；
[0021]图3是本专利技术实施例三所提供的一种增量索引更新的流程图；
[0022]图4是本专利技术实施例四所提供的一种增量索引的更新装置的结构示意图；
[0023]图5是本专利技术实施例五所提供的一种电子设备的结构示意图。
具体实施方式
[0024]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。
[0025]另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0026]在介绍本技术方案之前，可以先对本技术方案涉及的数据库进行介绍。本专利技术技术方案可以将主从数据模式下的数据库与搜索引擎进行增量索引的更新。需要说明是，实施例中主从数据模式下的数据库仅是示例性说明，任何数据库与搜索引擎进行增量索引的更新的技术方案均在本专利技术实施例的保护范围之内。
[0027]实施例一
[0028]图1为本专利技术实施例一提供的一种增量索引的更新方法的流程图，本实施例可适用于主从模式的数据库增量更新，主数据库与从数据库进行增量同步情况，该方法可以由
本专利技术实施例提供的增量索引的更新装置来执行，该装置可以由软件和/或硬件来实现，该装置可以配置在电子计算设备上，例如，台式电脑或服务器等。具体包括如下步骤：
[0029]S110、获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数。本实施例中，在进行增量索引的更新之前，将数据库做主从模式处理，使数据库架构变为主从同步架构，主从同步使得数据可以从一个数据库服务器复制到其他服务器上，在复制数据时，一个服务器充当主数据库，其余的服务器充当数据库。其中，主数据库和数据库可以是MySQL数据库中的主数据库，也可以是ORACLE数据库中的主数据库，本实施例对此不做限制。主从模式的设置可以提高数据库的数据并发读写能力。为了防止搜索引擎的读取会为主数据库带来较大的压力，影响到正常的业务线，本实施例都是基于从数据库来实现增量索引的更新，具体而言，首先将写入主数据库的数据，复制到从数据库，然后将从数据库预设时间间隔内数据变更信息发送至索引服务装置，进行索引更新。需要说明的是，索引服务装置与数据库可以位于同一服务器或计算机上，也可以位于不同服务器或计算机上，本实施例对此不做限制。
[0030]历史增量数值标识指的是过去数据库发生数据变更时对应的数值标识，其中，数值标识是一种自增长序列中的数据，例如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增量索引的更新方法，其特征在于，所述方法包括：获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数；若基于所述历史增量数值标识和所述当前增量数值标识确定数值标识发生变更，和/或，所述当前无变更次数满足更新要求，则提取增量数据的增量标识，基于所述增量标识更新增量索引，以及更新历史增量数值标识和所述当前无变更次数。2.根据权利要求1所述的方法，其特征在于，所述增量数据的数值标识与写入数据库的时序正相关，所述数据库中历史增量数值标识为数据库中增量数据的最大数值标识。3.根据权利要求1所述的方法，其特征在于，所述更新要求为小于预设次数。4.根据权利要求1所述的方法，其特征在于，所述更新历史增量数值标识，包括：将至少一个当前增量数值标识中的最大数值标识更新为历史增量数值标识，其中，各执行增量索引更新任务的线程分别对应一当前增量数值标识。5.根据权利要求1所述的方法，其特征在于，所述更新当前无变更次数，包括：若所述历史增量数值标识和所述当前增量数值标识不同，则所述当前无变更次数更新为零；若所述历史增量数值标识和所述当前增量数值标识相同，则所述当前无变更次数加一。6.根据权利要求1所述的方法，其特征在于，获取数据库中历史增量数值标识、当前增量数值标识和当前无变更次数，包括...

【专利技术属性】
技术研发人员：户文龙，刘磊，徐霁，程民，
申请(专利权)人：挂号网杭州科技有限公司，
类型：发明
国别省市：