多路索引更新数据的方法及系统、电子设备、存储介质技术方案

本申请提供一种多路索引更新数据的方法及系统、电子设备、存储介质，该方法包括：索引更新系统的索引更新节点将已构建的目标数据文档提交至索引更新系统的搜索引擎节点；其中，目标数据文档包括索引标识，索引标识包括文档标识和全局标识；搜索引擎节点依据文档标识查找本地数据文档，若查到，判断目标数据文档的全局标识是否大于本地数据文档的全局标识，如果是，以目标数据文档更新本地数据文档。该方案通过构建全局标识，有效避免了数据在更新过程中被覆盖和重复更新的现象，减少了资源浪费。浪费。浪费。

【技术实现步骤摘要】
多路索引更新数据的方法及系统、电子设备、存储介质


[0001]本申请涉及计算机
，特别涉及一种多路索引更新数据的方法及系统、电子设备、计算机可读存储介质。

技术介绍

[0002]搜索系统通常将业务数据提取、整理后存储到搜索引擎，并提供数据检索服务。搜索系统一般采用多路索引将数据同步到搜索引擎，其中，多路索引包含增量索引线路、全量索引线路、实时索引线路。当一个索引库存在多个业务场景时，每一个场景都需要包含全量、增量、实时三条索引线路。
[0003]在多路索引的场景下，当多条线路同时更新同一个文档，由于各线路查询数据、构建文档、索引数据的方式和消耗时间上的不一致，构建出来的文档就会存在新旧数据的情况。避免旧数据覆盖新数据的现有技术方案主要有：根据数据变更的时间戳作为版本号、重复更新数据、将实时索引线路提取的变更ID转交给增量线路再更新一次。
[0004]但上述三种技术方案都有一定的缺点，会造成数据不准确，重复更新变更数据，导致服务压力过大，搜索引擎承载双倍的压力，存在严重的资源浪费问题。
专利技术内容
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多路索引更新数据的方法，应用于索引更新系统，所述索引更新系统包括多个索引更新节点和搜索引擎节点，其特征在于，包括：所述索引更新节点将已构建的目标数据文档提交至所述搜索引擎节点，其中，所述目标数据文档包括索引标识，所述索引标识包括文档标识和全局标识；所述搜索引擎节点依据所述文档标识查找本地数据文档，若查到，判断所述目标数据文档的全局标识是否大于所述本地数据文档的全局标识，如果是，以所述目标数据文档更新所述本地数据文档。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：若查不到与所述文档标识对应的本地数据文档，所述搜索引擎节点存储所述目标数据文档。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：如果所述目标数据文档的全局标识不大于所述本地数据文档的全局标识，保留所述本地数据文档。4.根据权利要求1所述的方法，其特征在于，所述索引更新系统包括每一索引更新节点对应的提取节点；在所述将已构建的目标数据文档提交至所述搜索引擎节点之前，所述方法还包括：所述提取节点在目标数据源中存在变更数据时，获取已变更数据的文档标识和全局标识，并基于所述文档标识和所述全局标识构造索引标识，发送至对应的索引更新节点；所述索引更新节点依据所述索引标识构建目标数据文档。5.根据权利要求4所述的方法，其特征在于，所述索引更新系统包括标识分配节点；在所述获取已变更数据的文档标识和全局标识之前，所述方法还包括：所述标识分配节点为已变更数据分配唯一的...

【专利技术属性】
技术研发人员：户文龙，刘磊，张小军，
申请(专利权)人：挂号网杭州科技有限公司，
类型：发明
国别省市：