【技术实现步骤摘要】
索引重建方法、装置、设备、计算机可读存储介质及产品
本公开实施例涉及计算机与数据库
，尤其涉及一种索引重建方法、装置、设备、计算机可读存储介质及产品。
技术介绍
Elasticsearch(简称ES)是一个分布式、可扩展、实时的搜索与数据分析引擎。索引提供指向存储在表的指定列中的数据值的指针，数据库使用索引以找到特定值，然后顺指针找到包含该值的行。其可以应用在任意一种聚合了多种不同第三方数据的搜索业务场景中。一方面，随着业务的迭代发展，不断有新的字段加入ES中，另一方面，搜索业务需要不断的优化分词算法等并将其快速迭代应用到ES中，这些情况下就需要对ES索引数据和字段进行重建。为了实现对ES索引的重建操作，现有技术中一般都是设置一个脚本程序，通过该脚本程序定时扫描数据库新增数据更新到ES。当遇到索引字段变更或者分词全部变更时，通常需要启动单独的脚本去遍历数据库，更新完所有数据。但是，采用上述方法进行索引重建时，采用脚本程序进行离线数据的变更往往需要较长的时间。而由于索引重建的时间较长，用户在采用该索引进行...
【技术保护点】
1.一种索引重建方法，其特征在于，包括：/n获取索引重建配置信息，所述索引重建配置信息中包括原索引以及与所述原索引对应的待重建索引；/n根据所述索引重建配置信息，从预设的分布式数据仓库中获取与原索引对应的离线数据并写入到待重建索引对应的数据存放区域中；/n通过预设的脚本程序获取变更在线数据，将所述变更在线数据分别写入所述原索引对应的数据存放区域以及所述待重建索引对应的数据存放区域中，获得更新后的原索引以及更新后的待重建索引；/n根据所述更新后的原索引以及更新后的待重建索引之间的误差，确定重建后的目标索引。/n
【技术特征摘要】
1.一种索引重建方法，其特征在于，包括：
获取索引重建配置信息，所述索引重建配置信息中包括原索引以及与所述原索引对应的待重建索引；
根据所述索引重建配置信息，从预设的分布式数据仓库中获取与原索引对应的离线数据并写入到待重建索引对应的数据存放区域中；
通过预设的脚本程序获取变更在线数据，将所述变更在线数据分别写入所述原索引对应的数据存放区域以及所述待重建索引对应的数据存放区域中，获得更新后的原索引以及更新后的待重建索引；
根据所述更新后的原索引以及更新后的待重建索引之间的误差，确定重建后的目标索引。
2.根据权利要求1所述的方法，其特征在于，所述索引重建配置信息中还包括所述原索引对应的消息队列信息，所述通过预设的脚本程序获取变更在线数据，包括：
通过所述脚本程序查询所述消息队列信息中，预设的第一时间节点对应的消息队列信息中的历史消费位置；
以所述历史消费位置为起点，预设的第二时间节点对应的消费位置为终点，获取所述起点与所述终点之间消息队列中的在线数据；
将所述起点与所述终点之间消息队列中的在线数据确定为所述变更在线数据；
其中，所述第二时间节点晚于所述第一时间节点。
3.根据权利要求2所述的方法，其特征在于，所述通过所述脚本程序查询所述消息队列信息中，预设的第一时间节点对应的消息队列信息中的历史消费位置之前，还包括：
按照预设的时间间隔，通过所述消息队列的调用接口，记录每次读取消息队列中的在线数据对应的历史消费位置。
4.根据权利要求2或3所述的方法，其特征在于，所述将所述起点与所述终点之间消息队列中的在线数据确定为所述变更在线数据之后，还包括：
确定获取所述起点与所述终点之间消息队列中的在线数据所需的时长；
在所述消息队列信息中，获取所述时长对应的在线数据，将所述时长对应的在线数据以及所述起点与所述终点之间消息队列中的在线数据作为所述变更在线数据。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述索引重建配置信息，从预设的分布式数据仓库中获取与原索引对应的离线数据并写入到待重建索引对应的数据存放区域中，包括：
获取预设的映射关系表，其中，所述映射关系表中包括分布式数据仓库中离线数据与原索引之间的映射关系；
根据所述映射关系表，将所述分布式数据仓库中的与原索引对应的离...
【专利技术属性】
技术研发人员：陈雷，邱永刚，彭天琛，周霖，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。