一种数据索引方法、装置、终端及存储介质制造方法及图纸

技术编号:30893896 阅读:28 留言:0更新日期:2021-11-22 23:35
本发明专利技术实施例提供了一种数据索引方法、装置、终端及存储介质,其中,方法包括:获取待存储的索引数据;待存储的索引数据具有时间戳;获取索引库中与待存储的索引数据的类型对应的多个索引;同一类型的多个索引的索引别名相同,索引具有时间段属性,同一类型的多个索引的时间段属性互不重合;从多个索引中确定与待存储的索引数据的时间戳关联的关联索引;关联索引的时间段属性包含时间戳;将待存储的索引数据划分到关联索引中;从而实现根据索引数据的时间戳对索引数据进行分类存储,在接收到包括时间信息的查询请求时,根据时间信息确定目标索引,只需要扫描目标索引中的索引数据,因此,减少了查询的数据量,提高了索引的效率。提高了索引的效率。提高了索引的效率。

【技术实现步骤摘要】
一种数据索引方法、装置、终端及存储介质


[0001]本专利技术涉及数据处理
,特别是涉及一种数据索引方法、装置、终端及存储介质。

技术介绍

[0002]大数据应用系统一般采用Elasticsearch(ES)搜索引擎,ES搜索引擎是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ES搜索引擎的水平伸缩性,能使数据在生产环境变得更有价值。
[0003]现有技术中,随着时间的推移,ES搜索引擎中的数据量会不断增长。因此,在查询数据时,需要扫描的数据量也会随着时间的推移而不断增长,导致查询速度变慢,获得查询结果的时间变长,难以满足用户的索引需求。

技术实现思路

[0004]本专利技术提供一种数据索引方法、装置、终端及计算机可读存储介质,以便在一定程度上解决现有技术中由于数据量增长导致的索引效率低的问题。
[0005]依据本专利技术的第一方面,提供了一种数据索引方法,所述方法包括:
[0006]获取待存储的索引数据;所述待存储的索引数据具有时间戳;<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据索引方法,其特征在于,所述方法包括:获取待存储的索引数据;所述待存储的索引数据具有时间戳;获取索引库中与所述待存储的索引数据的类型对应的多个索引;同一类型的多个所述索引的索引别名相同,所述索引具有时间段属性,同一类型的多个所述索引的时间段属性互不重合;从多个所述索引中确定与所述待存储的索引数据的时间戳关联的关联索引;所述关联索引的时间段属性包含所述时间戳;将所述待存储的索引数据划分到所述关联索引中。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:根据每个所述索引中的索引数据的数量确定索引分片数量;将所述索引中的索引数据按照预设规则划分到对应的索引分片中,使得多个所述索引分片中的索引数据的数量的差值在预设差值范围内。3.根据权利要求2所述的方法,其特征在于,所述索引数据包括数据标识,所述将所述索引中的索引数据按照预设规则划分到对应的索引分片中,使得多个所述索引分片中的索引数据的数量的差值在预设差值范围内,包括:根据所述索引数据的数据标识,通过预设哈希算法计算所述索引数据对应的哈希值;根据所述哈希值,将所述索引数据划分到对应的索引分片中。4.根据权利要求1所述的方法,其特征在于,所述从多个所述索引中确定与所述待存储的索引数据的时间戳关联的关联索引,还包括:若不存在与所述待存储的索引数据的时间戳关联的关联索引,则建立与所述待存储的索引数据的类型对应第一目标索引,并设置所述第一目标索引的时间段属性,使得所述第一目标索引的时间段属性包含所述待存储的索引数据的时间戳;将所述第一目标索引确定为与所述待存储的索引数据的时间戳关联的关联索引。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:接收索引重建请求,并根据所述索引重建请求确定待重建的第二目标索引;建立新索引;所述新索引的时间段属性与所述第二目标索引的时间段属性相同;向所述新索引导入对应的索引数据;设置所述新索引的索引别名为所述第二目标索引的索引别名,同时删除所述第二目标索引的索引别名。6.根据权利要求1所述的方法,其特征在于,所述方法还包括:判断所述索引库中的索引是否达到预设期限条件;若达到所述预设期限条件,则将所述索引的索引名称中的原始索引别名删除。7.根据权利要求5或6所述的方法,其特征在于,所述方法还包括:将所述已删除索引别名的索引删除。8.根据权利要求5或6所述的方法,其特征在于,所述方法还包括:接收针对所述已删除索引别名的索引的恢复请求;将所述...

【专利技术属性】
技术研发人员:欧阳勤
申请(专利权)人:北京奇艺世纪科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1