【技术实现步骤摘要】
用于日志查询的索引管理方法、装置、存储介质及设备
本公开涉及互联网
,尤其涉及一种用于日志查询的索引管理方法、装置、存储介质及设备。
技术介绍
目前,日志文件的存储通常是采用分布式存储,并进行集中管理的,但是由于日志文件中的每条日志中都包含着大量的信息,其中大部分的信息都并非是具有价值的信息,因此将日志文件进行集中管理会占用大量的存储空间,造成存储资源的浪费,并且直接对大量分布式日志的内容进行搜索会造成系统的性能低下,甚至是无法实现。现有技术中对日志文件进行的集中管理通常包括数据预处理、建立索引的操作,目前对于高速缓存中的索引的管理方式通常是基于命中原则,该管理方式缺乏灵活性,容易造成索引在高速缓存和低速缓存之间频繁的交换,当数据量较大时会导致系统性能严重下降。
技术实现思路
本公开提供一种用于日志查询的索引管理方法、装置、存储介质及设备,用于解决日志索引的管理性缺乏灵活性,易导致系统性能下降的问题。第一方面,提供一种用于日志查询的索引管理方法,所述方法包括:通过分析当前查询中涉及的查询模式,确定与所述查询模式对应的目标索引;将所述目标索引的索引热度增加一个单位 ...
【技术保护点】
一种用于日志查询的索引管理方法,其特征在于,所述方法包括:通过分析当前查询中涉及的查询模式,确定与所述查询模式对应的目标索引;将所述目标索引的索引热度增加一个单位热度,得到所述目标索引的更新后的索引热度;根据所述更新后的索引热度获取所述目标索引的当前热度排名;当根据所述当前热度排名确定所述目标索引满足预设条件时,将所述目标索引写入高速缓存。
【技术特征摘要】
1.一种用于日志查询的索引管理方法,其特征在于,所述方法包括:通过分析当前查询中涉及的查询模式,确定与所述查询模式对应的目标索引;将所述目标索引的索引热度增加一个单位热度,得到所述目标索引的更新后的索引热度;根据所述更新后的索引热度获取所述目标索引的当前热度排名;当根据所述当前热度排名确定所述目标索引满足预设条件时,将所述目标索引写入高速缓存。2.根据权利要求1所述的方法,其特征在于,所述通过分析当前查询中涉及的查询模式,确定与所述查询模式对应的目标索引,包括:通过分析当前查询中涉及的查询模式,获取所述查询模式所要查询的目标字段;根据所述目标字段确定与所述查询模式对应的目标索引。3.根据权利要求2所述的方法,其特征在于,所述根据所述目标字段确定与所述查询模式对应的目标索引,包括:根据所述目标字段确定是否存在包含所述目标字段的索引;当存在包含所述目标字段的一个或多个索引时,将所述一个或多个索引确定为所述目标索引;当不存在包含所述目标字段的一个或多个索引时,通过根据所述目标字段遍历日志文件来创建包含所述目标字段的一个或多个索引作为所述目标索引。4.根据权利要求1所述的方法,其特征在于,所述根据所述更新后的索引热度获取所述目标索引的当前热度排名,包括:根据所述更新后的索引热度,将所有索引按照索引热度由高到低的顺序进行排名,得到所述目标索引的当前热度排名;其中,当存在多个索引热度相同的索引时,将所述多个索引热度相同的索引按照索引热度的更新时间由后向前的顺序进行排名。5.根据权利要求1所述的方法,其特征在于,所述当根据所述当前热度排名确定所述目标索引满足预设条件时,将所述目标索引写入高速缓存,包括:确定所述目标索引是否位于高速缓存中;当所述目标索引没有位于所述高速缓存中时,确定所述当前热度排名是否大于或等于预设排名;当所述当前热度排名大于或等于所述预设排名时,确定所述目标索引满足所述预设条件,并将所述目标索引写入高速缓存;当所述当前热度排名小于所述预设排名时,确定所述目...
【专利技术属性】
技术研发人员:吴擒龙,
申请(专利权)人:东软集团股份有限公司,
类型:发明
国别省市:辽宁,21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。