一种索引文件的处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种索引文件的处理方法、装置、电子设备及存储介质，方法包括：响应于扫描指令，确定待扫描的日期范围；将所述扫描指令与所述策略索引表中的多条扫描策略进行匹配，确定与所述扫描指令对应的目标扫描策略；确定与所述目标扫描策略对应的日期信息，并根据所述日期范围从所述日期信息中确定目标日期信息；获取所述目标日期信息对应的当前索引文件，并对所述当前索引文件进行扫描。这样，在对所有的索引文件进行扫描时，通过策略索引表缩小扫描范围，再通过日期索引表需求量一步缩小扫描范围，从而从所有的索引文件中精准地确定出需要进行扫描的索引文件，提高了扫描效率，降低了扫描成本。

【技术实现步骤摘要】

本专利技术涉及分布式存储集群，特别是涉及一种索引文件的处理方法、装置、电子设备及存储介质。

技术介绍

1、在分布式存储集群中，文件分层功能可以将数据按照指定的规则自动存储在不同的位置，以达到对数据进行分类智能管理的目的。在分层功能实际执行时，需要先确定符合分层策略的文件，即扫描符合分层策略的文件，扫描需要考虑的核心问题：避免对系统产生影响，目前业界有多种扫描方式：

2、1)直接遍历整个文件系统，从根目录遍历逐级递归遍历各级目录将符合条件的文件扫描出来，此方法属于暴力遍历，一方面会对文件系统产生重大的性能影响，一方面扫描效率低下，每次扫描都要全量扫描，在海量数据上亿之后最少耗时天级别的时间单位。

3、2)借助第三方工具如elasticsearch，先把元数据上报到elasticsearch，然后利用elasticsearch的高速索引实现快速查找，但elasticsearch需要加内存、固态硬盘等硬件资源，成本高。

技术实现思路

1、鉴于上述问题，提出了本专利技术实施例以便提供一种克服上本文档来自技高网...

【技术保护点】

1.一种索引文件的处理方法，其特征在于，应用于元数据服务，所述元数据服务具有索引表，所述索引表包括策略索引表和日期索引表，所述策略索引表包括多条扫描策略，所述日期索引表包括与各条扫描策略分别对应的日期信息；所述方法包括：

2.根据权利要求1所述的索引文件的处理方法，其特征在于，在所述响应于扫描指令，确定待扫描的日期范围之前，还包括：

3.根据权利要求1所述的索引文件的处理方法，其特征在于，所述处理请求包括时间字段，所述策略索引表中的每条扫描策略包括时间字段；所述基于所述日志文件对历史索引文件进行更新，得到更新后的当前索引文件，

4.根据权利要求1所述的...

【技术特征摘要】

1.一种索引文件的处理方法，其特征在于，应用于元数据服务，所述元数据服务具有索引表，所述索引表包括策略索引表和日期索引表，所述策略索引表包括多条扫描策略，所述日期索引表包括与各条扫描策略分别对应的日期信息；所述方法包括：

2.根据权利要求1所述的索引文件的处理方法，其特征在于，在所述响应于扫描指令，确定待扫描的日期范围之前，还包括：

3.根据权利要求1所述的索引文件的处理方法，其特征在于，所述处理请求包括时间字段，所述策略索引表中的每条扫描策略包括时间字段；所述基于所述日志文件对历史索引文件进行更新，得到更新后的当前索引文件，

4.根据权利要求1所述的索引文件的处理方法，其特征在于，所述扫描指令包括扫描的日期条件；所述响应于扫描指令，确定待扫描的日期范围，

5.根据权利要求1所述的索引文件的处理方法，其特征在于，所述扫描指令还包括扫描策略的策略名和时间字段；所述将所述扫描指令与所述策略索引表中的多条扫描策略进行匹配，确定与所述扫描指令对应的目标扫描策略，包括：

6.根据权利要求5所述的索引文件的处理方...

【专利技术属性】
技术研发人员：孙业宽，刘洪栋，李旭东，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：