一种分布式文件系统热度统计方法、装置制造方法及图纸

本发明专利技术提供一种分布式文件系统热度统计方、装置，该方法包括如下步骤：根据文件的热度值，将文件分配至快速池和慢速池；接收定时上报的文件的热度值并更新热度表中对应文件的热度值；快速池的文件通过对相应文件对应的热度表进行定期扫描触发更新热度值；慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值。快速池文件分两级结构存储，便于快速查找快速池中冷文件。慢速池访问触发式更新热度值，减少了全量扫描速度慢的问题。

【技术实现步骤摘要】
一种分布式文件系统热度统计方法、装置
本专利技术涉及分布式文件系统
，具体涉及一种分布式文件系统热度统计方法、装置。
技术介绍
分布式集群存储在当前大文件多种场景下(如视频监控、广电媒资、高性能等)广泛应用。分布式文件系统中存在海量文件，迫切需要区分冷热文件，并根据冷热文件进行分级存储，将热点文件存储在小容量的快速池(比如SSD池)，而冷文件淘汰进入大容量的慢池子(比如HDD池)。在海量文件场景，如何快速定位冷热文件成为分级存储的关键技术难题。
技术实现思路
在海量文件场景，如何快速定位冷热文件成为分级存储的关键技术难题，本专利技术提供一种分布式文件系统热度统计方法、装置。本专利技术的技术方案是：一方面，本专利技术技术方案提供一种分布式文件系统热度统计方法，包括如下步骤：根据文件的热度值，将文件分配至快速池和慢速池；接收定时上报的文件的热度值并更新热度表中对应文件的热度值；快速池的文件通过对相应文件对应的热度表进行定期扫描触发更新热度值；慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值。提出了冷热文件区分判断方式，即对于快速池中的文件全量保存，通过定时扫描找到快速池中最冷的文件；而对于慢速池中的文件可以不保存，采用访问触发式，当热度值大于设定的热阈值时，则进行迁移。优选地，快速池的文件通过对文件对应的热度表进行定期扫描触发更新热度值的步骤包括：定期对快速池中文件对应的热度表进行扫描，并根据时间按预设规则进行热度衰减操作；热度衰减后，当热度值小于设定的冷阈值时，将该热度值对应的文件放入待迁移慢速池队列，进行文件迁移；迁移完成后，更新热度表及热度表中文件对应热度值。优选地，慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值的步骤包括：当接收到上报的文件热度值时,根据时间按预设规则进行热度衰减操作,热度衰减后，判断热度值是否大于设定的热阈值，若是，将该热度值对应的文件放入待迁移快速池队列，进行文件迁移，若否，将该文件存入慢速池缓存中；当访问慢速池缓存中文件时，根据时间按预设规则进行热度衰减操作；热度衰减后，当热度值大于设定的热阈值时，将该热度值对应的文件放入待迁移快速池队列，进行文件迁移；迁移完成后，清理热度表中该文件对应的热度值。访问慢速池缓存中文件，并且热度表只存储缓存中文件的热度值。触发式更新热度值，减少了全量扫描速度慢的问题。优选地，便于快速查找快速池中冷文件，即热度值最小的文件，热度表为两级结构存储，其中，一级结构存储目录的热度信息，目录的热度信息为目录下所有文件热度最小值；二级结构存储对应目录下每个文件的热度信息。优选地，定期对快速池中文件对应的热度表进行扫描，并根据时间按预设规则进行热度衰减操作的步骤中，对快速池中文件对应的热度表进行扫描的步骤包括：扫描一级结构存储的目录下所有文件热度最小值，若目录下所有文件热度最小值大于冷阈值，则不需要扫描二级结构，否则，扫描对应目录下每个文件的热度信息。优选地，该方法中通过热度衰减公式进行热度衰减，热度衰减公式为：其中Rnew为新的热度值，Rold为衰减前的热度值，t为时间，half为半衰期参数。另一方面，本专利技术技术方案提供一种分布式文件系统热度统计装置，包括分配模块、热度表更新模块、快速池热度处理模块和慢速池热度处理模块；分配模块，用于根据文件的热度值，将文件分配至快速池和慢速池；热度表处理模块，用于接收定时上报的文件热度值并更新热度表中对应文件的热度值；快速池热度处理模块，用于将快速池的文件通过对文件对应的热度表进行定期扫描触发更新热度值；慢速池热度处理模块，用于将慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值。优选地，快速池热度处理模块包括：扫描模块、第一处理模块、第一判断模块、第一迁移模块；扫描模块，定期对快速池中文件对应的热度表进行扫描；第一处理模块，用于根据时间按预设规则进行热度衰减操作；第一判断模块，用于热度衰减后，判断热度值是否小于设定的冷阈值，若是，将该热度值对应的文件放入待迁移慢速池队列；第一迁移模块，用于将待迁移慢速池队列的文件迁移到慢速池；热度表更新模块，还用于待迁移慢速池队列的文件迁移到慢速池后，更新热度表及热度表中文件对应热度值。优选地，慢速池热度处理模块包括第二处理模块、第二判断模块、第二迁移模块；第二处理模块，用于当接收到上报的文件热度值时,根据时间按预设规则进行热度衰减操作；还用于当访问慢速池缓存中文件时，根据时间按预设规则进行热度衰减操作；第二判断模块，用于热度衰减后，判断热度值是否大于设定的热阈值，若是，将该热度值对应的文件放入待迁移快速池队列，若否，将该文件存入慢速池缓存中；第二迁移模块，用于将待迁移快速池队列的文件迁移到快速池；热度表更新模块，还用于待迁移快速池队列的文件迁移到快速池后，清理热度表中该文件对应的热度值。访问慢速池缓存中文件时进行热度衰减，并且热度表只存储缓存中文件的热度值。优选地，热度表为两级结构存储，其中，一级结构，用于存储目录的热度信息，目录的热度信息为目录下所有文件热度最小值；二级结构，用于存储对应目录下每个文件的热度信息。优选地，扫描模块，具体用于扫描一级结构存储的目录下所有文件热度最小值，若目录下所有文件热度最小值大于冷阈值，则不需要扫描二级结构，否则，扫描对应目录下每个文件的热度信息。从以上技术方案可以看出，本专利技术具有以下优点：针对文件的热度统计，提出了冷热文件区分判断方式。即对于快速池的文件全量保存，以便于找到快速池中最冷的文件；而对于慢速池中的文件可以不保存，采用访问触发式，当热度值大于热阈值，则进行迁移。快速池文件分两层结构存储，便于快速查找快速池中冷文件。慢速池文件根据时间进行热度衰减，触发式更新热度值，减少了全量扫描速度慢的问题。此外，本专利技术设计原理可靠，结构简单，具有非常广泛的应用前景。由此可见，本专利技术与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例的方法的示意性流程图。具体实施方式为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都本文档来自技高网...

【技术保护点】
1.一种分布式文件系统热度统计方法，其特征在于，包括如下步骤：/n根据文件的热度值，将文件分配至快速池和慢速池；/n接收定时上报的文件的热度值并更新热度表中对应文件的热度值；/n快速池的文件通过对相应文件对应的热度表进行定期扫描触发更新热度值；慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值。/n

【技术特征摘要】
1.一种分布式文件系统热度统计方法，其特征在于，包括如下步骤：
根据文件的热度值，将文件分配至快速池和慢速池；
接收定时上报的文件的热度值并更新热度表中对应文件的热度值；
快速池的文件通过对相应文件对应的热度表进行定期扫描触发更新热度值；慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值。


2.根据权利要求1所述的一种分布式文件系统热度统计方法，其特征在于，快速池的文件通过对相应文件对应的热度表进行定期扫描触发更新热度值的步骤包括：
定期对快速池中文件对应的热度表进行扫描，并根据时间按预设规则进行热度衰减操作；
热度衰减后，当热度值小于设定的冷阈值时，将该热度值对应的文件放入待迁移慢速池队列，进行文件迁移；
迁移完成后，更新热度表及热度表中文件对应热度值。


3.根据权利要求1所述的一种分布式文件系统热度统计方法，其特征在于，慢速池的文件根据时间按预设规则进行热度衰减操作，通过访问缓存文件触发更新热度值的步骤包括：
当接收到上报的文件热度值时,根据时间按预设规则进行热度衰减操作,热度衰减后，判断热度值是否大于设定的热阈值，若是，将该热度值对应的文件放入待迁移快速池队列，进行文件迁移，若否，将该文件存入慢速池缓存中；
当访问慢速池缓存中文件时，根据时间按预设规则进行热度衰减操作；热度衰减后，当热度值大于设定的热阈值时，将该热度值对应的文件放入待迁移快速池队列，进行文件迁移；
迁移完成后，清理热度表中该文件对应的热度值。


4.根据权利要求1所述的一种分布式文件系统热度统计方法，其特征在于，热度表为两级结构存储，其中，一级结构存储目录的热度信息，目录的热度信息为目录下所有文件热度最小值；
二级结构存储对应目录下每个文件的热度信息。


5.根据权利要求2所述的一种分布式文件系统热度统计方法，其特征在于，定期对快速池中文件对应的热度表进行扫描，并根据时间按预设规则进行热度衰减操作的步骤中，对快速池中文件对应的热度表进行扫描的步骤包括：
扫描一级结构存储的目录下所有文件热度最小值，若目录下所有文件热度最小值大于冷阈值，则不需要扫描二级结构，否则，扫描对应目录下每个文件的热度信息。


6.根据权利要求2或3所述的一种分布式文件系统热度统计方法，其特征在于，对文件的热度值按预设规则进行衰减操作的步骤包括：
通过热度衰减公式进行热度衰减，热度衰减公式为：

其中Rnew...

【专利技术属性】
技术研发人员：刘洪栋，肖国栋，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32