一种时间窗口迁移策略制造技术

本发明专利技术公开了一种时间窗口迁移策略，应用于分布式文件存储系统，包括如下步骤：使用哈希表的方式将数据的文件信息记录在内存中；当时间窗口滑动则删除过期数据；依次解析访问日志内容；使用哈希函数将文件句柄作为键，访问时间的集合作为值，依次将访问时间插入到集合中；判断时间窗口内的访问次数超过设定的阈值，若是则进行文件的升级迁移；判断集合中最远一次访问时间是否超过时间窗口大小，若是则覆盖记录；判断集合中最近一次访问时间是否超过时间窗口大小，若是则删除记录；当内存使用率超过设定的阈值，则遍历哈希表，检查并删除过期记录。时间窗口迁移策略执行一小段时间内的数据访问监控，为分布式文件存储系统的存储方法提供有效帮助。

A time window migration strategy

【技术实现步骤摘要】
一种时间窗口迁移策略
本专利技术涉及数据迁移策略，尤其涉及一种时间窗口迁移策略，属于移动通信

技术介绍
随着电子网络时代的兴起，在日常的工作生活中需要用到越来越多的数据存储。而随着时间的增加，会出现数据源硬件老化、数据源存储空间不足、数据源需要更新换代等问题的出现。因此，需要进行数据迁移以保证数据的完整性。根据IDC的调查报告显示，在目前的数据中80%的数据都是非结构化的数据，相较于结构化数据，非结构化数据的增长速度远远高于结构化数据的增长速度。对于激增的非结构化数据，上层应用提出了更高的存储和访问性能要求：高性能、低成本以及高可扩展。进一步地，分析文件访问的局部性和不同存储设备的特性后，构建一种多层级的数据分级存储系统成为一种可行的解决方案，使用高性能设备存储频繁访问的热数据以保证性能，使用价格低廉的大容量存储设备存储不常访问的冷数据以节约成本。分级存储系统中迁移策略是数据分级的关键，数据迁移策略将直接决定存储系统中数据的存储和访问性能。现有的分级存储方案中，大多数仅根据全局的、历史的访问情况以判断文件的冷热程度，缺乏更加实本文档来自技高网...

【技术保护点】
1.一种时间窗口迁移策略，应用于分布式文件存储系统，其特征在于，包括如下步骤：/nS21：使用哈希表的方式将数据的文件信息记录在内存中；/nS22：当时间窗口滑动则删除过期数据；/nS23：更新数据后，依据时间窗口内的迁移策略进行分析和决策，判断文件当前是否存储在适合的存储层级，若不是，则将文件加入迁移队列。/n

【技术特征摘要】
1.一种时间窗口迁移策略，应用于分布式文件存储系统，其特征在于，包括如下步骤：
S21：使用哈希表的方式将数据的文件信息记录在内存中；
S22：当时间窗口滑动则删除过期数据；
S23：更新数据后，依据时间窗口内的迁移策略进行分析和决策，判断文件当前是否存储在适合的存储层级，若不是，则将文件加入迁移队列。


2.根据权利要求1所述的一种时间窗口迁移策略，其特征在于，所述时间窗口迁移策略步骤S23还包括如下子步骤：
S231：依次解析访问日志内容；
S232：使用哈希函数将文件句柄作为键，访问时间的集合作为值，依次将访问时间插入到集合中；
S233：判断时间窗口内的访问次数超过设定的阈值，若是，则进...

【专利技术属性】
技术研发人员：陈宏宇，刘魁，魏培阳，
申请(专利权)人：成都成信高科信息技术有限公司，成都信息工程大学，
类型：发明
国别省市：四川;51