一种基于时间滑动窗口的自适应分级存储的方法技术

本发明专利技术公开了一种基于时间滑动窗口的自适应分级存储的方法，应用于分布式文件存储系统，在分布式文件存储系统中建立SSD‑HDD的分层式存储结构，文件根据系统制定的迁移策略在存储结构中动态迁移，实现分级存储；其中，文件的迁移策略为全局实时迁移策略和时间窗口迁移策略并行。本发明专利技术将全局监控和实时性监控结合，使用两种并行的迁移策略，完善文件的迁移调控机制，从而提供实时性更强的文件升级。同时，根据业务行为日志分析业务数据访问规律和设定的业务规则，利用机器学习算法预测业务数据访问行为，自动将预测结果所需的业务数据提前预读到缓存中。

【技术实现步骤摘要】
一种基于时间滑动窗口的自适应分级存储的方法
本专利技术涉及数据分级存储技术方法，尤其涉及一种基于时间滑动窗口的自适应分级存储的方法，属于软件

技术介绍
随着网络技术的发展，数据呈现迅猛的增长态势，根据IDC的调查报告显示，在目前的数据中80%的数据都是非结构化的数据，相较于结构化数据，非结构化数据的增长速度远远高于结构化数据的增长速度。对于激增的非结构化数据，上层应用提出了更高的存储和访问性能要求：高性能、低成本以及高可扩展。进一步地，分析文件访问的局部性和不同存储设备的特性后，构建一种多层级的数据分级存储系统成为一种可行的解决方案，使用高性能设备存储频繁访问的热数据以保证性能，使用价格低廉的大容量存储设备存储不常访问的冷数据以节约成本。分级存储系统中迁移策略是数据分级的关键，数据迁移策略将直接决定存储系统中数据的存储和访问性能。现有的分级存储方案中，大多数仅根据全局的、历史的访问情况以判断文件的冷热程度，缺乏更加实时性的文件访问监控和分析，从而导致文件的迁移不及时，针对突发性频繁访问的文件无法及时进行迁移。专本文档来自技高网...

【技术保护点】
1.一种基于时间滑动窗口的自适应分级存储的方法，应用于分布式文件存储系统，其特征在于：在分布式文件存储系统中建立SSD-HDD的分层式存储结构，文件根据系统制定的迁移策略在存储结构中动态迁移，实现分级存储；其中，文件的迁移策略为全局实时迁移策略和时间窗口迁移策略并行。/n

【技术特征摘要】
1.一种基于时间滑动窗口的自适应分级存储的方法，应用于分布式文件存储系统，其特征在于：在分布式文件存储系统中建立SSD-HDD的分层式存储结构，文件根据系统制定的迁移策略在存储结构中动态迁移，实现分级存储；其中，文件的迁移策略为全局实时迁移策略和时间窗口迁移策略并行。


2.根据权利要求1所述的一种基于时间滑动窗口的自适应分级存储的方法，其特征在于，所述实时迁移策略包括如下步骤：
S11：在数据访问发生时，实时记录数据的访问次数和间隔时间；
S12：判断数据实时访问频率是否超过预设的阈值，若是，则加入到迁移队列中；
S13：根据实时记录的存储池容量和IO队列长度自动调整访问频率策略中的参数。


3.根据权利要求1所述的一种基于时间滑动窗口的自适应分级存储的方法，其特征在于，所述时间窗口迁移策略包括如下步骤：
S21：使用哈希表的方式将数据的文件信息记录在内存中；
S22：当时间窗口滑动则删除过期数据；
S23：更新数据后，依据时间窗口内的迁移策略进行分析和决策，判断文件当前是否存储在适合的存储层级，若不是，则将文件加入迁移队列。


4.根据权利要求3所述的一种基于时间滑动窗口的自适应分级存储的方法，其特征在于，所述时间窗口迁移策略步骤S23还包括如下子步骤：
S231：依次解析访问日志内容；
S232：使用哈希函数将文件句柄作为键，访问时间的集合作为值，...

【专利技术属性】
技术研发人员：陈宏宇，刘魁，曹亮，
申请(专利权)人：成都成信高科信息技术有限公司，成都信息工程大学，
类型：发明
国别省市：四川;51