一种存储海量小文件分级优化的方法、系统及介质技术方案

本发明专利技术涉及一种存储海量小文件分级优化的方法、系统及介质，包括以下步骤：S1：进行写业务，写入小文件；S2：判断小文件是否符合聚合策略，不符合聚合策略不进行处理，符合聚合策略进入步骤S3；S3：小文件分级，使用频率小于预设值的小文件标记聚合特性，其余小文件不标记聚合特性；S4：分级迁移，未标记聚合特性的小文件普通迁移至SSD，标记聚合特性的小文件写入聚合文件迁移至HDD；S5：进行读业务，小文件按照普通方式读取，聚合文件需要从中读出数据并同步写到小文件后再用普通方式读取。采用分级+聚合的方式存储小文件，提高了磁盘利用率，提升海量小文件存储的整体性能。升海量小文件存储的整体性能。升海量小文件存储的整体性能。

【技术实现步骤摘要】
一种存储海量小文件分级优化的方法、系统及介质


[0001]本专利技术属于小文件存储
，具体涉及一种存储海量小文件分级优化的方法、系统及介质。

技术介绍

[0002]随着云计算、移动互联网等技术的发展，数据呈现爆炸式增长的趋势，与数据对应的小文件也相应的增加，小文件通常大小在1MB以内，数量多，操作频繁，海量增加的小文件在硬盘中进行读写以及合理的存储是热门研究方向。
[0003]目前，海量存储数据中小文件大都以亿为单位，数十数百亿的海量小文件，若这数十数百亿的小文件按照普通的文件数据存储方式则会有几百亿个底层对象，当底层存储对象较高时，会对文件系统的性能、故障场景数据恢复以及磁盘利用率等有影响。单纯结合聚合方式进行小文件存储，能实现小文件高效存储，提高磁盘利用率，但频繁的读写或者删除操作会使得聚合数据对象下盘，进而不能达到理想的多个小文件的数据聚合在一个IO刷盘的状态，以上为现有技术的不足之处。
[0004]因此，针对现有技术中的上述缺陷，提供设计一种存储海量小文件分级优化的方法、系统及介质，以解决现有技术中存在的问题，是非本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储海量小文件分级优化的方法，其特征在于，包括以下步骤：S1：进行写业务，写入小文件；S2：判断小文件是否符合聚合策略，不符合聚合策略不进行处理，符合聚合策略进入步骤S3；S3：小文件分级，使用频率小于预设值的小文件标记聚合特性，其余小文件不标记聚合特性；S4：分级迁移，未标记聚合特性的小文件普通迁移至SSD，标记聚合特性的小文件写入聚合文件后迁移至HDD；S5：进行读业务，小文件按照普通方式读取，聚合文件需要从中读出数据并同步写到小文件后再用普通方式读取。2.根据权利要求1所述的一种存储海量小文件分级优化的方法，其特征在于，所述步骤S4中写入聚合文件步骤如下：S4.1：小文件写入聚合缓存；S4.2：小文件都已写入聚合缓存或者写满聚合缓存后，聚合缓存数据刷入聚合对象和对象存储设备，小文件成功写入聚合文件；S4.3：元数据服务器更新小文件的布局信息和聚合对象内部位置标记；S4.4：删除小文件在老布局中的数据。3.根据权利要求2所述的一种存储海量小文件分级优化的方法，其特征在于，所述步骤S4.2中写完对象存储设备后发生故障，则将聚合对象中数据清除。4.根据权利要求3所述的一种存储海量小文件分级优化的方法，其特征在于，所述步骤S4.3中更新小文件信息和聚合对象内部位置标记时发生故障，则利用uncomplete表把聚合对象中的数据清理掉。5.根据权利要求4所述的一种存储海量小文件分级优化的方法，其特征在于，所述步骤S5中数据同步写到小文件后，元数据服务器更新小文件...

【专利技术属性】
技术研发人员：李佳颖，刘颖，李玲侠，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：