一种海量小文件的管理方法及系统技术方案

本发明专利技术公开了一种海量小文件的管理方法及系统，包括接收待存储的文件；判断文件的大小是否低于预设存储值，如果是，则判定为小文件；确定小文件的元数据文件，并将小文件的元数据保存在元数据存储单元；将小文件合并至与元数据存储单元一一对应的大文件中，直至大文件达到预设存储值再存储大文件及其对应的元数据存储单元。本申请将小文件的元数据保存在元数据存储单元中以记录小文件的位置，将容量小于预设存储值的小文件合并为一个大文件，在大文件的容量达到预设存储值时只需存储元数据存储单元及大文件即可，大幅减小了文件系统的文件数量，提高了文件系统的性能，提高了存储的效率。

【技术实现步骤摘要】
一种海量小文件的管理方法及系统
本专利技术涉及文件存储
，特别是涉及一种海量小文件的管理方法及系统。
技术介绍
近些年来，随着互联网、大数据及云计算的发展，企业积累的数据呈指数式增长，海量数据成为企业的重要资产和核心价值。例如以腾讯QQ为代表的社交应用中涉及近百亿张15K左右大小的图片，这些图片的总容量达到3PB，并且每天以2T的大小增长。另外，对于一些分布式系统例如ceph，因其灵活且优秀的架构设计，已经被很多大企业研究并应用。但由于ceph架构的冗余策略，也即在将一个文件存储至一个硬盘时，同时还会将该文件存储在另一硬盘上作为备份，导致文件数量的成倍增减。海量小文件的存储会使得文件系统的性能衰减。因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
技术实现思路
本专利技术的目的是提供海量小文件的管理方法及系统，大幅减小了文件系统的文件数量，提高了文件系统的性能，提高了存储的效率。为解决上述技术问题，本专利技术提供了一种海量小文件的管理方法，包括：接收待存储的文件；判断所述文件的大小是否低于预设存储值，如果是，则判定为小文件；确定所述小文件的元数据文件，并本文档来自技高网...

【技术保护点】
一种海量小文件的管理方法，其特征在于，包括：接收待存储的文件；判断所述文件的大小是否低于预设存储值，如果是，则判定为小文件；确定所述小文件的元数据文件，并将所述小文件的元数据保存在元数据存储单元；将所述小文件合并至与所述元数据存储单元一一对应的大文件中，直至所述大文件达到所述预设存储值再存储所述大文件及其对应的元数据存储单元。

【技术特征摘要】
1.一种海量小文件的管理方法，其特征在于，包括：接收待存储的文件；判断所述文件的大小是否低于预设存储值，如果是，则判定为小文件；确定所述小文件的元数据文件，并将所述小文件的元数据保存在元数据存储单元；将所述小文件合并至与所述元数据存储单元一一对应的大文件中，直至所述大文件达到所述预设存储值再存储所述大文件及其对应的元数据存储单元。2.如权利要求1所述的海量小文件的管理方法，其特征在于，所述确定所述小文件的元数据文件的过程为：根据所述小文件的目录计算所述小文件的元数据的文件名；根据所述小文件的集群计算所述小文件的索引值；根据所述小文件的元数据的文件名及索引值确定所述小文件的元数据文件。3.如权利要求2所述的海量小文件的管理方法，其特征在于，所述将所述小文件的元数据保存在元数据存储单元的过程为：将所述小文件的元数据随机存储至剩余容量大于所述小文件的容量的大文件对应的元数据存储单元中。4.如权利要求2所述的海量小文件的管理方法，其特征在于，所述将所述小文件的元数据保存在元数据存储单元的过程为：将所述小文件的元数据存储至剩余容量大于所述小文件的容量且剩余容量最大的大文件对应的元数据存储单元中。5.如权利要求3或4所述的海量小文件的管理方法，其特征在于，所述元数据存储单元为2-4树。6.一种海量小文件的管理系统，其特征在于，包括...

【专利技术属性】
技术研发人员：赵晓鹏，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41