【技术实现步骤摘要】
一种分布式文件系统的小文件聚合方法、装置及设备
本专利技术涉及分布式存储
，特别是涉及一种分布式文件系统的小文件聚合方法、装置、设备及计算机可读存储介质。
技术介绍
在现今的分布式文件系统中，数据量飞速增长，尤其是小文件(通常指容量在几K到几十K大小之间的文件)的数量极为庞大，如果均采用普通的流程一个个的存储，将占用大量的IO操作，导致磁盘压力增大，存储效率较低。同时，由于所有的文件的读、写、删除等IO操作均需要向元数据服务器请求元数据信心，而元数据服务器的资源有效，当IOPS较高时，会导致元数据服务器出现瓶颈。因此本领域技术人员提出了将分布式文件系统中的小文件以追加写的方式写入聚合大文件的小文件聚合方法，以降低大量小文件带来的磁盘IO压力和元数据服务器的压力。聚合大文件是一类特殊的文件，当聚合大文件写至一定阈值后，后续的小文件需要写入新的聚合大文件。在首次需要写入聚合大文件或当聚合大文件写到阈值需要更换聚合大文件时，需要先创建新的聚合大文件再进行后续小文件的聚合，然而这就会导致小文件的写入过程发生抖动...
【技术保护点】
1.一种分布式文件系统的小文件聚合方法，其特征在于，包括：/n在分布式文件系统中，预先创建n个空闲聚合大文件；/n在对所述分布式文件系统中的小文件进行聚合时，调用所述空闲聚合大文件以满足所述小文件的聚合需求；/n其中，n为正整数。/n
【技术特征摘要】
1.一种分布式文件系统的小文件聚合方法，其特征在于，包括：
在分布式文件系统中，预先创建n个空闲聚合大文件；
在对所述分布式文件系统中的小文件进行聚合时，调用所述空闲聚合大文件以满足所述小文件的聚合需求；
其中，n为正整数。
2.根据权利要求1所述的小文件聚合方法，其特征在于，还包括：
定时判断所述空闲聚合大文件的数量是否小于n；
如果是，则创建新的空闲聚合大文件以使所述分布式文件系统中的空闲聚合大文件的数量为n。
3.根据权利要求2所述的小文件聚合方法，其特征在于，所述定时判断所述空闲聚合大文件的数量是否小于n，具体为：
每隔1s执行一次所述判断所述空闲聚合大文件的数量是否小于n的步骤。
4.根据权利要求1所述的小文件聚合方法，其特征在于，所述预先创建n个空闲聚合大文件，具体包括：
预先在所述分布式文件系统中采用元数据服务器创建n个所述空闲聚合大文件；
将各所述空闲聚合大文件的地址信息存于所述分布式文件系统的客户端的本地缓存中；
相应的，所述调用所述空闲聚合大文件以满足所述小文件的聚合需求，具体为：
在所述本地缓存中获取所述空闲聚合大文件的地址信息，以调用所述空闲聚合大文件以满足所述小文件的聚合需求。
5.根据权利要求4所述的小文件聚合方法，其特征在于，所述空闲聚合...
【专利技术属性】
技术研发人员：王帅阳，李文鹏，张端，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。