一种分布式文件系统的小文件聚合方法、装置及设备制造方法及图纸

本发明专利技术公开了一种分布式文件系统的小文件聚合方法，通过在分布式文件系统中预先创建n个空闲聚合大文件，在对分布式文件系统中的小文件进行聚合时，调用空闲聚合大文件以满足小文件的聚合需求，从而避免了在小文件聚合需要新的空闲聚合大文件时再创建聚合大文件所造成的小文件写入性能的抖动，进而提高了分布式文件系统的稳定性。本发明专利技术还公开了一种分布式文件系统的小文件聚合装置、设备及计算机可读存储介质，具有上述有益效果。

A small file aggregation method, device and device for distributed file system

【技术实现步骤摘要】
一种分布式文件系统的小文件聚合方法、装置及设备
本专利技术涉及分布式存储
，特别是涉及一种分布式文件系统的小文件聚合方法、装置、设备及计算机可读存储介质。
技术介绍
在现今的分布式文件系统中，数据量飞速增长，尤其是小文件(通常指容量在几K到几十K大小之间的文件)的数量极为庞大，如果均采用普通的流程一个个的存储，将占用大量的IO操作，导致磁盘压力增大，存储效率较低。同时，由于所有的文件的读、写、删除等IO操作均需要向元数据服务器请求元数据信心，而元数据服务器的资源有效，当IOPS较高时，会导致元数据服务器出现瓶颈。因此本领域技术人员提出了将分布式文件系统中的小文件以追加写的方式写入聚合大文件的小文件聚合方法，以降低大量小文件带来的磁盘IO压力和元数据服务器的压力。聚合大文件是一类特殊的文件，当聚合大文件写至一定阈值后，后续的小文件需要写入新的聚合大文件。在首次需要写入聚合大文件或当聚合大文件写到阈值需要更换聚合大文件时，需要先创建新的聚合大文件再进行后续小文件的聚合，然而这就会导致小文件的写入过程发生抖动，降低了小文件的写入性能，对分布式文件系统的稳定性影响较大。如何降低小文件聚合过程中写入性能的抖动，是本领域技术人员需要解决的技术问题。
技术实现思路
本专利技术的目的是提供一种分布式文件系统的小文件聚合方法、装置、设备及计算机可读存储介质，用于降低小文件聚合过程中写入性能的抖动，提高分布式文件系统的稳定性。为解决上述技术问题，本专利技术提供一种分布式文件系统的小文件聚合方法，包括：在分布式文件系统中，预先创建n个空闲聚合大文件；在对所述分布式文件系统中的小文件进行聚合时，调用所述空闲聚合大文件以满足所述小文件的聚合需求；其中，n为正整数。可选的，还包括：定时判断所述空闲聚合大文件的数量是否小于n；如果是，则创建新的空闲聚合大文件以使所述分布式文件系统中的空闲聚合大文件的数量为n。可选的，所述定时判断所述空闲聚合大文件的数量是否小于n，具体为：每隔1s执行一次所述判断所述空闲聚合大文件的数量是否小于n的步骤。可选的，所述预先创建n个空闲聚合大文件，具体包括：预先在所述分布式文件系统中采用元数据服务器创建n个所述空闲聚合大文件；将各所述空闲聚合大文件的地址信息存于所述分布式文件系统的客户端的本地缓存中；相应的，所述调用所述空闲聚合大文件以满足所述小文件的聚合需求，具体为：在所述本地缓存中获取所述空闲聚合大文件的地址信息，以调用所述空闲聚合大文件以满足所述小文件的聚合需求。可选的，所述空闲聚合大文件的地址信息具体为所述空闲聚合大文件的句柄。可选的，还包括：检查所述空闲聚合大文件的命中率；其中，所述空闲聚合大文件的命中率为一个预设时段内，供调用的所述空闲聚合大文件的数量占所述小文件聚合时所需的空闲聚合大文件的数量的比率；根据所述命中率调整n的值。可选的，所述根据所述命中率调整所述n的值，具体包括：判断所述命中率是否小于预设阈值；如果是，则增加n的值。为解决上述技术问题，本专利技术还提供一种分布式文件系统的小文件聚合装置，包括：创建单元，用于在分布式文件系统中，预先创建n个空闲聚合大文件；调用单元，用于在对所述分布式文件系统中的小文件进行聚合时，调用所述空闲聚合大文件以满足所述小文件的聚合需求；其中，n为正整数。为解决上述技术问题，本专利技术还提供一种分布式文件系统的小文件聚合设备，包括：存储器，用于存储指令，所述指令包括上述任意一项所述分布式文件系统的小文件聚合方法的步骤；处理器，用于执行所述指令。为解决上述技术问题，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述分布式文件系统的小文件聚合方法的步骤。本专利技术所提供的分布式文件系统的小文件聚合方法，通过在分布式文件系统中预先创建n个空闲聚合大文件，在对分布式文件系统中的小文件进行聚合时，调用空闲聚合大文件以满足小文件的聚合需求，从而避免了在小文件聚合需要新的空闲聚合大文件时再创建聚合大文件所造成的小文件写入性能的抖动，进而提高了分布式文件系统的稳定性。本专利技术还提供一种分布式文件系统的小文件聚合装置、设备及计算机可读存储介质，具有上述有益效果，在此不再赘述。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的第一种分布式文件系统的小文件聚合方法的流程图；图2为本专利技术实施例提供的第二种分布式文件系统的小文件聚合方法的流程图；图3为本专利技术实施例提供的第三种分布式文件系统的小文件聚合方法的流程图；图4为本专利技术实施例提供的一种分布式文件系统的小文件聚合装置的结构示意图；图5为本专利技术实施例提供的一种分布式文件系统的小文件聚合设备的结构示意图。具体实施方式本专利技术的核心是提供一种分布式文件系统的小文件聚合方法、装置、设备及计算机可读存储介质，用于降低小文件聚合过程中写入性能的抖动，提高分布式文件系统的稳定性。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的第一种分布式文件系统的小文件聚合方法的流程图。如图1所示，本专利技术实施例提供的分布式文件系统的小文件聚合方法包括：S101：在分布式文件系统中，预先创建n个空闲聚合大文件。S102：在对分布式文件系统中的小文件进行聚合时，调用空闲聚合大文件以满足小文件的聚合需求。其中，n为正整数。在分布式文件系统中，小文件数据以追加写的方式写入聚合大文件，即为小文件的聚合。在首次需要写入聚合大文件时或者聚合大文件写到阈值时需要创建新的聚合大文件，如果在需要时再进行聚合大文件的创建，则会造成小文件写入性能下降、写入性能抖动的问题。为此，本专利技术实施例提供的本专利技术实施例提供的分布式文件系统的小文件聚合方法预先创建n个空闲聚合大文件作为备用。在具体实施中，由分布式文件系统的客户端负责空闲聚合大文件的创建，可以预先在客户端中增加聚合大文件管理器用于实现本专利技术实施例的步骤。通过预先创建n个空闲聚合大文件，当分布式文件系统中某个节点需要新的聚合大文件时，可以通过该节点的本地客户端直接从聚合大文件管理器中获取聚合大文件，无需因等待新的聚合大文件的创建而造成写入性能本文档来自技高网...

【技术保护点】
1.一种分布式文件系统的小文件聚合方法，其特征在于，包括：/n在分布式文件系统中，预先创建n个空闲聚合大文件；/n在对所述分布式文件系统中的小文件进行聚合时，调用所述空闲聚合大文件以满足所述小文件的聚合需求；/n其中，n为正整数。/n

【技术特征摘要】
1.一种分布式文件系统的小文件聚合方法，其特征在于，包括：
在分布式文件系统中，预先创建n个空闲聚合大文件；
在对所述分布式文件系统中的小文件进行聚合时，调用所述空闲聚合大文件以满足所述小文件的聚合需求；
其中，n为正整数。


2.根据权利要求1所述的小文件聚合方法，其特征在于，还包括：
定时判断所述空闲聚合大文件的数量是否小于n；
如果是，则创建新的空闲聚合大文件以使所述分布式文件系统中的空闲聚合大文件的数量为n。


3.根据权利要求2所述的小文件聚合方法，其特征在于，所述定时判断所述空闲聚合大文件的数量是否小于n，具体为：
每隔1s执行一次所述判断所述空闲聚合大文件的数量是否小于n的步骤。


4.根据权利要求1所述的小文件聚合方法，其特征在于，所述预先创建n个空闲聚合大文件，具体包括：
预先在所述分布式文件系统中采用元数据服务器创建n个所述空闲聚合大文件；
将各所述空闲聚合大文件的地址信息存于所述分布式文件系统的客户端的本地缓存中；
相应的，所述调用所述空闲聚合大文件以满足所述小文件的聚合需求，具体为：
在所述本地缓存中获取所述空闲聚合大文件的地址信息，以调用所述空闲聚合大文件以满足所述小文件的聚合需求。


5.根据权利要求4所述的小文件聚合方法，其特征在于，所述空闲聚合...

【专利技术属性】
技术研发人员：王帅阳，李文鹏，张端，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37