一种分布式存储系统的小文件聚合方法、装置及介质制造方法及图纸

本发明专利技术公开了一种分布式存储系统的小文件聚合方法、装置及介质，该方法应用于单个服务器或多个服务器上，对于应用于单个服务器上的方法来说，首先获取源目录下的全部小文件和子目录，然后将全部小文件循环读取，每读取一个小文件的数据后，就将该小文件的数据写入至聚合大文件，从而完成该小文件的聚合，直到将全部小文件的数据都写入到聚合大文件中。由此可见，本方法能够将制定目录下的小文件全部聚合为大文件，而大文件可以充分使用网络带宽和服务器的存储能力，有非常好的性能，使得磁盘的IO压力和元数据服务的压力显著降低。此外，本发明专利技术所提供的分布式存储系统的小文件聚合装置及介质，亦具有上述效果。

【技术实现步骤摘要】
一种分布式存储系统的小文件聚合方法、装置及介质
本专利技术涉及分布式存储系统领域，特别是涉及一种分布式存储系统的小文件聚合方法、装置及介质。
技术介绍
在如今的分布式存储系统中，数据量几何级增长，尤其是小文件(是指容量在几K～几十K大小之间的文件)数据巨多，如果使用正常流程一个个存储，会占用大量的IO操作，导致磁盘的压力增大，性能低下。并且，更为严重的是，由于所有文件的读、写、删除等IO操作，均需要向元数据服务去请求文件的元数据信息，而一个元数据服务的能力有限，当IOPS较高时，导致元数据服务出现瓶颈。现有技术中，随着分布式存储系统的业务量的增加，系统中产生了大量的小文件，随着小文件的不断累积，导致系统处理能力不足。由此可见，当分布式存储系统中产生了大量小文件时，如何降低大量小文件带来的磁盘IO压力和元数据服务的压力是本领域技术人员亟待解决的问题。
技术实现思路
本专利技术的目的是提供一种分布式存储系统的小文件聚合方法、装置及介质，能够将系统中的大量小文件聚合成为大文件，最终减少元数据服务器的压力和提高系统的IO性能。为解决上述技术问题，本专利技术提供一种分布式存储系统的小文件聚合方法，本文档来自技高网...

【技术保护点】
1.一种分布式存储系统的小文件聚合方法，应用于单个服务器，其特征在于，包括：获取源目录下的全部小文件和子目录；判断所述源目录中的全部所述小文件是否读取完毕；如果否，则读取所述源目录中剩余的其中一个小文件的数据；将读取到的所述数据写入到聚合大文件中，并返回所述判断所述源目录中的全部所述小文件是否读取完毕的步骤；如果是，则结束。

【技术特征摘要】
1.一种分布式存储系统的小文件聚合方法，应用于单个服务器，其特征在于，包括：获取源目录下的全部小文件和子目录；判断所述源目录中的全部所述小文件是否读取完毕；如果否，则读取所述源目录中剩余的其中一个小文件的数据；将读取到的所述数据写入到聚合大文件中，并返回所述判断所述源目录中的全部所述小文件是否读取完毕的步骤；如果是，则结束。2.根据权利要求1所述的分布式存储系统的小文件聚合方法，其特征在于，所述获取源目录下的全部小文件和子目录具体为通过调用readdir函数获取所述源目录下的全部小文件和子目录。3.根据权利要求1所述的分布式存储系统的小文件聚合方法，其特征在于，所述读取所述源目录中剩余的其中一个小文件的数据具体为按照所述源目录中的顺序依次读取剩余的其中一个小文件的数据。4.一种分布式存储系统的小文件聚合装置，应用于单个服务器，其特征在于，包括：获取单元，用于获取源目录下的全部小文件和子目录；判断单元，用于判断所述源目录中的全部所述小文件是否读取完毕，如果否，则触发读取单元；所述读取单元，用于读取所述源目录中剩余的其中一个小文件的数据；写入单元，用于将读取到的所述数据写入到聚合大文件中，并触发所述判断单元。5.一种分布式存储系统的小文件聚合装置，其特征在于，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述的分布式存储系统的小文件聚合方法的步骤。6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的...

【专利技术属性】
技术研发人员：李晓伟，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41