一种小文件性能优化方法、装置、终端及存储介质制造方法及图纸

本发明专利技术公开一种小文件性能优化方法、装置、终端及存储介质，将小文件写入聚合文件；对小文件进行读操作时，从聚合文件中读取；聚合文件写满后，统一将其内的小文件向对象存储进行写操作。本发明专利技术将小文件写入聚合文件，而不是直接写入对象存储，在读操作时，从聚合文件中读取，写操作时，由聚合文件统一向对象存储写操作，能够有效提高小文件写性能，减轻集群对象存储的读写压力提高顺序读性能提高磁盘使用率。使用率。使用率。

【技术实现步骤摘要】
一种小文件性能优化方法、装置、终端及存储介质


[0001]本专利技术涉及分布式文件系统小文件处理领域，具体涉及一种小文件性能优化方法、装置、终端及存储介质。

技术介绍

[0002]在如今的多媒体存储中，数据量几何级增长，尤其是小文件，几K～几十K大小不等，数据巨多，如果使用正常流程一个个存储，会占用大量的IO操作，性能低下，所以对于小文件的存储急需新的方案满足多数存储场景的需求。
[0003]分布式存储可以均衡写入压力，数据可靠性也有很大的提高，同时对小文件的处理也有了一定的提升，但是还是不能满足有些场景的需求。

技术实现思路

[0004]为解决上述问题，本专利技术提供一种小文件性能优化方法、装置、终端及存储介质。
[0005]本专利技术的技术方案为：一种小文件性能优化方法，包括以下步骤：将小文件写入聚合文件；对小文件进行读操作时，从聚合文件中读取；聚合文件写满后，统一将其内的小文件向对象存储进行写操作。
[0006]进一步地，对指定的小文件写入聚合文件，未指定的小文件依旧直接写入对象存储。
[0007]进一步地，小文件在聚合文件内所占空间向4KB对齐。
[0008]进一步地，对小文件进行读操作时，根据聚合文件的扩展名和小文件ID地址，将小文件从磁盘读取。
[0009]本专利技术的技术方案还包括一种小文件性能优化装置，包括，写入模块：将小文件写入聚合文件；读操作模块：对小文件进行读操作时，从聚合文件中读取；写操作模块：聚合文件写满后，统一将其内的小文件向对象存储进行写操作。
[0010]进一步地，还包括，小文件指定模块：指定写入聚合文件中的小文件；写入模块对指定的小文件写入聚合文件，未指定的小文件依旧直接写入对象存储。
[0011]进一步地，小文件在聚合文件内所占空间向4KB对齐。
[0012]进一步地，读操作模块对小文件进行读操作时，根据聚合文件的扩展名和小文件ID地址，将小文件从磁盘读取。
[0013]本专利技术的技术方案还包括一种终端，包括：处理器；用于存储处理器的执行指令的存储器；其中，所述处理器被配置为执行上述任一项所述的方法。
[0014]本专利技术的技术方案还包括一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现上述任一项所述的方法。
[0015]本专利技术提供的一种小文件性能优化方法、装置、终端及存储介质，将小文件写入聚合文件，而不是直接写入对象存储，在读操作时，从聚合文件中读取，写操作时，由聚合文件统一向对象存储写操作，能够有效提高小文件写性能，减轻集群对象存储的读写压力提高顺序读性能提高磁盘使用率。
附图说明
[0016]图1是本专利技术具体实施例一方法流程示意图；图2是本专利技术具体实施例二结构示意框图。
具体实施方式
[0017]下面结合附图并通过具体实施例对本专利技术进行详细阐述，以下实施例是对本专利技术的解释，而本专利技术并不局限于以下实施方式。
[0018]如图1所示，本实施例提供一种小文件性能优化方法，包括以下步骤：S1，将小文件写入聚合文件；本实施例将小文件写入聚合文件，而不是直接写入对象存储（Object-based Storage Device，简称OSD）。由聚合文件存储，后续读写也由聚合文件操作。
[0019]需要说明的是，用户也可指定小文件写入聚合文件，对于未指定的小文件依旧写入对象存储，以根据需要对小文件进行处理。
[0020]另外，小文件在聚合文件内所占空间向4KB对齐。
[0021]S2，对小文件进行读操作时，从聚合文件中读取；需要说明的是，进行读操作时，根据聚合文件的扩展名和小文件ID地址，将小文件从磁盘读取。之后根据小文件记录信息，将数据返回用户。
[0022]由于每个小文件只占其所在聚合文件的一小部分（，这样就可以提高后续读文件的缓存命中率，尤其是读取顺序和写入顺序差别不大时，命中率可以达到95%以上，可以大幅提高读文件性能，同时减低RADOS读文件压力。
[0023]与写不同，在小文件顺序读时，可以有效缩短IO路径。原有是在聚合条件下，可以获得99.9%（小文件为4KB），98.4%（小文件为64KB），96.8%（小文件为128KB）的缓存命中率，从而缩短IO路径，提升读文件的性能。预计128KB以下小文件，聚合顺序读的性能，要比普通的无预读状态，提高10倍左右。
[0024]S3，聚合文件写满后，统一将其内的小文件向对象存储进行写操作；假如聚合文件为4KB，那么如果小文件均为4KB，则1024个小文件填满聚合文件，每1024个小文件调用一次写接口进行写操作；若干小文件均为128KB，则最多32个小文件填满聚合文件，每32个小文件调用一次写接口进行写操作。可以极大的缓解小文件场景下，RADOS写入数据的压力，进而减少客户端对本地缓存（内存）的使用。
[0025]实施例二如图2所示，本实施例提供一种小文件性能优化装置，包括以下功能模块。
[0026]写入模块101：将小文件写入聚合文件；
读操作模块102：对小文件进行读操作时，从聚合文件中读取；写操作模块103：聚合文件写满后，统一将其内的小文件向对象存储进行写操作。
[0027]另外，为满足多样化需求，还设置小文件指定模块100：指定写入聚合文件中的小文件。 写入模块101对指定的小文件写入聚合文件，未指定的小文件依旧直接写入对象存储。
[0028]本实施例中，小文件在聚合文件内所占空间向4KB对齐。
[0029]读操作模块102对小文件进行读操作时，根据聚合文件的扩展名和小文件ID地址，将小文件从磁盘读取。
[0030]实施例三本实施例提供一种终端，该终端包括处理器和存储器。
[0031]存储器用于存储处理器的执行指令。存储器可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。当存储器中的执行指令由处理器执行时，使得终端能够执行上述方法实施例中的部分或全部步骤。
[0032]处理器为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC) 组成，例如可以由单颗封装的IC 所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。
[0033]实施例四本实施例提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本专利技术提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：read-only memory，简称：ROM）或随机存储记忆体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种小文件性能优化方法，其特征在于，包括以下步骤：将小文件写入聚合文件；对小文件进行读操作时，从聚合文件中读取；聚合文件写满后，统一将其内的小文件向对象存储进行写操作。2.根据权利要求1所述的小文件性能优化方法，其特征在于，对指定的小文件写入聚合文件，未指定的小文件依旧直接写入对象存储。3.根据权利要求1或2所述的小文件性能优化方法，其特征在于，小文件在聚合文件内所占空间向4KB对齐。4.根据权利要求1或2所述的小文件性能优化方法，其特征在于，对小文件进行读操作时，根据聚合文件的扩展名和小文件ID地址，将小文件从磁盘读取。5.一种小文件性能优化装置，其特征在于，包括，写入模块：将小文件写入聚合文件；读操作模块：对小文件进行读操作时，从聚合文件中读取；写操作模块：聚合文件写满后，统一将其内的小文件向对...

【专利技术属性】
技术研发人员：黄威振，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：