一种性能优化的小文件存储访问的系统及方法技术方案

本发明专利技术涉及分布式文件系统中的小文件存储方法技术领域，特别涉及一种性能优化的小文件存储访问的系统及方法。本发明专利技术将逻辑上连续的数据尽可能存储在物理磁盘的连续空间，使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率，提高了小文件访问性能；写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入，减少了文件碎片数量，提高了存储空间利用率；文件传输时利用局部性原理，提前发送批量的高访问率的小文件，降低了建立网络连接开销，提升了文件传输性能。

【技术实现步骤摘要】
一种性能优化的小文件存储访问的系统及方法
本专利技术涉及分布式文件系统中的小文件存储方法
，特别涉及一种性能优化的小文件存储访问的系统及方法。
技术介绍
随着互联网技术的不断发展，互联网上充斥着各式各样的服务和海量数据信息。为了能够更好地组织和管理这些海量数据，目前已提出了各种类型的分布式文件系统结构。由于互联网上的数据信息大多以高频率的小文件形式表现出来，而且在一般用户的信息存储访问中，对小文件的存储访问较多，因此对互联网上高频率的小文件读/写性能的研究有重要的现实意义。在分布式文件系统中，对于大文件，往往采用条带化技术对文件进行切片，并分发在多个数据服务器上进行存储，以此来提高用户对文件访问的并发性，从而提高对大文件的访问性能。而对于小文件(≤64KB)，由于其不利于条带化，所以一般是采用将单个文件存储在单个数据服务器上的策略。但是当小文件的数量到达一定程度之后，对小文件的大量地重复访问将会给数据服务器带来性能上的负担及I/O瓶颈问题。传统的分布式文件系统在小文件管理上主要存在以下3个方面的问题：1)由于小文件的访问频率较高，需要多次访问磁盘，所以磁盘I/O的性能较低；2)本文档来自技高网...

【技术保护点】
一种性能优化的小文件存储访问的系统，包括文件系统接口、文件夹域管理器、文件信息节点管理器、块管理器和文件缓冲管理器五个模块，所述的文件系统接口负责对其他模块进行封装，向上层提供灵活统一的文件访问接口；所述的文件夹域管理器负责对文件夹域进行管理，它负责管理同一个文件夹的各个文件信息节点和存储在该文件夹中的所有文件数据；所述的文件信息节点管理器负责对文件信息节点进行理；所述的块管理器负责对磁盘块的空间管理，磁盘空间的开辟也是由此模块负责；所述的文件缓冲管理器负责对文件缓存的管理。

【技术特征摘要】
1.一种性能优化的小文件存储访问的系统，包括文件系统接口、文件夹域管理器、文件信息节点管理器、块管理器和文件缓冲管理器五个模块，所述的文件系统接口负责对其他模块进行封装，向上层提供灵活统一的文件访问接口；所述的文件夹域管理器负责对文件夹域进行管理，它负责管理同一个文件夹的各个文件信息节点和存储在该文件夹中的所有文件数据；所述的文件信息节点管理器负责对文件信息节点进行理；所述的块管理器负责对磁盘块的空间管理，磁盘空间的开辟也是由此模块负责；所述的文件缓冲管理器负责对文件缓存的管理。2.根据权利要求1所述的一种性能优化的小文件存储访问的系统，其特征在于，在所述的文件信息节点管理器中，还设定了一个文件信息节点的缓存器，这个缓存器用于存放最近访问过的和高频率访问的文件信息节点。3.一种性能优化的小文件存储访问的方法，包括：A、将磁盘空间划分为多个块，每个块的大小为64KB，当遇到的文件≤64KB时，则所述的文件只能存放在单个块中，不能跨越2个块存放，每个文件数据都存放在连续的磁盘空间上；B、当系统要读取某一个文件时，采用预读的方式，将同一个块中的文件一起读取出来；C、使用cache充当元数据服务器的角色，在cache上保存文件信息节点的信息，并且通过简化的Inode数据结构使每个文件信息节点只保留文件的磁盘空间信息，所述的Inode数据结构如下表所示：File_idStartPasitionLengthWeightBlockidicountLock其中，Folder_id是文件标识符；StartPisition是文件在块中的起始位置；Length是文件的长度；Wright是文件权重；在本发明的系统中代表文件的访问频率；BLOCK_ID是文件所存放的块的标识符；I_clock是文件的访问计数器；Lock是文件锁；D、在写操作时使用优化方法来减少由于文件的删除或者修改而导致的文件碎片；所述的优化方法包括更新文件时的写优化方法和创建文件时的写优化方法；E、优化文件传输的方法，具体是：对每个文件夹，根据文件夹里的每个文件的访问频率形成一个排序列表；当用户访问该文件夹里的某个文件时，系...

【专利技术属性】
技术研发人员：聂东旭，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41