小文件性能优化方法及系统技术方案

本发明专利技术提供了一种小文件性能优化方法及系统。该方法包括：将小文件的数据内容及元数据组成元数据数据库；以及通过访问元数据数据库，执行对小文件的IO操作；还包括：将多个小文件缓存，合并成一个大数据块；依据合并后的大数据块，执行小文件的IO操作。本发明专利技术提供的小文件性能优化方法及系统能够提升小文件的IO性能。

【技术实现步骤摘要】
小文件性能优化方法及系统
本专利技术涉及存储系统
，特别是涉及一种小文件性能优化方法及系统。
技术介绍
通常文件系统(包括本地文件系统、分布式文件系统)存储数据时分为元数据(metadata)和数据(data)。数据是文件本身的数据内容，元数据描述文件的属性(用户、ACL、创建时间等)、数据块在存储设备上的位置信息等。为了提升数据访问性能，部分文件系统的实现将元数据信息用高性能数据库管理，用来索引文件位置。我们将这个数据库称为元数据数据库。本地文件系统和分布式文件系统都可以采用这种存储模式。这种存储模式在大量小文件读写场景下，性能不够好。现有技术方案写一个文件时，先写数据块(文件数据内容)，再写元数据(向元数据数据库插入一条记录)。参考图1。现有技术方案读一个文件时，先从元数据数据库读取元数据，然后根据元数据描述的位置信息，从存储设备读取数据块。参考图2。无论是大文件还是小文件，读和写都需要2次IO：一次访问存储设备，一次访问元数据数据库。对于大文件而言，2次IO完成数据访问，是可以接受的。但对于小文件，2本文档来自技高网...

【技术保护点】
1.一种小文件性能优化方法，其特征在于，包括：/n将小文件的数据内容及元数据组成元数据数据库；以及/n通过访问元数据数据库，执行对小文件的IO操作；/n还包括：/n将多个小文件缓存，合并成一个大数据块；/n依据合并后的大数据块，执行小文件的IO操作。/n

【技术特征摘要】
1.一种小文件性能优化方法，其特征在于，包括：
将小文件的数据内容及元数据组成元数据数据库；以及
通过访问元数据数据库，执行对小文件的IO操作；
还包括：
将多个小文件缓存，合并成一个大数据块；
依据合并后的大数据块，执行小文件的IO操作。


2.根据权利要求1所述的小文件性能优化方法，其特征在于，依据合并后的大数据块，执行小文件的IO操作，包括：
在元数据数据库中增加多条记录，用于描述每个小文件在大数据块中的位置信息。


3.根据权利要求1所述的小文件性能优化方法，其特征在于，将多个小文件缓存，合并成一个大数据块，包括：
缓存文件数量到达数量上限时，将多个小文件缓存合并成一个大数据块。


4.根据权利要求1所述的小文件性能优化方法，其特征在于，将多个小文件缓存，合并成一个大数据块，包括：
文件缓存时间到达时间上限，将多个小文件缓存合并成一个大数据块。


5.根据权利...

【专利技术属性】
技术研发人员：谌显，尹微，文中领，周泽湘，
申请(专利权)人：武汉飞骥永泰科技有限公司，
类型：发明
国别省市：湖北;42