一种海量小文件存储读取的优化方法和系统技术方案

本发明专利技术公开了一种海量小文件存储读取的优化方法和系统，能够解决因为海量小文件的存储性能不足而影响服务能力的问题，且在不明显增加成本以及不显著改变流程的前提下，加快整体的访问效率。其技术方案为：通过增加一块或多块高速磁盘来存放元数据，以使数据的访问加速提升整体的服务性能。新增的高速磁盘和原有分区整合成一个块设备，并对已新格式化好的文件系统进行优化处理，在处理完成后，将文件系统的元数据部分迁移到高速磁盘中，而原来存放元数据区域以及原来的真实数据区域，都用作新的真实数据区域来使用。此后所有元数据的读写增删等操作以及对目录的操作，都会在高速磁盘上进行，以用来加快整体访问速度。

An optimization method and system for storing and reading mass small file storage

【技术实现步骤摘要】
一种海量小文件存储读取的优化方法和系统
本专利技术涉及计算机领域的数据存储领域，尤其涉及对海量小文件存储进行读取优化的技术。
技术介绍
计算机存储数据时，是借助一个称作文件系统的软件来存放文件等数据。各通用文件系统中,文件存放时，分成两部分存放，一部分是元数据(inode)，当作索引使用；另一部分是真实数据。数据读写时，是先读取元数据(inode)，再根据元数据中的信息去读取真实数据。元数据中存放了文件名、文件创建时间、文件所有者等以及最重要的真实数据存放的位置。目前互联网应用中具有大量的小文件，譬如被分成小段的视频文件(ios平台)，淘宝网中的图片，新闻网站的图片等，大型的网站可能存放超过百亿级别的图片，这个数据的存储读取效率成了影响服务性能的关键问题。通用文件系统适用于大文件的应用场景，其没有针对海量小文件做优化；当存放海量小文件时，读取元数据的次数和真实数据的次数相当，没有对读取元数据进行优化因此整体读取性能较差。而针对海量小文件应用的越来越多，业界逐渐形成了一种优化的方法：将若干小文件合并到一个中等文件中，以降低元数据的数量，并另外记录这些小文件在此中等文件中的位置信息。其工本文档来自技高网...

【技术保护点】
一种海量小文件存储读取的优化方法，包括：步骤一：基于原有磁盘和新增磁盘，形成一个逻辑卷；步骤二：对逻辑卷进行格式化；步骤三：进行元数据的迁移调整和数据结构之间的重新映射，使新增磁盘和原有磁盘其中之一被预留成存放元数据，新增磁盘和原有磁盘其中之另一用于存放真实数据。

【技术特征摘要】
1.一种海量小文件存储读取的优化方法，包括：步骤一：基于原有磁盘和新增磁盘，形成一个逻辑卷；步骤二：对逻辑卷进行格式化；步骤三：进行元数据的迁移调整和数据结构之间的重新映射，使新增磁盘和原有磁盘其中之一被预留成存放元数据，新增磁盘和原有磁盘其中之另一用于存放真实数据。2.根据权利要求1所述的海量小文件存储读取的优化方法，其特征在于，步骤一包括：将原有磁盘和新增磁盘进行整合；将原有磁盘和新增磁盘各创建成一个物理卷；将各个物理卷串成一个物理卷组；从物理卷组中划出所有空间做成一个逻辑卷。3.根据权利要求1所述的海量小文件存储读取的优化方法，其特征在于，在步骤三中，在格式化刚结束且文件系统未被使用之前进行元数据的迁移调整和数据结构之间的重新映射。4.根据权利要求1所述的海量小文件存储读取的优化方法，其特征在于，步骤三进一步包括：步骤1：读取第一个元块组中的第一个块组，将第一个块组中的超级块开始到元数据索引表为止的数据复制到第一个元块组的起始位置并记录结束位置为偏移量；步骤2：对第一个元块组中的后续的每一个块组，依次将每个块组中的超级块开始到元数据索引表为止的数据复制到偏移量开始的地址中，更新偏移量的数值，并将被复制的地址的内容清空；步骤3：对第一个元块组之后的每一个元块组，以上述步骤1和步骤2的处理方式，依次将所有的元块组中的元数据复制到文件系统的前部，从而使所有的元数据全部迁移到原有磁盘和新增磁盘其中之一；步骤4：将偏移量开始的后续起始元块组的第一个块组地址，作为块数据的起始地址，存放到第一个元数据中的块位图/元数据位图/元数据索引表中，并将位图信息清零，并将偏移量的值更新为下一个块组的地址，如果当前处理的元块组结束，则将偏移量的值更新为下一个...

【专利技术属性】
技术研发人员：丁晓杰，颜新波，曹敬涛，朱雷军，徐启亮，
申请(专利权)人：上海凯翔信息科技有限公司，
类型：发明
国别省市：上海,31