海量小文件存取优化方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及基架运维领域，公开了一种海量小文件存取优化方法、装置、设备及存储介质。所述海量小文件存取优化方法包括：通过预设的动态划分规则将待存储文件划分到本地磁盘存储池和高速磁盘存储池，其次通过高速磁盘存储池设定磁盘阵列结构，从而提升高速磁盘存储池的性能，随后对本地磁盘存储池中的文件进行读取并生成相应的文件读取记录，最后动态监测该文件读取记录，将读取次数大于预设阈值的文件迁移至高速磁盘存储池中，并在内存中生成对应文件的存储位置记录，当接收到这些迁移文件的读取请求时，根据内存中存储位置记录直接重定向到该文件进行读取，降低了本地磁盘访问的I/O数量，文件读取速度更快，从而提升了本地文件访问性能。

Massive small file access optimization method, device, equipment and storage medium

【技术实现步骤摘要】
海量小文件存取优化方法、装置、设备及存储介质
本专利技术涉及基架运维领域，尤其涉及海量小文件存取优化方法、装置、设备及存储介质。
技术介绍
当前互联网应用中具有大量的小文件，譬如被分成小段的视频文件，购物网页中的图片，新闻网站的图片等，此外，大型的网站可能存放超过百亿级别的图片，这个数据的存储读取效率成了影响服务性能的关键问题。现实场景中还存在磁盘频繁读取的情况，这将会让磁盘高负荷工作，从而影响磁盘的性能。针对“磁盘频繁读取而影响磁盘性能”这一现象，现有的性能优化解决方案是通过内存对频繁读取的文件进行缓存，但是这种方法还是基于本地机械磁盘进行文件读取，本地文件访问性能较低。
技术实现思路
本专利技术的主要目的在于解决当前海量小文件存取优化方法存在本地文件访问性能较低的问题。本专利技术第一方面提供了一种海量小文件存取优化方法，包括：根据预设的文件动态划分规则,将待存储的文件进行划分后存储到对应存储池，所述存储池包括本地磁盘存储池和高速磁盘存储池；基于磁盘阵列技术为所述高速磁盘存储池设定独立冗余磁本文档来自技高网...

【技术保护点】
1.一种海量小文件存取优化方法，其特征在于，所述海量小文件存取优化方法包括：/n根据预设的文件动态划分规则,将待存储的文件进行划分后存储到对应存储池，所述存储池包括本地磁盘存储池和高速磁盘存储池；/n基于磁盘阵列技术为所述高速磁盘存储池设定独立冗余磁盘阵列结构；/n获取文件的读取请求，并根据所述读取请求，在所述存储池中执行相应的文件读取操作，并生成文件的读取操作记录；/n基于所述文件的读取操作记录，对所述本地磁盘存储池中的文件进行文件过滤，将过滤得到的文件传输至高速磁盘存储池中，当接收到所述过滤得到的文件的读取请求时，重定向至所述过滤得到的文件进行读取。/n

【技术特征摘要】
1.一种海量小文件存取优化方法，其特征在于，所述海量小文件存取优化方法包括：
根据预设的文件动态划分规则,将待存储的文件进行划分后存储到对应存储池，所述存储池包括本地磁盘存储池和高速磁盘存储池；
基于磁盘阵列技术为所述高速磁盘存储池设定独立冗余磁盘阵列结构；
获取文件的读取请求，并根据所述读取请求，在所述存储池中执行相应的文件读取操作，并生成文件的读取操作记录；
基于所述文件的读取操作记录，对所述本地磁盘存储池中的文件进行文件过滤，将过滤得到的文件传输至高速磁盘存储池中，当接收到所述过滤得到的文件的读取请求时，重定向至所述过滤得到的文件进行读取。


2.根据权利要求1所述的海量小文件存取优化方法，其特征在于，所述根据预设的文件动态划分规则,将待存储的文件进行划分后存储到对应的存储池包括：
获取所有待存储文件预设期望访问频率参数，根据所述期望访问频率参数，将所述待存储文件划分为高频访问文件类和低频访问文件类；
将所述高频访问文件类中的文件顺序写入所述高速磁盘存储池中的存储基元，将所述低频访问文件类中的文件顺序写入所述本地磁盘存储池中的存储基元；
根据所述文件在所述存储基元的起始地址和容量大小，确定所述文件所属的文件组以及文件在该文件组内的序号,所述文件组包含至少两个顺序存储的文件；
以所述文件组的标识号与文件的序号为索引,建立所述索引与文件的文件名之间的对应关系。


3.根据权利要求1所述的海量小文件存取优化方法，其特征在于，所述获取文件的读取请求，并根据所述读取请求，在所述存储池中执行相应的文件读取操作，并生成文件的读取操作记录包括：
获取文件读取请求，其中,所述文件读取请求中包括待读取文件所处的目标虚拟磁盘分区及所述待读取文件的虚拟逻辑地址；
根据虚拟磁盘分区与物理磁盘分区的映射关系,确定所述目标虚拟磁盘分区对应的目标物理磁盘分区；
根据所述待读取文件的虚拟逻辑地址和所述文件读取请求,在所述目标物理磁盘分区执行相应的文件读取操作。


4.根据权利要求1-3中任一项所述的海量小文件存取优化方法，其特征在于，所述基于所述文件的读取操作记录对所述本地磁盘存储池中的文件进行文件过滤，将过滤得到的文件传输到高速磁盘存储池中，当接收到所述过滤得到的文件的读取请求时，重定向至所述过滤得到的文件进行读取包括：
从所述文件的读取操作记录中，获取所述本地磁盘存储池中所有文件在预设时间段内的读取次数；
若所述读取次数大于预设第一阈值，则将读取次数大于所述第一阈值的文件传输至所述高速磁盘存储池中，并在内存中生成该读取的文件在高速磁盘存储池中的存储位置记录；
当再次读取所述读取次数大于所述第一阈值的文件时，根据所述读取次数大于所述第一阈值的文件在高速磁盘存储池中的存储位置记录，直接重定向至对应的文件进行读取。


5.根据权利要求3所述的海量小文件存取优化方法，其特征在于，在所述根据所述待读...

【专利技术属性】
技术研发人员：郑平，
申请(专利权)人：康键信息技术深圳有限公司，
类型：发明
国别省市：广东;44