一种文件缓存方法、系统、设备以及介质技术方案

本发明专利技术公开了一种文件缓存方法，包括以下步骤：在存储设备中创建双层目录；获取待缓存文件的绝对路径；基于所述绝对路径计算hash值；根据所述hash值确定所述待缓存文件在所述双层目录中的位置，并根据已缓存的文件的数量确定所述待缓存文件的文件名；将以所述文件名命名的所述待缓存文件缓存到所述双层目录下对应的位置。本发明专利技术还公开了一种系统、计算机设备以及可读存储介质。本发明专利技术提出的方案在客户端的存储设备上对文件进行存储时，将文件hash到两层目录结构中，保证每个目录中保存的图片文件不至于太多，以免产生单目录文件数过多的性能问题。

A file caching method, system, device and medium

【技术实现步骤摘要】
一种文件缓存方法、系统、设备以及介质
本专利技术涉及缓存领域，具体涉及一种文件缓存方法、系统、设备以及存储介质。
技术介绍
随着互联网的蓬勃发展，各种应用场景产生了海量的小文件图片，这些海量的小文件图片通过文件的方式存储到分布式存储上。由于现在全闪分布式成本仍然居高不小，所以这些小图片的存储介质仍然以机械磁盘为主，这就带来一个问题，当对这些海量图盘进行AI训练时，需要多次读取小文件图片，由于机械磁盘的随机读性能较差，所以海量小文件的读取就成为了性能瓶颈。
技术实现思路
有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例提出一种文件缓存方法，包括以下步骤：在存储设备中创建双层目录；获取待缓存文件的绝对路径；基于所述绝对路径计算hash值；根据所述hash值确定所述待缓存文件在所述双层目录中的位置，并根据已缓存的文件的数量确定所述待缓存文件的文件名；将以所述文件名命名的所述待缓存文件缓存到所述双层目录下对应的位置。在一些实施例中，在存储设备中创建双层目录，进一步还包括：...

【技术保护点】
1.一种文件缓存方法，其特征在于，包括以下步骤：/n在存储设备中创建双层目录；/n获取待缓存文件的绝对路径；/n基于所述绝对路径计算hash值；/n根据所述hash值确定所述待缓存文件在所述双层目录中的位置，并根据已缓存的文件的数量确定所述待缓存文件的文件名；/n将以所述文件名命名的所述待缓存文件缓存到所述双层目录下对应的位置。/n

【技术特征摘要】
1.一种文件缓存方法，其特征在于，包括以下步骤：
在存储设备中创建双层目录；
获取待缓存文件的绝对路径；
基于所述绝对路径计算hash值；
根据所述hash值确定所述待缓存文件在所述双层目录中的位置，并根据已缓存的文件的数量确定所述待缓存文件的文件名；
将以所述文件名命名的所述待缓存文件缓存到所述双层目录下对应的位置。


2.如权利要求1所述的方法，其特征在于，在存储设备中创建双层目录，进一步还包括：
创建包含预设数量第一子目录的第一层目录；
在每一个所述第一子目录下创建包含预设数量第二子目录的第二层目录。


3.如权利要求2所述的方法，其特征在于，根据所述hash值确定所述待缓存文件在所述双层目录中的位置，进一步包括：
根据所述hash值中第一预设位置的数值确定第一子目录；
根据所述hash值中第二预设位置的数值确定所述第一子目录下的第二子目录。


4.如权利要求1所述的方法，其特征在于，根据已缓存的文件的数量确定所述待缓存文件的文件名，进一步包括：
对已缓存的文件以预设位数的整形数计数，每缓存一个文件，将所述整形数累计加一；
以所述整形数作为所述待缓存文件的文件名。


5.如权利要求1所述的方法，其特征在于，还包括：
将所述待缓存文件的绝对路径作为key值，所述文件名作为value值创建所述待缓存文件的绝对路径与所述文件名的映射；
根据所述映射获取缓存在所述存储设备中的文件。


6.一种文件缓存系统，其特征在于，包...

【专利技术属性】
技术研发人员：侯斌，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32