一种细粒度文件系统以及文件读写方法技术方案

技术编号:37969974 阅读:23 留言:0更新日期:2023-06-30 09:45
本申请提供一种细粒度文件系统以及文件读写方法,通过为每个文件设置的双层索引结构对具有读写需求的一或多个文件的子文件进行相应的读或写操作,实现了单个大文件并发读写的功能,并且提高了文件的读写的速度,读写效率更高。率更高。率更高。

【技术实现步骤摘要】
一种细粒度文件系统以及文件读写方法


[0001]本申请涉及文件系统领域,特别是涉及一种细粒度文件系统以及文件读写方法。

技术介绍

[0002]新型非易失设备拥有低延迟、读写带宽大等优秀的特性,非常适合作为存储盘应用于现有的数据中心。这种新型硬件可以大幅度提升存储子系统的性能,给用户带来更好的使用体验。
[0003]若将新型非易失内存设备作为存储设备,需要文件系统的支持,但是,现有的文件系统并未对新型非易失设备进行专门的优化。现有的新型非易失内存文件系统也只是在多文件读写的总带宽、读写操作延迟、文件系统多核扩展性等方面进行优化。但在科学计算、AI训练、传感器采集数据等场景下,需要进行单个大文件的并发读写。然而目前均未对于单个大文件的并发读写场景提出有效的优化方案。

技术实现思路

[0004]鉴于以上所述现有技术的缺点,本申请的目的在于提供一种细粒度文件系统以及文件读写方法,用于解决现有技术中无法支持单个大文件并发读写以及传统文件系统未对非易失内存设备进行专门优化的问题。
[0005]为实现上述目的及其他相关目的,本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种细粒度文件系统,其特征在于,包括:索引结构设置模块,用于对每个文件分别设置与每个文件中各子文件相关的双层索引结构,并将双层索引结构分别储存于非易失内存设备以及动态随机存取内存;文件读写模块,连接所述索引结构设置模块,用于当一或多个文件具有子文件读写操作需求时,基于对应文件的双层索引结构定位对应子文件,并将储存对应的子文件的数据块中的数据加载到所述动态随机存取内存中,以供对对应子文件进行相应的读或写操作。2.根据权利要求1所述的系统,其特征在于,所述对每个文件分别设置与每个文件中各子文件相关的双层索引结构的方式包括:建立对各文件分别构建的文件索引节点以及与对应每个文件中各子文件构建的子文件索引节点之间的映射关系,以获得第一层索引结构;建立分别与一文件索引节点具有映射关系的各子文件索引节点,与分别储存每个子文件索引节点所对应的各子文件的数据块之间的映射关系,以获得第二层索引结构;所述第一层索引结构以及第二层索引结构构成了双层索引结构。3.根据权利要求2所述的系统,其特征在于,所述文件索引节点中包括:键值映射表;其中,所述键值映射表包括:子文件编号以及与所述子文件编号一一对应的子文件索引节点;所述文件系统基于键值映射表根据具有子文件读写操作需求的子文件的编号获得与所述编号对应的子文件索引节...

【专利技术属性】
技术研发人员:殷树宋延杰李冠呈
申请(专利权)人:上海科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1