日志型异构混合内存文件系统的实现方法技术方案

本发明专利技术提供了一种日志型异构混合内存文件系统的实现方法，混合内存划分步骤：对文件系统的混合内存进行分层次划分，即划分为zone、section、segment、page这四个不同的逻辑块，并对四个逻辑块进行逻辑编号；混合内存逻辑块映射步骤：构建文件系统逻辑块到底层SCM物理地址的映射，并实现页面的动态分配和回收；多层次散列表构建步骤：构建多层次的基于散列表的目录结构，用于进行文件查找。本发明专利技术中的实现方法使文件系统能够根据异构内存介质的硬件特性合理调度分配存储空间，提高硬件的利用率，延长硬件的使用寿命，提高文件的存储效率和访问效率。

【技术实现步骤摘要】

本专利技术涉及文件系统
，具体地，涉及一种日志型异构混合内存文件系统的实现方法。
技术介绍
新型存储技术的兴起和不同SCM(Storage Class Memory，存储类内存)器件的出现，引起了人们对混合内存系统架构和管理方式的关注和研究。SCM器件具有非易失性、读快写慢、静态功耗低而动态功耗高等特点，异于传统的内存。国内外众多的专家学者也基于SCM器件提出过多种内存组织方式和优化方法。然而众多的组织方式和优化方法都有各自的局限性和适用范围。随着云计算、物联网等技术的发展，数据正以前所未有的速度不断增长和累积，如何管理和组织这些数据，对传统的文件系统来说是一个挑战。从上层应用来看，尽管当前的文件系统为应用提供了一种易用的数据组织方式，然而数据的增长和信息复杂性扩张都加大了资源管理和检索数据的难度，而且数据处在不断变化之中，应用很难准确获得数据的全貌及数据间的潜在关系；另外从底层硬件的角度来看，传统的数据组织方式也无法充分发挥DRAM和SCM混合内存架构的效用，如何有效地组织数据，最大化地提高混合内存的性能也是一个挑战。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种日志型异构混合内存文件系统的实现方法。根据本专利技术提供的日志型异构混合内存文件系统的实现方法，包括如下步骤：混合内存划分步骤：对文件系统的混合内存进行分层次划分，即划分为zone(域)、section(区)、segment(段)、page(页)这四个不同的逻辑块，并对四个逻辑块进行逻辑编号；混合内存逻辑块映射步骤：构建文件系统逻辑块到底层SCM物理地址的映射，并实现页面的动态分配和回收；多层次散列表构建步骤：构建多层次的基于散列表的目录结构，用于进行文件查找。优选地，所述混合内存划分步骤中将文件系统的混合内存划分为四层，具体地，一个文件系统的混合内存包含多个zone；一个zone包含2*n1个物理地址连续的section；一个section包含2*n2个物理地址连续的segment；一个segment包含多个物理地址空间连续的page；page是内存存储空间分配的基本单位，n1、n2为正整数。优选地，还包括顺序写步骤：采用log-structured(日志型结构)和写时复制技术对异构混合内存进行顺序写操作；具体地，当需要修改某一块数据时，不在原地进行修改，而是将原来的块数据读入DRAM中完成修改后，把修改后的数据块写入到新的SCM块中。优选地，所述混合内存逻辑块映射步骤中，采用节点地址树将内存的逻辑编号与底层SCM物理地址进行映射。优选地，页面的动态分配和回收是指：预分配一个逻辑编号到底层SCM物理地址的映射表，当文件系统需要分配存储单元存储数据时，将分配到的实际物理地址填入映射表的一个表项；当要释放页面时，只需将相应的映射表项标记为失效，通过映射表管理底层SCM的页面的分配和回收。优选地，所述多层次散列表构建步骤包括：采用多个散列表，每个散列表代表一个层次，每层次散列表bucket(桶)包含的entry(项)存在不同，但同一个散列表bucket包含的entry数目相同的；将文件的目录层次与散列表的层次对应起来，当在第n层目录写入一个文件时，尝试从第n个散列表开始映射，当第n个散列表满时，再尝试映射到第n+1个散列表，进行n的自增，直到映射成功。与现有技术相比，本专利技术具有如下的有益效果：1、本专利技术提供的日志型异构混合内存文件系统的实现方法使文件系统能够根据异构内存介质的硬件特性合理调度分配存储空间，提高硬件的利用率，延长硬件的使用寿命，提高文件的存储效率和访问效率。2、本专利技术提供的日志型异构混合内存文件系统的实现方法在不同粒度对文件系统进行管理；为延长异构混合内存采取的均匀写策略，采用log-structured结构和写时复制技术，在保证文件系统一致性的同时，提高系统读写性能，延长器件使用寿命；节点地址树结构把混合内存的逻辑编号映射成块物理地址；多层次散列表，提高文件查找效率。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为SCM内存逻辑分区层次结构示意图；图2为文件系统整体结构示意图；图3为节点地址树结构示意图；图4为inode数据块示意图；图5为文件系统目录使用的多层次散列表。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。根据本专利技术提供的日志型异构混合内存文件系统的实现方法，包括如下步骤：混合内存划分步骤：对混合内存进行分层次划分，即划分为zone、section、segment、page这四个不同的逻辑块，并对四个逻辑块进行逻辑编号；其中，Page为内存分配的基本单位；对每个segment的空间使用信息进行统计描述，每个segment中只存储数据块或者node块；根据每个segment的空间使用率等信息进行存储空间的分配、回收等操作；混合内存逻辑块映射步骤：构建上层文件系统逻辑块到底层SCM物理地址的映射，并实现页面的动态分配和回收；具体地，引用一种虚拟内存抽象机制，可以将多个SCM设备看成一个设备，通过统一的映射表来实现对多种SCM设备的访问。引用了一个地址空间映射机制，文件元数据结构inode记录的只是数据所在块的逻辑单位nid，要获得数据的物理地址需要通过NAT树将nid转化为物理地址。利用这种虚拟技术实现上层文件系统逻辑块到底层SCM物理地址的映射，隐藏实际底层物理地址空间，简化文件对象的操作，并实现页面的动态分配和回收过程。通过NAT的地址映射机制，物理地址的改变只需修改映射层内容，不需修改上层文件系统的逻辑地址，简化文件系统的修改过程，提高文件系统的可用性。多层次散列表构建步骤：采用多个散列表，每个散列表代表一个层次。每层次散列表bucket包含的entry可能不同，但同一个散列表bucket包含的entry数目是相同的。将文件的目录层次与散列表的层次对应起来，当在第n层目录写入一个文件时，尝试从
第n个散列表开始映射，当第n个散列表满时，再尝试映射到第n+1个散列表。重复此步骤，直到插入成功。使用多层次散列表对文件进行查找，减少时间复杂度，提高文件查找效率。具体地，如图1所示，对SCM内存进行逻辑分区，把整个内存划分为四层，依次为zone、section、segment、page四层。一个内存块中可以包含多个zone；一个zone包含2*n1个物理地址连续的section；一个section包含2*n2个物理地址连续的segment；一个segment包含多个物理地址空间连续的page；page是内存存储空间分配的基本单位，n1、n2为正整数。以内存为1TB大小的SCM为例，一个文件最小分得一个page大小的存储空间，那么整个SCM上的最大文件数目为1TB/4KB＝228。假设描述一个文件所需要的元数据大小为256字节，所有文件的元数据需要的最大存储空间为256字节*228＝64GB。在文件系统中需要经常访问这些元数据本文档来自技高网...

【技术保护点】
一种日志型异构混合内存文件系统的实现方法，其特征在于，包括如下步骤：混合内存划分步骤：对文件系统的混合内存进行分层次划分，即划分为zone、section、segment、page这四个不同的逻辑块，并对四个逻辑块进行逻辑编号；混合内存逻辑块映射步骤：构建文件系统逻辑块到底层SCM物理地址的映射，并实现页面的动态分配和回收；多层次散列表构建步骤：构建多层次的基于散列表的目录结构，用于进行文件查找。

【技术特征摘要】
1.一种日志型异构混合内存文件系统的实现方法，其特征在于，包括如下步骤：混合内存划分步骤：对文件系统的混合内存进行分层次划分，即划分为zone、section、segment、page这四个不同的逻辑块，并对四个逻辑块进行逻辑编号；混合内存逻辑块映射步骤：构建文件系统逻辑块到底层SCM物理地址的映射，并实现页面的动态分配和回收；多层次散列表构建步骤：构建多层次的基于散列表的目录结构，用于进行文件查找。2.根据权利要求1所述的日志型异构混合内存文件系统的实现方法，其特征在于，所述混合内存划分步骤中将文件系统的混合内存划分为四层，具体地，一个文件系统的混合内存包含多个zone；一个zone包含2*n1个物理地址连续的section；一个section包含2*n2个物理地址连续的segment；一个segment包含多个物理地址空间连续的page；page是内存存储空间分配的基本单位，n1、n2为正整数。3.根据权利要求1所述的日志型异构混合内存文件系统的实现方法，其特征在于，还包括顺序写步骤：采用log-structured结构和写时复制技术对异构混合内存进行顺序写操作；具体地，当需要修改某一块数据时，不在...

【专利技术属性】
技术研发人员：黄林鹏，朱燕民，沈艳艳，梅宏，刘昊，王振杰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31