一种面向SCM的统一文件系统管理方法技术方案

本发明专利技术公开了一种面向SCM的统一文件管理方法，首先使用面向NVM存储设备特性元数据分解与管理方法，按照不同类型NVM存储设备的特性将元数据合理分解后，分布于多个不同类型NVM存储设备中进行存储与管理，构建协作式元数据管理子系统；再通过面向SCM融合式数据统一管理方法，设计新型的文件数据组织方式，对文件进行分解和分类，从而将文件数据合理分布于多个不同类型NVM存储设备中。本发明专利技术能统一管理SCM系统中多个不同类型的NVM存储设备，在充分利用不同类型存储设备存储空间的同时，有效提高元数据和数据管理效率与访问性能。

【技术实现步骤摘要】
一种面向SCM的统一文件系统管理方法
本专利技术属于存储
，具体涉及一种SCM的文件管理技术。主要用于解决在包含多个DIMM和PCI-E接口NVM存储设备的SCM中，如何统一利用不同类型存储设备的存储空间、高效管理和访问文件的问题。
技术介绍
随着的多核、多线程等处理器技术的使用，计算机系统中快速提高的计算能力与增长缓慢的存储系统性能之间的差距越来越显著，形成了严重的存储墙问题。新型非易失存储器件(NVM)具有更高的读写速度和集成度、以及更低的功耗和非易失性，为提高存储系统性能和降低能耗奠定了良好的基础。新型NVM器件如MRAM等在写寿命、读写速度等方面已接近于DRAM，集成度、容量、可靠性和能耗等方面的指标也在不断提高中，因此NVM器件方面的局限已不是其应用到计算机系统中的主要障碍。存储级内存技术(SCM)是针对采用NVM后，各级存储器件性能差距较小的特性，通过统一管理计算机系统中的内存和外存，在计算机系统中构建的高速统一存储系统，用于解决计算机系统的存储墙问题。但内存与外存之间存在着巨大的差异；在访问方式上，内存支持字节方式的访问，而外存只能以块的方式访问；在读写速度上，外存远低于内存；在数据保存时间方面，基于DRAM的内存中数据在掉电后丢失，而基于Flash和磁盘的外存中的数据则可以在不加电的情况下长期保存；这些差异使得现有的内外存管理算法截然不同，给构建统一存储管理系统带来了巨大的挑战。当前研究者主要从如何使用NVM提高存储系统的性能和SCM存储管理机制两方面展开了研究。有研究者构建了一个基于PCM的存储阵列Onyx，实验表明其性能远超基于Flash的SSD。有研究者设计了FSMAC，利用NVM存储元数据，提高文件系统的性能。有研究者使用NVM构建了文件系统的缓存和缓冲，同时实现了文件系统的日志功能。有研究者通过分析认为PCM最好是用来构建分层式存储系统或存储系统的缓存。有研究者使用NVM构建写缓存，提高基于Flash的SSD性能。有研究者提出了SCM的混合视图FRASH，它由位于内存及位于磁盘的数据结构组成，为log结构文件系统中位于内存的关键性数据结构提供非易失性，能大幅降低延迟，并提高鲁棒性。有研究者针对使用SCM替换硬盘时，存在的块接口不能向存储设备提供足够信息的问题，设计和实现了基于对象的SCMs。有研究者提出了“原子写”原语，将多个I/O操作组成一个逻辑组，在存储设备中实现写操作的原子性，减少操作系统和上层应用保证数据一致性和完整性的开销。针对现有文件系统未考虑SCM字节寻址和非易失性的特点，有研究者利用操作系统中内存管理模块，实现了基于虚拟地址空间的文件系统SCMFS。有研究者针对SCM，提出了一种文件系统BPFS，使用短路影子分页(short-circuitshadowpaging)技术实现原子和细粒度的更新，提高了文件系统的可靠性及性能。有研究者采用超级页保存DIMM接口NVM存储设备的内部管理信息，保证存储管理的可靠性，并采用不同大小的页分别管理小文件和大文件，提高文件系统的性能。有研究者针对PCM设计了Shortcut-JFS日志文件系统，通过仅记录差异字节和原地创建检查点，减少写操作。当前将NVM应用于构建SCM的研究中，主要还是用于提高现有存储系统的性能和构建面向字节访问特性的新型文件系统这两个方面。但由于集成度和DIMM数量的限制，使用NVM存储设备构建的大容量SCM时必然出现DIMM和PCI-E接口NVM存储设备并存的情况，DIMM接口和PCI-E接口在访问方式和速度方面均存在巨大差异，现有的内存和外存管理策略均只是针对字节或块访问方式，无法统一管理不同接口类型和访问方式的存储设备。不同文件的访问方式也不相同，一股包含随机和顺序等访问方式；不同文件的访问特性也存在差异，有的文件仅访问很小的部分，而有的则需要访问整个文件；同时元数据和数据的被访问频率也存在很大差异；因此单一的文件管理策略难以适应SCM中文件管理的要求。
技术实现思路
本专利技术的目的在于设计一种面向SCM的统一文件系统，解决在包含多个DIMM和PCI-E接口NVM存储设备的SCM中，如何统一利用不同类型存储设备的存储空间、高效管理和访问文件的问题。本专利技术的技术方案为：一种面向SCM的统一文件系统管理方法，包括以下步骤：使用面向NVM存储设备特性元数据分解与管理方法，按照不同类型NVM存储设备的特性将元数据合理分解后，分布于多个不同类型的NVM存储设备中进行存储与管理，构建协作式元数据管理子系统；通过面向SCM融合式数据统一管理方法，设计新型的文件数据组织方式，对文件进行分解和分类，从而将文件数据合理分布与多个不同类型NVM存储设备中。进一步，所述面向NVM存储设备特性的元数据分解与管理方法包括下列步骤：步骤1.1，针对DIMM和PCI-E接口NVM存储设备特性的区别，设计面向NVM存储设备特性的元数据分解方法，将文件的元数据分解为基本属性和扩展属性两类；步骤1.2，针对基本属性的特性，将基本属性保存在DIMM接口NVM存储设备中，设计集中式结构化基本属性管理方法；步骤1.3，针对扩展属性的特性，将扩展属性分布到多个PCI-E接口NVM存储设备中，设计协作式分层扩展属性管理方法。进一步，所述步骤1.1中面向NVM存储设备特性元数据分解方法包括下列步骤：步骤2.1，从文件元数据中提取文件内部标识、文件访问路径和访问权限，并增加位置标识，一起作为文件的基本属性，位置标识的值为0表示文件数据全部在DIMM接口NVM存储设备中，位置标识的值为1表示在PCI-E接口NVM存储设备中也保存部分文件数据；步骤2.2，将文件元数据中其余的属性和文件内部标识作为文件的扩展属性。进一步，所述步骤1.2中集中式结构化基本属性管理方法包括下列步骤：步骤3.1，为每个文件的基本属性建立一个结构相同的结构体，构建文件的基本属性块；步骤3.2，将文件的基本属性块采用链表连接起来，构建基本属性块链表；步骤3.3，对基本属性块链表，以文件内部标识为关键字，建立基本属性索引表。步骤3.4，将所有文件的基本属性保存在DIMM接口NVM存储设备中；步骤3.5，在基本属性块链表的基础上，建立和维护SCM中文件系统的目录树，提供符合用户使用习惯的分层目录树文件访问和管理方式。进一步，所述步骤1.3中协作式分层扩展属性管理方法包括下列步骤：步骤4.1，为每个文件建立一个结构相同的结构体，保存文件内部标识、扩展属性数量和扩展属性地址，构建文件的扩展属性块；步骤4.2，将PCI-E接口NVM存储设备中的扩展属性块连接起来，在每个PCI-E接口NVM存储设备中构建一张扩展属性一级链表；步骤4.3，再为文件中每一个扩展属性构建一个结构相同的结构体，保存扩展属性名称、扩展属性的值和该文件下一个扩展属性的地址，构建文件的扩展属性值块；步骤4.4，将文件的所有扩张属性值块用链表连接起来，构建属于每个文件自己的扩展属性二级链表，并将链表的首地址写入扩展属性一级链表中相应文件扩展属性块的扩展属性地址中。步骤4.5，将文件扩展属性分布与多个PCI-E接口NVM存储设备中，每个PCI-E接口NVM存储设备负责管理所存储文件的扩展属性；步骤4.6，查找和管理扩展本文档来自技高网...

【技术保护点】
一种面向SCM的统一文件系统管理方法，其特征在于，包括以下步骤：使用面向NVM存储设备特性元数据分解与管理方法，按照不同类型NVM存储设备的特性将元数据合理分解后，分布于多个不同类型的NVM存储设备中进行存储与管理，构建协作式元数据管理子系统；通过面向SCM融合式数据统一管理方法，设计新型的文件数据组织方式，对文件进行分解和分类，从而将文件数据合理分布与多个不同类型NVM存储设备中。

【技术特征摘要】
1.一种面向SCM的统一文件系统管理方法，其特征在于，包括以下步骤：使用面向NVM存储设备特性元数据分解与管理方法，按照不同类型NVM存储设备的特性将元数据合理分解后，分布于多个不同类型的NVM存储设备中进行存储与管理，构建协作式元数据管理子系统；通过面向SCM融合式数据统一管理方法，设计文件数据组织方式，对文件进行分解和分类，从而将文件数据合理分布于多个不同类型NVM存储设备中；所述面向SCM融合式数据统一管理方法，设计文件数据组织方式的具体包括下列步骤：步骤5.1，设计新型的复合式文件数据组织方法，将文件数据合理分布于多个DIMM和PCI-E接口NVM存储设备中；步骤5.2，针对文件数据在多个DIMM和PCI-E接口NVM存储设备中的分布，设计文件数据统一写入方法；步骤5.3，针对文件数据在多个DIMM和PCI-E接口NVM存储设备中的分布，设计文件数据协作读取方法；步骤5.4，针对文件数据在多个DIMM和PCI-E接口NVM存储设备中的分布，设计融合式文件数据修改方法；所述步骤5.1中复合式文件数据组织方法具体包括下列步骤：步骤6.1，每个文件包括字节和块分区两个逻辑数据分区；步骤6.2，块分区由一系列大小为Sizep的数据块组成，保存在PCI-E接口NVM存储设备中；步骤6.3，字节分区大小为Sizep+1，保存在DIMM接口NVM存储设备中；所述步骤5.2中文件数据统一写入方法具体包括下列步骤：步骤7.1，在存储新文件时，首先检查新文件的大小，Size表示文件数据大小，如果文件大小小于Sizep，则转到步骤7.2，否则转到步骤7.3；步骤7.2，将新文件的数据写入DIMM接口NVM存储设备中的字节分区中，并将元数据基本属性中位置标识的值设置为0，最后结束文件数据写入过程；步骤7.3，将元数据基本属性中位置标识的值设置为1，并将字节分区中第一个字节设置为0，再从DIMM接口NVM存储设备中字节分区第二个字节开始位置，保存文件头部大小为Size％Sizep的数据；步骤7.4，将剩余的数据以Sizep为单位写入PCI-E接口NVM存储设备中的块分区中，最后结束文件数据写入过程；所述步骤5.3中文件数据协作读取方法具体包括下列步骤：步骤8.1，使用文件访问路径，查找文件元数据的基本属性，获取位置标识的值，如为0则转到步骤8.2，否则转到步骤8.3；步骤8.2，从位于DIMM接口NVM存储设备的字节分区中读取文件数据，将数据反馈给用户并结束文件数据读取过程；步骤8.3，从PCI-E接口NVM存储设备的块分区中读取文件数据片段A，再从DIMM接口NVM存储设备中字节分区第二个字节开始读取文件数据片段B；步骤8.4，从DIMM接口NVM存储设备中字节分区第一个字节，读出文件数据片段B的地址信息，将文件数据片段B与文件数据片段A中相应地址数据对换；步骤8.5，将文件数据片段B和文件数据片段A连接起来，得到文件完整的数据，反馈给用户，并结束文件数据读取过程；所述步骤5.4中融合式文件数据修改方法具体包括下列步骤：步骤9.1，使用文件访问路径，查找文件元数据的基本属性，获取位置标识的值，如为0则转到步骤9.2，否则转到步骤9.3；步骤9.2，在位于DIMM接口NVM存储设备的字节分区中修改文件数据，将结果反馈给用户并结束文件数据修改过程；步骤9.3，从DIMM接口NVM存储设备中字节分区第一个字节，读出字节分区中数据片段的地址信息，与需修改地址进行比较，如果需修改地址在字节分区中则执行步骤9.4，否则执行步骤9.5；步骤9.4，按照需修改地址...

【专利技术属性】
技术研发人员：蔡涛，牛德姣，何耀，朱叶青，胡永良，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32