分布式随机访问文件系统及其访问控制方法技术方案

本发明专利技术提供一种分布式随机访问文件系统及其访问控制方法，其中，所述分布式随机访问文件系统至少包括：进程管理模块，用于在用户请求打开、关闭和读/写被访问文件时，管理进程对所述被访问文件的打开、关闭和读/写操作；查询判断模块，用于查询所述映射表，并判断所述被访问文件数据的逻辑地址与其所在的物理地址间是否存在映射关系；寻址访问模块，用于根据所述被访问文件数据的逻辑地址寻址到所述被访问文件数据的物理地址。本发明专利技术充分发挥了新型非易失存储器随机访问的优势，提高了文件的读写访问速度，节省了有限的DRAM资源，从而提高系统I/O性能，实现进程对文件数据的快速访问。

【技术实现步骤摘要】

本专利技术涉及文件系统领域，特别是涉及一种。
技术介绍
文件系统是操作系统的重要组成部分，用于控制对文件数据的存取；它提供对文件和目录的分层组织形式、数据缓冲(对于实时系统，允许绕过缓冲)以及对文件数据存取权限的控制。 随着半导体存储技术的发展以及新型存储架构的提出，特别是将基于新型非易失随机存储器+DRAM(Dynamic Random Access Memory，动态随机存取存储器)的存储架构，替代传统 N0R+NAND+DRAM 或 HDD (Hard Disk Drive，硬盘)/SSD (Solid State Disk，固态硬盘)+DRAM的存储架构的提出，传统的文件系统工作方式及文件访问方式在新型存储架构下不能很好的发挥新型非易失随机存储器独有的随机访问特性优势。因为:传统的文件系统保存在非易失存储器中，当进程访问文件系统中的各个文件数据时，首先操作系统需要将要访问的数据从非易失存储器中以数据页形式顺序加载到DRAM，然后CPU以随机访问的方式访问DRAM中的数据，进行相应的读取或改写；可见，传统的文件系统访问数据时需要将数据加载至DRAM会导致多次数据复制、冗余数据迁移、文件读写速度慢、加载至DRAM内的数据的副本占用有限的DRAM内存资源，以及多数据副本数据同步引入额外的系统资源消耗等，同时由于无法直接随机访问非易失存储器中的数据而不能发挥新型存储器随机访问的特性。 因此，如何在新型存储架构下管理文件系统及控制文件访问，充分发挥新型非易失存储器随机访问的优势，如何提高文件的读写访问速度，如何节省有限的DRAM资源，提高系统I/O性能，成为存储系统亟待解决的问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种，用于解决现有技术中传统文件系统工作模式在新型存储架构中不能充分发挥新型存储器随机访问的优势，以及传统文件系统读取访问文件数据速度慢等问题。 为实现上述目的及其他相关目的，本专利技术提供一种分布式随机访问文件系统，应用于由本地存储节点和远程存储节点组成的存储有文件数据和文件系统管理数据的存储系统，其中，所述远程存储节点通过网络与所述本地存储节点连接，所述远程存储节点用于存储远程文件数据和文件系统管理数据；所述本地存储节点用于存储本地文件数据和与所述远程存储节点中相同的文件系统管理数据；所述存储系统由至少一台主机构成，每台主机至少包括中央处理器以及由动态随机存取存储器和非易失性随机存储器组成的存储架构，其中，各主机的存储架构中的各动态随机存取存储器和各非易失性随机存储器采用统一物理地址编址； 所述分布式随机访问文件系统至少包括:进程管理模块，与所述进程管理模块连接的查询判断模块，以及与所述查询判断模块连接的寻址访问模块；其中: 进程管理模块，用于在用户请求打开、关闭和读/写被访问文件时，管理进程对所述被访问文件的打开、关闭和读/写操作；以及用于当所述进程打开所述被访问文件时，在进程虚拟地址空间中为所述被访问文件分配逻辑地址空间、文件数据指针和映射表；其中，所述文件数据指针指向所述进程管理模块在所述进程虚拟地址空间中为所述被访问文件分配的逻辑地址空间中的起始逻辑地址，所述被访问文件数据的逻辑地址的寻址基于所述文件数据指针和所述被访问文件数据的读/写请求中的偏移量实现；其中，所述映射表初始化为空表，且所述映射表用于保存所述被访问文件数据的逻辑地址与其所在的物理地址间的映射关系；当所述进程关闭所述文件时，调用所述清除模块；当所述进程读/写所述被访问文件时，调用所述查询判断模块； 查询判断模块，用于查询所述映射表，并判断所述被访问文件数据的逻辑地址与其所在的物理地址间是否存在映射关系；在所述被访问文件数据的逻辑地址与其所在的物理地址间存在映射关系时，调用所述寻址访问模块； 寻址访问模块，用于根据所述被访问文件数据的逻辑地址寻址到所述被访问文件数据的物理地址，所述进程基于所述被访问文件数据的物理地址原位读/写所述被访问文件数据。 优选地，所述分布式随机访问文件系统还包括:与所述查询判断模块连接的检索判断模块，与所述检索判断模块连接的中断模块，以及与所述中断模块、所述寻址访问模块连接的建立模块；其中: 检索判断模块，用于在所述被访问文件数据的逻辑地址与其所在的物理地址间不存在映射关系时，检索并判断所述被访问文件数据是否存储于所述本地存储节点的非易失性随机存储器中；在所述被访问文件数据存储于所述本地存储节点的非易失性随机存储器中时，调用中断模块；在所述被访问文件数据不存储于所述本地存储节点的非易失性随机存储器中时，继续判断所述被访问文件数据是否存储于所述本地存储节点的动态随机存取存储器中；在所述被访问文件数据存储于所述本地存储节点的动态随机存取存储器中时，调用所述中断模块； 中断模块，用于调用系统中断函数，并向所述建立模块发送系统中断通知； 建立模块，用于当接收到所述中断模块发出的系统中断后，在所述被访问文件数据存储于所述本地存储节点的非易失性随机存储器中时，以数据页形式建立所述被访问文件数据的逻辑地址与其所在的所述本地存储节点的非易失性随机存储器中物理地址间的映射关系，然后调用所述寻址访问模块；或者，在所述被访问文件数据存储于所述本地存储节点的动态随机存取存储器中时，以数据页形式建立所述被访问文件数据的逻辑地址与其所在的所述本地存储节点的动态随机存储器中的物理地址间的映射关系，然后调用所述寻址访问模块。 优选地，所述分布式随机访问文件系统还包括:与所述检索判断模块、所述中断模块连接的获取模块；其中: 获取模块，用于在所述被访问文件数据不存储于所述本地存储节点的动态随机存取存储器中时，根据所述文件系统管理数据确定存储所述被访问文件数据的远程存储节点，通过网络从所述远程存储节点中获取所述被访问文件数据，并存储于所述本地存储节点的动态随机存取存储器中，然后调用中断模块。 优选地，所述分布式随机访问文件系统还包括:与所述寻址访问模块连接的锁定/解锁模块；其中: 锁定/解锁模块，用于在所述进程响应所述被访问文件数据的写请求时，锁定所述被访问文件中相应的数据页，并判断锁定是否成功，若否，则等待所述被访问文件中相应的数据页解锁，重复判断锁定是否成功；若是，则修改所述文件系统管理数据，将所述被访问文件中相应数据页的访问锁定标识符标记为锁定状态；或者，用于解锁被锁定的被访问文件中相应的数据页，更新所述文件系统管理数据，将所述被访问文件中相应数据页的访问锁定标识符标记为解锁状态。 优选地，所述分布式随机访问文件系统还包括:与所述进程管理模块连接的清除模块；其中: 清除模块，用于在所述进程关闭所述被访问文件时，清除所述被访问文件数据的逻辑地址与其所在的物理地址间已建立的所有映射，并销毁所述文件数据指针。 优选地，所述映射表中至少包括:所述被访问文件数据的逻辑地址与其所在的所述本地存储节点的非易失性随机存储器中的物理地址间的映射，或者所述被访问文件数据的逻辑地址与其所在的所述本地存储节点的动态随机存储器中的物理地址间的映射。 本专利技术还提供一种如上所述的分布式随机访问文件系统的访问控制方法，其中，所述分布式随机访问文件系统本文档来自技高网...

【技术保护点】
一种分布式随机访问文件系统，应用于由本地存储节点和远程存储节点组成的存储有文件数据和文件系统管理数据的存储系统，其特征在于，所述远程存储节点通过网络与所述本地存储节点连接，所述远程存储节点用于存储远程文件数据和文件系统管理数据；所述本地存储节点用于存储本地文件数据和与所述远程存储节点中相同的文件系统管理数据；所述存储系统由至少一台主机构成，每台主机至少包括中央处理器以及由动态随机存取存储器和非易失性随机存储器组成的存储架构，其中，各主机的存储架构中的各动态随机存取存储器和各非易失性随机存储器采用统一物理地址编址；所述分布式随机访问文件系统至少包括：进程管理模块，与所述进程管理模块连接的查询判断模块，以及与所述查询判断模块连接的寻址访问模块；其中：进程管理模块，用于在用户请求打开、关闭和读/写被访问文件时，管理进程对所述被访问文件的打开、关闭和读/写操作；以及用于当所述进程打开所述被访问文件时，在进程虚拟地址空间中为所述被访问文件分配逻辑地址空间、文件数据指针以及映射表；其中，所述文件数据指针指向所述进程管理模块在所述进程虚拟地址空间中为所述被访问文件分配的逻辑地址空间中的起始逻辑地址，所述被访问文件数据的逻辑地址的寻址基于所述文件数据指针和所述被访问文件数据的读/写请求中的偏移量实现；其中，所述映射表初始化为空表，且所述映射表用于保存所述被访问文件数据的逻辑地址与其所在的物理地址间的映射关系；当所述进程关闭所述文件时，调用所述清除模块；当所述进程读/写所述被访问文件时，调用所述查询判断模块；查询判断模块，用于查询所述映射表，并判断所述被访问文件数据的逻辑地址与其所在的物理地址间是否存在映射关系；在所述被访问文件数据的逻辑地址与其所在的物理地址间存在映射关系时，调用所述寻址访问模块；寻址访问模块，用于根据所述被访问文件数据的逻辑地址寻址到所述被访问文件数据的物理地址，所述进程基于所述被访问文件数据的物理地址原位读/写所述被访问文件数据。...

【技术特征摘要】
1.一种分布式随机访问文件系统，应用于由本地存储节点和远程存储节点组成的存储有文件数据和文件系统管理数据的存储系统，其特征在于，所述远程存储节点通过网络与所述本地存储节点连接，所述远程存储节点用于存储远程文件数据和文件系统管理数据；所述本地存储节点用于存储本地文件数据和与所述远程存储节点中相同的文件系统管理数据；所述存储系统由至少一台主机构成，每台主机至少包括中央处理器以及由动态随机存取存储器和非易失性随机存储器组成的存储架构，其中，各主机的存储架构中的各动态随机存取存储器和各非易失性随机存储器采用统一物理地址编址； 所述分布式随机访问文件系统至少包括:进程管理模块，与所述进程管理模块连接的查询判断模块，以及与所述查询判断模块连接的寻址访问模块；其中: 进程管理模块，用于在用户请求打开、关闭和读/写被访问文件时，管理进程对所述被访问文件的打开、关闭和读/写操作；以及用于当所述进程打开所述被访问文件时，在进程虚拟地址空间中为所述被访问文件分配逻辑地址空间、文件数据指针以及映射表；其中，所述文件数据指针指向所述进程管理模块在所述进程虚拟地址空间中为所述被访问文件分配的逻辑地址空间中的起始逻辑地址，所述被访问文件数据的逻辑地址的寻址基于所述文件数据指针和所述被访问文件数据的读/写请求中的偏移量实现；其中，所述映射表初始化为空表，且所述映射表用于保存所述被访问文件数据的逻辑地址与其所在的物理地址间的映射关系；当所述进程关闭所述文件时，调用所述清除模块；当所述进程读/写所述被访问文件时，调用所述查询判断模块； 查询判断模块，用于查询所述映射表，并判断所述被访问文件数据的逻辑地址与其所在的物理地址间是否存在映射关系；在所述被访问文件数据的逻辑地址与其所在的物理地址间存在映射关系时，调用所述寻址访问模块； 寻址访问模块，用于根据所述被访问文件数据的逻辑地址寻址到所述被访问文件数据的物理地址，所述进程基于所述被访问文件数据的物理地址原位读/写所述被访问文件数据。2.根据权利要求1所述的分布式随机访问文件系统，其特征在于，所述分布式随机访问文件系统还包括:与所述查询判断模块连接的检索判断模块，与所述检索判断模块连接的中断模块，以及与所述中断模块、所述寻址访问模块连接的建立模块；其中: 检索判断模块，用于在所述被访问文件数据的逻辑地址与其所在的物理地址间不存在映射关系时，检索并判断所述被访问文件数据是否存储于所述本地存储节点的非易失性随机存储器中；在所述被访问文件数据存储于所述本地存储节点的非易失性随机存储器中时，调用中断模块；在所述被访问文件数据不存储于所述本地存储节点的非易失性随机存储器中时，继续判断所述被访问文件数据是否存储于所述本地存储节点的动态随机存取存储器中；在所述被访问文件数据存储于所述本地存储节点的动态随机存取存储器中时，调用所述中断模块； 中断模块，用于调用系统中断函数，并向所述建立模块发送系统中断通知； 建立模块，用于当接收到所述中断模块发出的系统中断后，在所述被访问文件数据存储于所述本地存储节 点的非易失性随机存储器中时，以数据页形式建立所述被访问文件数据的逻辑地址与其所在的所述本地存储节点的非易失性随机存储器中物理地址间的映射关系，然后调用所述寻址访问模块；或者，在所述被访问文件数据存储于所述本地存储节点的动态随机存取存储器中时，以数据页形式建立所述被访问文件数据的逻辑地址与其所在的所述本地存储节点的动态随机存储器中的物理地址间的映射关系，然后调用所述寻址访问模块。3.根据权利要求2所述的分布式随机访问文件系统，其特征在于，所述分布式随机访问文件系统还包括:与所述检索判断模块、所述中断模块连接的获取模块；其中: 获取模块，用于在所述被访问文件数据不存储于所述本地存储节点的动态随机存取存储器中时，根据所述文件系统管理数据确定存储所述被访问文件数据的远程存储节点，通过网络从所述远程存储节点中获取所述被访问文件数据，并存储于所述本地存储节点的动态随机存取存储器中，然后调用中断模块。4.根据权利要求1所述的分布式随机访问文件系统，其特征在于，所述分布式随机访问文件系统还包括:与所述寻址访问模块连接的锁定/解锁模块；其中: 锁定/解锁模块，用于在所述进程响应所述被访问文件数据的写请求时，锁定所述被访问文件中相应的数据页，并判断锁定是否成功，若否，则等待所述被访问文件中相应的数据页解锁，重复判断锁定是否成功；若是，则修改所述文件系统管理数据，将所述被访问文件中相应数据页的访问锁定标识符标记为锁定状态；或者，用于解锁被锁定的被访问文件中相应的数据页，更新所述文件系统管理数据，将所述被访问文件中相应数据页的访问锁定标识符标记为解锁状态。5.根据权利要求1-4任一项所述的分布式随机访问文件系统，其特征在于，所述分布式随机访问文件系统还包括:与所述进程管理模块连接的清除模块；其中: 清除模块，用于在所述进程关闭所述被访问文件时，清除所述被访问文件数据的逻辑地址与其所在的物理地址间已建立的所有映射，并销毁所述文件数据指针。6.根据权利要求1-4任一项所述的分布式随机访问...

【专利技术属性】
技术研发人员：陈小刚，李顺芬，柳扬，周密，李鸽子，宋志棠，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海;31