一种分布式文件存取方法技术

一种分布式文件存取方法，包括：在分布式文件系统中构造初始文件信息，建立文件信息库；提供文件存取接口，通过存取接口提出文件存取请求；获取文件信息；按获取的文件信息，确定文件的具体位置；根据文件存取请求种类以及文件的具体位置进行文件存取操作；将远地节点文件进行本地映像；对操作过程中的文件信息进行同步；在文件信息库中实时持久化；本发明专利技术方法杜绝了这种文件组织结构的调整，不管应用在分布式系统中如何移动，对于应用本身文件系统保持不变，本发明专利技术的方法采用实时的分布式目录信息管理，文件客户端和服务器对等的方式完成文件的分布式存取，从而真正向应用提供了与实际运行环境无关的文件存取方法。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及分布式处理系统中文件的存取方法，具体涉及一种使得在分布式处理系统中的任何处理节点上对文件的存取如同存取本地文件一样的存取方法，使用该方法进行文件存取的处理应用无需关心文件的实际存放地点。同时该方法提供灵活的存取方式，将分布式系统中纳入该方法管理的文件统一组织成为一个文件目录结构实现与集中式文件系统相同的文件管理。
技术介绍
对于任何分布式处理系统来说，文件系统都是其中的一个关键组成部分。文件系统的主要功能就是提供对文件的存取能力，而DFS(DistributedFile System分布式文件系统)需要提供存取系统中分散在不同物理节点上文件的能力。一个好的分布式文件系统可以做到无需应用关心文件的实际存储位置，同时在应用的运行地点发生变化的情况下，无需修改本地文件系统的结构，仍能保证应用正确的存取文件。目前的分布式文件系统基本是采用文件服务器和目录服务器的形式提供统一文件系统的实现，如在专利号6,219,693的美国专利公开的一种具有分布在数据处理平台上的文件系统的文件阵列体系结构(File arraystorage architecture having file system distributed across a dataprocessing platform)中，当一个应用请求分布式文件系统中的一个文件时，客户端向目录服务器请求该文件的查找，同时在客户端本地将目录信息缓存，然后向文件服务器请求文件。因此客户端逐渐建立的一个目录信息的映象，而目录信息的组织一种特殊的命名方式完成，通常该目录信息中带有实际网络节点的信息。同时一个不可忽视的因素就是，分布式文件系统与本地文件系统的共存问题，任何一个分布式文件系统都需要通过本地文件系统来实现真正的文件存取，那些非本机的目录结构通常是通过一定的方法挂接到本地的文件系统之中，如著名的SUN(太阳微系统公司)公司提供的NFS(Network File System网络文件系统)。这种挂接方式给应用在分布式系统中的部署带来了一定的制约，当应用从一个节点移动到另一个节点中，文件系统可能会发生一定的变化，则需要对本地文件系统的挂接进行一定的调整，而这种调整是与应用本身相关的，这显然违反了分布式系统为其上的应用提供一个与实际物理分布无关的运行系统的这一原则。专利号为6,078,929的美国专利互连网文件系统(Internet filesystem)同样存在这样的问题，它使用统一的文件定位描述，但是该描述中含有分布式节点的物理信息，因此一旦文件的位置发生了变化，统一文件定位信息也必然发生变化，使得访问该文件的应用必须了解这一变化，显示并调整其对该文件的访问。将文件服务器和目录服务器分布在所有节点中，文件请求客户端同时又是服务器，这种结构在一定程度上解决了文件分布与应用的关联，但并未彻底解决。同时远程文件系统与本地文件系统之间的文件操作，如文件的拷贝，移动等等，也存在一定的不兼容性，这种不兼容性要求应用参与管理，这也违背了应用程序与分布式文件系统本身的隔离性。目前的分布式应用对于应用运行位置相对固定，系统本身用于系统负荷的分担，可以比较好的使用；但对于应用移动频繁的场合则有待发展。总之，目前的分布式文件系统在文件和分布式应用位置相对固定的场合可以很好的完成文件的分布式存取，但是文件位置或是分布式应用本身发生位置上的变化，则文件的存取则很难做到与应用的运行逻辑无关，应用必须介入对这种变化的调整。
技术实现思路
本专利技术要解决的技术问题在于，提供，该方法克服了目前分布式文件系统对于需要经常性移动运行位置应用而调整文件系统部署的缺点，在上层应用改变其运行位置时，仍然可以正确读写分布式文件系统中的文件，而无需关心文件实际存放位置。同时，该方法在存取文件的同时可以做到实时的文件目录信息更新，保证文件系统的一致性。本专利技术上述技术问题这样解决，针对应用移动可能性较大，为文件目录信息较为统一的分布式系统提供。该方法采用实时的分布式目录信息管理，文件客户端和服务器对等的方式完成文件的分布式存取。文件的存取主要包括文件的打开/创建，文件的读取/写入，文件的复制/移动，文件的删除，文件的关闭，本方法为这些文件存取方法提供在分布式文件系统中的存取能力。需要指出的是，分布式文件系统是分布式处理系统的一个部分，它为分布式处理系统提供文件相关的服务，在文件处理过程中的一些手段是通过分布式处理系统中已有的机制进行的，如通讯，远程过程调用等，这些手段不属于本方法的范畴。本方法采用以下步骤来实现上述功能1.初始文件信息构造分布式文件系统需要维护一个统一的文件目录信息，本方法同样需要这一信息。在系统初始化的时候，系统中各个节点进行本地文件目录信息的构造，该信息保存在一个特殊的本地文件中，称为文件信息库，系统将该文件映射到系统内存中，以后对该映射内存的操作，同时实时反映在该文件中，实现信息的持久化。该文件初始存储本地参与分布式文件系统的文件和目录信息。如果本地初始没有文件参与分布式文件存取，该文件内容可以为空。2.文件存取请求接收本方法提供文件的存取接口，应用通过调用这些接口将文件存取的请求发送到分布式文件系统的处理单元中，处理单元为每个处理请求生成一个处理子单元，子单元实施具体的文件存取请求，并将处理结果返回给应用。文件存取接口可以是同步的，也可以是异步的，则取决于分布式处理系统本身提供的机制，如远程过程调用等。3.文件信息获取文件存取请求的处理子单元接收到请求后，根据请求的种类，决定是否需要获取文件信息。如果需要文件信息，则首先在本地的内存映象中查找，如果本地没有该文件信息，则通过分布式处理系统的通讯机制，向其他处理节点进行查询，并等待信息反馈。如果获得请求的文件信息，则进行下一步操作，否则向应用返回失败。4.文件定位一旦获取文件信息，则可以得到文件的具体位置，为下一步操作做好准备；文件的定位信息包含文件相对于分布式文件系统根的相对路径，以及节点信息。5.文件操作根据文件存取请求的种类以及文件的具体位置，对文件的操作可以分为四种，本地文件操作，远地文件操作，远地文件的本地映像操作，映像文件的远地映像。本地文件操作，则在本地文件信息映象中进行文件的状态修改，并使用本地文件系统提供的文件存取方法对文件进行操作，本地文件的后续操作完全本地化。远地文件操作，则有本地的处理子单元向文件所在节点发起文件存取请求，此时本地存取子单元处于文件存取发起者的地位，远地处理单元接收到该请求与其本身接收到本地应用的文件存取请求一样进行处理。如果文件在远地节点，但文件必须在本地完成操作，本方法的大部分文件存取均需要如此完成，详见表一的说明，此时就需要进行远地文件的本地映像。当映像文件在操作过程中被改变，则在文件操作完成后，需要将映象文件映像回原文件，这种操作称为映像文件的远地映像。6.文件本地映像文件的本地映像就是将远地节点映射到本地，并将后续的文件操作在本地完成。文件的本地映像同样是通过操作请求进行的，由本地操作子单元向远地操作单元发起，该请求是分布式文件系统中的内部请求不向上层应用提供。该请求结合本地原文件存取请求的种类，在接收该文件映像请求后，修改其文件信息的内存映象状态，并增加该文件的访问计数。当对本本文档来自技高网...

【技术保护点】
一种分布式文件存取方法，其特征在于，包括如下步骤：１）在分布式文件系统中构造初始文件信息，建立文件信息库；２）提供文件存取接口，通过存取接口提出文件存取请求；３）获取文件信息；４）按获取的文件信息，确定文件的 具体位置；５）根据文件存取请求的种类以及文件的具体位置进行文件存取操作；６）将远地节点文件进行本地映像；　７）对操作过程中的文件信息同步；在文件信息库中实时持久化。

【技术特征摘要】

【专利技术属性】
技术研发人员：谭震，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：94[中国|深圳]