【技术实现步骤摘要】
本专利技术属于网络通信领域，更具体地，涉及。
技术介绍
随着科技和互联网的高速发展，存储系统需要存储海量的数据，应对高并发用户的访问，提供高可靠、高可用的服务，传统的单机系统已经不能满足这些需求，而分布式文件系统可以很好的满足这些需求。在实际的应用中(个人应用、web应用、科学计算等)会产生海量的文件信息，如何在分布式环境下高效的存储和访问海量的文件，至今任然是一个难题和挑战。当前主流的分布式文件系统包括google GFS, HDFS, Lustre, Ceph等。这些分布式文件系统的架构和基本原理大致相同，主要由元数据节点,数据节点和客户节点组成。其中元数据节点保存分布式文件系统的元数据(文件系统的命名空间，文件名_>数据块的映射，数据块_>数据节点的映射)；数据节点存放实际的文件数据(一般以数据块的形式进行存储)；客户节点连接元数据节点进行文件信息查询，连接数据节点进行实际的文件传输，其在存取数据之前都要先和元数据节点进行通信。分布式文件系统对于文件的读写性能比较低。其文件读写性能差有以下原因:分布式文件系统的元数据存于元数据节点的内存中，大量...
【技术保护点】
一种分布式环境下的文件快速写方法，其特征在于，包括以下步骤：步骤S301：对分布式环境下元数据节点的数据区及索引信息进行初始化，其中索引信息包括元数据节点的索引区和一级索引区，以及数据节点的二级索引区；步骤S302：客户节点向元数据节点发出写文件请求；步骤S303：元数据节点根据写文件请求判断元数据节点的数据区的剩余空间是否大于或等于该文件大小，如果是，则转入步骤S304，否则转入步骤S308；步骤S304：元数据节点接收客户节点的文件，并将该文件存储到元数据节点的数据区的剩余空间中；步骤S305：元数据节点更新其索引区的信息：步骤S306：元数据节点判断元数据节点的数据区...
【技术特征摘要】
1.一种分布式环境下的文件快速写方法，其特征在于，包括以下步骤: 步骤S301:对分布式环境下元数据节点的数据区及索引信息进行初始化，其中索引信息包括元数据节点的索引区和一级索引区，以及数据节点的二级索引区； 步骤S302:客户节点向元数据节点发出写文件请求； 步骤S303:元数据节点根据写文件请求判断元数据节点的数据区的剩余空间是否大于或等于该文件大小，如果是，则转入步骤S304，否则转入步骤S308 ； 步骤S304:元数据节点 接收客户节点的文件，并将该文件存储到元数据节点的数据区的剩余空间中； 步骤S305:元数据节点更新其索引区的信息: 步骤S306:元数据节点判断元数据节点的数据区中存储的数据是否大于一个阈值，如果是，则转入步骤S307，否则过程结束； 步骤S307:元数据节点将其数据区的数据作为一个普通文件存于分布式文件系统中，并清空其数据区及索引区中的数据，过程结束； 步骤S308:元数据节点将其数据区的数据作为一个普通文件存于分布式文件系统中，并清空其数据区及索引区中的数据； 步骤S309:元数据节点接收客户节点的文件数据，并将其存储到其数据区的剩余空间中； 步骤S310:元数据节点更新其索引区的信息。2.根据权利要求1所述的文件快速写方法，其特征在于，文件的大小是介于(TlMB之间，普通文件的大小大于所述阈值。3.根据权利要求1所述的文件快速写方法，其特征在于，步骤305和步骤S310具体为，元数据节点在其索引区中添加一条新的表项，包括有文件ID、文件在数据区中的偏移、以及文件的大小。4.根据权利要求1所述的文件快速写方法，其特征在于，步骤S301包括以下子步骤: 步骤S401:判断是否已经对分布式环境下元数据节点的数据区及索引信息进行过初始化，如果是，则过程结束，否则转入步骤S402 ； 步骤S402:元数据节点在其内存中开辟一个大小为M的区域，用以保存临时的文件，其中M为大于上述阈值的正整数； 步骤S403:元数据节点设置索引区，用于存储每个文件在其数据区中的索引信息； 步骤S404:元数据节点设置一级索引区，用于保存文件到数据节点的映射关系； 步骤S405:数据节点设置二级索引区，其位于数据节点中，用于存储文件的二级索引信息。5.根据权利要求4所述...
【专利技术属性】
技术研发人员：郑然，金海，章勤，姚传威，冯晓文，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。