基于集群文件系统的文件处理方法和装置制造方法及图纸

本发明专利技术提供了一种基于集群文件系统的文件处理方法，所述集群文件系统包括元数据服务器和至少一个文件服务器，所述文件处理方法包括步骤：获取当前每一待存储文件的尺寸；依次判断每一待存储文件的尺寸是否不小于预设值；若是，则将该待存储文件按预设值分割为数据块，若否，则将多个尺寸小于所述预设值的待存储文件打包并按预设值分割为数据块；存储所述数据块。本发明专利技术还提供一种基于集群文件系统的文件处理装置。本发明专利技术的技术方案通过将大文件按照预设尺寸划分为数据块，使得存储于文件服务器中的文件数据块尺寸全部相同，提高了对文件服务器的利用率和文件的存储读取速度。

File processing method and device based on cluster file system

The invention provides a cluster file system file processing method based on the cluster file system includes a metadata server and at least one file server, the file processing method comprises the following steps: obtaining the current file size of each to be stored; in order to judge whether each to store the file size is not less than the preset value; if the file to be stored, according to the preset value is divided into data blocks, if not, it will be more than one size smaller than the preset value to be stored and packaged according to the preset value file is divided into data blocks stored in the data block. The invention also provides a file processing device based on the cluster file system. The technical scheme of the invention by a large file according to the preset size is divided into data blocks, the file data blocks stored in the file server size makes all the same, to improve the rate and file storage using the file server read speed.

【技术实现步骤摘要】
基于集群文件系统的文件处理方法和装置
本专利技术涉及信息
，特别涉及一种基于集群文件系统的文件处理方法和装置。
技术介绍
随着信息技术的发展，人们需要处理的数据数量也越来越多，传统的数据存储方式已经无法满足使用者的需求。现在，集群文件存储逐渐取代原有存储方式，被广泛应用在各种大型网络应用环境，这种存储方式用多个节点来代替一个节点完成任务，提高处理能力。同时在集群文件系统中，即使某个节点发生故障，不能再继续参与计算和存储，那么集群中的其它节点也可以立即接替故障节点正常工作。但是现有的集群文件系统的文件处理速度及对存储空间的利用仍有待提高。
技术实现思路
本专利技术的主要目的是提供一种基于集群文件系统的文件处理方法和装置，旨在提高集群文件系统对文件的处理速度及对存储空间的利用率。为实现上述目的，本专利技术提出一种基于集群文件系统的文件处理方法，所述集群文件系统包括元数据服务器和至少一个文件服务器，每个所述文件服务器中运行至少一个文件服务进程，每个文件服务进程用于管理一个ZFS逻辑卷，所述文件处理方法包括步骤：获取当前每一待存储文件的尺寸；依次判断每一待存储文件的尺寸是否不小于预设值；若本文档来自技高网...

【技术保护点】
一种基于集群文件系统的文件处理方法，所述集群文件系统包括元数据服务器和至少一个文件服务器，其特征在于，每个所述文件服务器中运行至少一个文件服务进程，每个文件服务进程用于管理一个ZFS逻辑卷，所述文件处理方法包括步骤：获取当前每一待存储文件的尺寸；依次判断每一待存储文件的尺寸是否不小于预设值；若是，则将该待存储文件按预设值分割为数据块，若否，则将多个尺寸小于所述预设值的待存储文件打包并按预设值分割为数据块；存储所述数据块。

【技术特征摘要】
1.一种基于集群文件系统的文件处理方法，所述集群文件系统包括元数据服务器和至少一个文件服务器，其特征在于，每个所述文件服务器中运行至少一个文件服务进程，每个文件服务进程用于管理一个ZFS逻辑卷，所述文件处理方法包括步骤：获取当前每一待存储文件的尺寸；依次判断每一待存储文件的尺寸是否不小于预设值；若是，则将该待存储文件按预设值分割为数据块，若否，则将多个尺寸小于所述预设值的待存储文件打包并按预设值分割为数据块；存储所述数据块。2.如权利要求1所述的基于集群文件系统的文件处理方法，其特征在于，所述存储所述数据块具体包括步骤：为每个所述数据块分配唯一的数据块编号；将所述数据块主本保存至当前剩余容量最大的文件服务器；返回所述数据块所在的文件服务器的IP地址、端口信息、该数据块的数据块编号和该数据块中所包含文件的文件编号至所述元数据服务器。3.如权利要求1所述的基于集群文件系统的文件处理方法，其特征在于，还包括步骤：定期获取每一文件服务器的工作状态；当所述文件服务器宕机时，依据该文件服务器中的每一数据块的元数据信息，在其他文件服务器中创建该宕机文件服务器中每一数据块的副本。4.如权利要求1-3任一项所述的基于集群文件系统的文件处理方法，其特征在于，还包括步骤：获取文件访问请求；依据所述文件访问请求调用待读取文件的元数据信息；依据所述待读取文件的元数据调用所述待读取文件。5.如权利要求1-3任一项所述的基于集群文件系统的文件处理方法，其特征在于，所述集群文件系统运行于FreeBSD系统中。6.一种基于集群文件系统的文件处理装置，所述集群文件系统包括元数据服务器和至少一个文件服务器，其特征在于，每个所述文件服务器...

【专利技术属性】
技术研发人员：张勤，
申请(专利权)人：深圳市中博科创信息技术有限公司，
类型：发明
国别省市：广东,44