一种文件读取的方法以及装置制造方法及图纸

本发明专利技术公开了一种文件读取的方法以及装置，通过向元数据服务器发送包含所需读取文件的文件信息的第一读取请求，以使元数据服务器根据文件信息寻找文件对应的存储节点地址，其中，文件为文件容量小于纠删码分块存储容量的小文件；接收元数据服务器返回的存储节点地址，判断存储节点地址的个数是否为一个；若是，向存储节点地址对应的存储节点发送第二读取请求，以使存储节点根据第二读取请求返回文件数据；对文件数据进行解析操作，得出文件。当小文件存储在一个存储节点上时，直接从存储节点上读取所需的小文件，相较于传统小文件读取方法，其省去主存储节点搜集解析数据的过程。可见，本申请有利于提高小文件的读取速率。

Method and device for file reading

The invention discloses a method and a device file read, file by including the information required to read the file sent to the metadata server first read requests to the metadata server according to the file information storage node address, find the file corresponding to the correct file small file delete code block storage capacity for file size less than; the storage node receives a metadata server address, to determine whether the number of storage node address for a storage node; if so, send the second corresponding to the storage node address read requests to storage nodes according to the second read request returns the file data; to parse the file data, the file. When a small file is stored on a storage node, the required small files are read directly from the storage node, and it saves the primary memory node from gathering the parsed data compared to the traditional small file reading method. Visible, this application is conducive to improving the read rate of small files.

【技术实现步骤摘要】
一种文件读取的方法以及装置
本专利技术涉及分布式文件系统
，特别是涉及一种文件读取的方法以及装置。
技术介绍
随着文件存储技术的发展进步，分布式文件系统的应用也越来越广泛。Ceph文件系统是一个可扩展、高性能的分布式文件系统，而ceph文件系统一般是基于纠删码技术的。基于纠删码的分布式文件系统可以提供优化的数据冗余度，且可以提高存储空间的利用率。在读取基于纠删码的分布式文件系统内的文件数据时，一般地，无论是读取整个文件，还是读取文件中一小块，底层存储系统都会读取K个osd上的所有文件数据，并对所有的文件数据进行解码，然后将所得到完整的数据返回给客户端。但是，由于文件的读取需要大量的计算和数据传输，在基于纠删码的分布式文件系统内，小文件的读取速率要低于于大文件的读取速率。而小文件可以是指其容量小于纠删码分块存储的大小，即小文件的大小小于纠删码分块存储的大小。综上所述，如何提高基于纠删码的分布式文件系统内的小文件的读取速率是本领域亟待解决的问题。
技术实现思路
本专利技术的目的是提供一种文件读取的方法以及装置，目的在于解决现有技术中基于纠删码的分布式文件系统内的小文件的读取速率较低的问本文档来自技高网...

【技术保护点】
一种文件读取的方法，其特征在于，包括：向元数据服务器发送包含所需读取文件的文件信息的第一读取请求，以使所述元数据服务器根据所述文件信息寻找所述文件对应的存储节点地址，其中，所述文件为文件容量小于纠删码分块存储容量的小文件；接收所述元数据服务器返回的所述存储节点地址，判断所述存储节点地址的个数是否为一个；若是，向所述存储节点地址对应的存储节点发送第二读取请求，以使所述存储节点根据所述第二读取请求返回文件数据；对所述文件数据进行解析操作，得出所述文件。

【技术特征摘要】
1.一种文件读取的方法，其特征在于，包括：向元数据服务器发送包含所需读取文件的文件信息的第一读取请求，以使所述元数据服务器根据所述文件信息寻找所述文件对应的存储节点地址，其中，所述文件为文件容量小于纠删码分块存储容量的小文件；接收所述元数据服务器返回的所述存储节点地址，判断所述存储节点地址的个数是否为一个；若是，向所述存储节点地址对应的存储节点发送第二读取请求，以使所述存储节点根据所述第二读取请求返回文件数据；对所述文件数据进行解析操作，得出所述文件。2.如权利要求1所述的方法，其特征在于，在所述接收所述元数据服务器返回的所述存储节点地址，判断所述存储节点地址的个数是否为一个之后还包括：若否，向多个所述存储节点地址对应的多个所述存储节点发送所述第二读取请求，以使主存储节点获取所述文件数据，并对所述文件数据进行解析操作，得出所述文件；接收所述主存储节点返回的所述文件。3.如权利要求1或2所述的方法，其特征在于，所述向元数据服务器发送包含所需读取文件的文件信息的第一读取请求，以使所述元数据服务器根据所述文件信息寻找所述文件对应的存储节点地址包括：向所述元数据服务器发送包含所需读取所述文件的所述文件信息的所述第一读取请求，以使所述元数据服务器根据所述文件信息以及预记录的分块信息，寻找所述文件对应的存储节点地址；其中，所述分块信息为所述元数据服务器在将所述文件数据...

【专利技术属性】
技术研发人员：任东旭，侯斌，白学余，
申请(专利权)人：广东浪潮大数据研究有限公司，
类型：发明
国别省市：广东,44