一种分布式存储中文件批量读取方法技术
A method of file batch reading in distributed storage
The invention discloses a file distributed storage volume reading method, this method includes: open operations on the file, MDS to send request to the metadata server, after acquiring the current file and the file number to read file metadata information; metadata information in the index of iNO and dentry in dentry_map directory structure according to the corresponding metadata information; to find the object storage file data storage device OSD, read the file to read data from the OSD; to read the file data read, file read according to the storage order in dentry_map structure. This method can reduce the IO flow of file reading and improve the reading speed.
【技术实现步骤摘要】
一种分布式存储中文件批量读取方法
本专利技术涉及文件读取
，特别是涉及一种分布式存储中文件批量读取方法。
技术介绍
目前，随着信息技术和互联网技术的飞速发展，企业所需传输、存储的数据也随之剧增。在海量小文件的场景，如，如社交购物网站、广电、网络视频等，系统产生文本、图片、音乐等大量小文件，这些文件具有如下特点：文件数量多，大小一般在1Mb以下；文件的读取一般都是顺序读取。分布式数据存储系统中，文件读取时，客户端首先要向mds端发送请求，获取文件的权限和元数据信息，然后客户端通过获取到的元数据信息，找到对应的存储文件数据osd，从osd中读取文件的数据信息。整个文件读取过程需要经过较长的IO流程。当批量读取大量文件时，每个文件都独立经过所有IO流程，这样会频繁地向mds请求文件的元数据信息，然后又频繁调用objectcacher中的读接口，从osd中读取数据。文件读取过程中重复请求发送、处理频繁，对系统压力大。分布式文件系统中，文件读取时每次都需客户端向mds端请求待读取文件的元数据信息，获取元数据信息之后再从osd中获取文件的数据信息。文件读取时需要较长的I...
【技术保护点】
一种分布式存储中文件批量读取方法，其特征在于，应用于客户端，包括：在文件进行open操作时，向元数据服务器mds发送请求，获取当前文件以及当前文件之后的若干待读文件的元数据信息；将元数据信息中的索引号ino和目录项dentry存入dentry_map结构中；依据元数据信息查找到存储文件数据的对应的对象存储设备osd，从osd中读取待读文件的数据；完成待读文件的数据读取后，根据dentry_map结构中的存储顺序进行文件预读。
【技术特征摘要】
1.一种分布式存储中文件批量读取方法，其特征在于，应用于客户端，包括：在文件进行open操作时，向元数据服务器mds发送请求，获取当前文件以及当前文件之后的若干待读文件的元数据信息；将元数据信息中的索引号ino和目录项dentry存入dentry_map结构中；依据元数据信息查找到存储文件数据的对应的对象存储设备osd，从osd中读取待读文件的数据；完成待读文件的数据读取后，根据dentry_map结构中的存储顺序进行文件预读。2.如权利要求1所述的方法，其特征在于，所述将元数据信息中的索引号ino和目录项dentry存入dentry_map结构中，包括：按照索引号ino递增的方式，将元数据信息中的索引号ino及相应的目录项dentry存放到客户端的dentry_map结构中。3.如权利要求2所述的方法，其特征在于，所述根据den...
【专利技术属性】
技术研发人员：张书扬，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。