文件存取方法、装置和设备制造方法及图纸

本发明专利技术实施例提供一种文件存取方法、装置和设备，该方法包括：响应于与待存储的文件对应的文件存储请求，获取N个存储节点的性能参数；根据性能参数从N个存储节点中确定出性能参数满足预设要求的M个存储节点以及确定M个存储节点分别对应的数据块，其中，所述文件被切分为由M个存储节点分别对应的数据块组成的P个数据块，N≥M>1；将P个数据块存入到对应的存储节点中。本方案中，通过结合各存储节点的性能来选出用于存储当前的文件的存储节点以及该存储节点能够存储的数据块大小和数量，从而提高分布式文件系统的存储性能。

File access methods, devices, and devices

【技术实现步骤摘要】
文件存取方法、装置和设备
本专利技术涉及互联网
，尤其涉及一种文件存取方法、装置和设备。
技术介绍
在处于信息爆炸时代的当今，各种各样的业务所产生的数据量成指数倍的增长，为满足海量数据的存储容量、数据备份、数据安全等需求，分布式文件系统应运而生，分布式文件系统主要的功能是用于存储文档、图像、视频之类的非结构化数据。简单来说，分布式文件系统由两类节点构成，一类是元数据服务器，主要用于管理文件系统的目录空间信息和客户端对文件的访问以及管理所有数据节点服务器；一类是数据节点服务器(也俗称为存储节点)，负责管理本节点上存储的数据块(也称为数据分片)。一般地，为了提高存储节点的I/O性能，需要存储的文件通常会被切分成多个数据块以存储在不同的存储节点上，并且为了保证数据不丢失，数据块还会以多个副本的形式进行存储，不同副本存储在不同存储节点上。目前，一种常用的文件存储过程是：以固定分块大小比如为64MB来对需要存储的文件进行切分，进而将切分得到的各数据块以随机方式或轮转方式存入各存储节点中。这种以固定分块大小对文件进行切分，随机或轮转方本文档来自技高网...

【技术保护点】
1.一种文件存取方法，其特征在于，包括：/n响应于与待存储的文件对应的文件存储请求，获取N个存储节点的性能参数；/n根据所述性能参数从所述N个存储节点中确定出所述性能参数满足预设要求的M个存储节点以及确定所述M个存储节点分别对应的数据块，其中，所述文件被切分为由所述M个存储节点分别对应的数据块组成的P个数据块，N≥M>1，P>1；/n将所述P个数据块存入到对应的存储节点中。/n

【技术特征摘要】
1.一种文件存取方法，其特征在于，包括：
响应于与待存储的文件对应的文件存储请求，获取N个存储节点的性能参数；
根据所述性能参数从所述N个存储节点中确定出所述性能参数满足预设要求的M个存储节点以及确定所述M个存储节点分别对应的数据块，其中，所述文件被切分为由所述M个存储节点分别对应的数据块组成的P个数据块，N≥M>1，P>1；
将所述P个数据块存入到对应的存储节点中。


2.根据权利要求1所述的方法，其特征在于，所述性能参数包括如下参数中的至少一种：I/O性能参数、与服务器间的物理距离、剩余存储空间、网络质量、资源占用率。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
生成所述P个数据块各自对应的数据块索引标识以及所述文件对应的文件索引标识；
获取所述文件的文件特征；
建立所述文件特征与所述文件索引标识间的对应关系；
在目录空间中建立所述文件索引标识与生成的P个数据块索引标识间的对应关系，其中，每个数据块索引标识上关联有相应数据块的存储节点标识；
所述将所述P个数据块存入到对应的存储节点中，包括：
将所述P个数据块以及所述P个数据块各自对应的数据块索引标识存入到对应的存储节点中。


4.根据权利要求3所述的方法，其特征在于，所述生成所述P个数据块各自对应的数据块索引标识以及所述文件对应的文件索引标识，包括：
分别对所述P个数据块进行哈希运算，以所述P个数据块各自对应的哈希值作为所述P个数据块各自对应的数据块索引标识；
通过以所述P个数据块各自对应的哈希值作为叶子节点构建Merkle可信树，以所述Merkle可信树的根节点的哈希值作为所述文件索引标识。


5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
针对所述P个数据块中的数据块i，生成K个与所述数据块i对应的数据块副本，K≥1，所述数据块i为所述P个数据块中的任一数据块或者为满足预设要求的数据块；
根据所述性能参数从所述N个存储节点中确定出K个存储节点，所述数据块i对应的存储节点不包含于所述K个存储节点中；
分别向所述K个存储节点中存入所述数据...

【专利技术属性】
技术研发人员：王增新，
申请(专利权)人：北京果仁宝软件技术有限责任公司，
类型：发明
国别省市：北京;11