【技术实现步骤摘要】
一种基于内存元数据的分布式文件管理方法
本专利技术涉及分布式文件管理
，特别是涉及一种基于内存元数据的分布式文件管理方法。
技术介绍
大数据时代的降临，使得数据量日渐增长，越来越多的数据需要一个有效的系统来存储以及维护，同时在大量数据中快速查找到需要的数据也是分布式系统的一大难点。GFS中元数据的查询由一个master节点实现，master节点在内存中保存着所有存储文件的元数据。在GFS之后公布的HDFS与TFS等文件系统都是基于一个管理节点在内存中的元数据查询得到结果返回客户端，客户端根据元数据信息到对应数据存储节点磁盘中读取数据。其查询时间都是由一个管理节点来决定的，因此降低查询时间，就需要增加管理节点的CPU以及内存，但现阶段想要设计大CPU以及大内存的设备极其困难并且价格昂贵。以上问题使用分布式的查询方法可以解决，利用分布于各个存储节点中的内存和CPU实现任务的分解，使得整体查询的方式变成一个多CPU大内存的节点进行查询。当前人们使用的音乐播放器，视频播放器以及云存储等，对于服务端响应时间的要求是相当高...
【技术保护点】
1.一种基于内存元数据的分布式文件管理方法，其特征在于，所述管理方法包括当客户端发送查询请求时，利用分布式系统中存储节点的内存实现元数据分布式查询的方法，所述查询方法包括如下步骤：/n选择某一存储节点为管理节点；/n对管理节点以外的存储节点进行查询性能评测；/n各存储节点将性能评测结果发送给管理节点；/n管理节点根据性能评测结果利用任务分配算法对各存储节点进行查询任务量分配；/n各存储节点根据分配查询的任务量将对应数量的元数据信息读入到内存中；/n各存储节点根据读入的元数据信息获得查询文件块信息，并将查询文件块信息发送至管理节点；/n管理节点整合查询文件块信息为查询结果，并...
【技术特征摘要】
1.一种基于内存元数据的分布式文件管理方法，其特征在于，所述管理方法包括当客户端发送查询请求时，利用分布式系统中存储节点的内存实现元数据分布式查询的方法，所述查询方法包括如下步骤：
选择某一存储节点为管理节点；
对管理节点以外的存储节点进行查询性能评测；
各存储节点将性能评测结果发送给管理节点；
管理节点根据性能评测结果利用任务分配算法对各存储节点进行查询任务量分配；
各存储节点根据分配查询的任务量将对应数量的元数据信息读入到内存中；
各存储节点根据读入的元数据信息获得查询文件块信息，并将查询文件块信息发送至管理节点；
管理节点整合查询文件块信息为查询结果，并将查询结果返回给客户端。
2.如权利要求1所述的基于内存元数据的分布式文件管理方法，其特征在于，所述管理方法还包括当客户端发送读取请求时，利用分布式系统中存储节点的内存实现元数据分布式读取的方法，所述读取方法包括如下步骤：
选择某一存储节点为管理节点；
对管理节点以外的存储节点进行查询性能评测；
各存储节点将性能评测结果提供给管理节点；
管理节点根据性能评测结果利用任务分配算法对各存储节点进行查询任务量分配；
管理节点根据查询任务量分配结果分配各存储节点查询对应的文件名；
存储节点得到查询结果并向其他所有节点发送结果并停止查询；
各存储节点根据查询到的元数据信息找到文件块并发送给客户端；
客户端对接受文件块解码获得原文件。
3.如权利要求1所述的基于内存元数据的分布式文件管理方法，其特征在于，所述管理方法还包括当客户端发送存储请求时，利用分布式系统中存储节点的内存实现元数据分布式存储的方法，所述存储方法包括如下步骤：
选择某一存储节点为管理节点；
客户端对文件进行编码分块并发送存储请求；
管理节点向各存储节点发送节点存储顺序列表与存储序列号；
若存储节点空闲，则接收请求存储的文件块，将文件块存储在相同的路径下，该存储节点更新内存中的元数据；
若存储节点正在接收其他客户端发送的数据时，则将存储请求放入存储等待列表，当待存储节点接收完当前数据后，则遍历存储等待列表，向提出存储请求的客户端请求文件块的传输，将文件块存储在相同的路径下，该存储节点更新内存中的元数据。
4.如权利要求1～3任一所述的基于内存元数据的分布式文件管理方法，其特征在于，所述内存元数据中保存着存储文件的文件名、文件在存储节点硬盘...
【专利技术属性】
技术研发人员：蒋海波，余俊男，唐聃，刘罗，王璐，桂承波，
申请(专利权)人：中国科学院成都生物研究所，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。