【技术实现步骤摘要】
-种分布式文件系统及分布式文件系统的构建方法
本专利技术涉及。
技术介绍
化doop是一个分布式系统基础架构,由Apache基金会开发。化doop实现了一个 分布式文件系统(皿F巧和一种分布式计算框架(MapRe化Ce)。 皿FS是Hadoop Distributed File System的简称,它是一个分布式文件系统。 皿FS有着高容错性的特点,它提供高吞吐量方法来访问应用程序的数据,适合那些有着超 大数据集的应用程序,但对数据随机访问和小数据集的读写有着较大的效率瓶颈。 皿ase是一个分布式的、面向列的开源数据库,它不是关系型的数据库,数据采用 Key-Value方式存储,是一个适合于非结构化数据存储的数据库。目前通用分布式文件系统 对小文件(小于64MB)和普通文件随机快速访问具有处理效率低的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种对小文件和普通文件随机快速访问处理 效率高的分布式文件系统及分布式文件系统的构建方法。 本专利技术解决上述技术问题的技术方案如下:一种分布式文件系统的构建方法,包 括W下步骤: 步骤1 ;封装用于进行文件访问的访问函数,定义结构体文件,所述结构体文件用 于存储文件分配表的访问指针; 步骤2 ;将磁盘上的所有文件按照预先定义的预定数据块大小拆分为多个数据 块; 步骤3 ;将拆分后的每个数据块分别W键值对的形式存储在分布式开源数据库 中,所述键值对包括键和键值,所述键包括键头部和当前数据块在被拆分的文件中的序号, 所述键值用于存储数据块; ...
【技术保护点】
一种分布式文件系统的构建方法,其特征在于,包括以下步骤:步骤1:封装用于进行文件访问的访问函数,定义结构体文件,所述结构体文件用于存储文件分配表的访问指针;步骤2:将磁盘上所有文件按照预先定义的预定数据块大小拆分为多个数据块;步骤3:将拆分后的每个数据块分别以键值对的形式存储在分布式开源数据库中,所述键值对包括键和键值,所述键包括键头部和当前数据块在被拆分的文件中的序号,所述键值用于存储数据块;步骤4:根据每个数据块的键头部和所有被拆分文件的文件名建立文件分配表,所述文件分配表中还包括被拆分文件的扩展属性;步骤5:当外部应用发起文件访问请求时,分布式开源数据库根据文件访问请求中携带的文件名,利用定义的结构体文件查询文件分配表,得到查询结果,根据封装的访问函数及查询结果对分布式开源数据库进行数据块读写,同时对分布式开源数据库中的文件分配表进行修改。
【技术特征摘要】
1. 一种分布式文件系统的构建方法,其特征在于,包括以下步骤: 步骤1:封装用于进行文件访问的访问函数,定义结构体文件,所述结构体文件用于存 储文件分配表的访问指针; 步骤2 :将磁盘上所有文件按照预先定义的预定数据块大小拆分为多个数据块; 步骤3:将拆分后的每个数据块分别以键值对的形式存储在分布式开源数据库中,所 述键值对包括键和键值,所述键包括键头部和当前数据块在被拆分的文件中的序号,所述 键值用于存储数据块; 步骤4:根据每个数据块的键头部和所有被拆分文件的文件名建立文件分配表,所述 文件分配表中还包括被拆分文件的扩展属性; 步骤5 :当外部应用发起文件访问请求时,分布式开源数据库根据文件访问请求中携 带的文件名,利用定义的结构体文件查询文件分配表,得到查询结果,根据封装的访问函数 及查询结果对分布式开源数据库进行数据块读写,同时对分布式开源数据库中的文件分 配表进行修改。2. 根据权利要求1所述的构建方法,其特征在于:所述键头部包括时间戳、主机名和 流水号,所述时间戳为将磁盘上的文件拆分为数据块时所在主机的时间,所述主机名为将 磁盘上的文件拆分为数据块时所在主机的主机名,所述流水号用于记录每一个数据块的序 号。3. 根据权利要求1所述的构建方法,其特征在于:所述步骤5中文件访问请求具体为 文件创建请求、文件复写请求或者文件删除请求。4. 根据权利要求3所述的构建方法,其特征在于:当文件访问请求为文件创建请求时, 分布式开源数据库根据文件访问请求中携带的文件名,利用定义的结构体文件查询文件分 配表,得到查询结果; 如果文件分配表中存在与文件访问请求中的文件名相同的同名文件,则根据扩展属性 判断此文件权限是否允许当前用户修改,如果不允许修改,则返回无权限修改的错误提示; 如果允许修改,根据文件分配表中的同名文件的键头部,删除在分布式开源数据库中与该 同名文件对应的键值,然后复用此同名文件的键头部,为该键头部重新写入数据块; 如果在文件分配表中未找到同名文件,则新建一个键值对,并将键值对的键值部分存 入新的数据块,将文件访问请求中的文件名和键值对的键头部分别对应存入文件分配表, 并返回创建文件成功提示。5. 根据权利要求3所述的构建方法,其特征在于:当文件访问请求为文件复写请求时, 分布式开源数据库根据文件访问请求中携带的文件名利用定义的结构体文件查询文件分 配表,得到查询结果; 如果文件分配表中存在与文件访问请求中的文件名相同的同名文件,则根据扩展属性 判断此文件权限是否允许当前用户修改,如果不允许修改,则返回无权限修改的错误提示; 如果允许修改,根据文件分配表中的同名文件的键头部,在分布式开源数据库中删除与该 同名文件对应的键值,然后复用此同名文件的键头部,为该键头部重新写入数据块; 如果在文件分配表中未找到同名文件,...
【专利技术属性】
技术研发人员:张奇伟,
申请(专利权)人:北京思特奇信息技术股份有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。