【技术实现步骤摘要】
本专利技术属于计算机领域，主要关注提高基于多网盘的文件可靠性、存储空间高效利用、且可高效率访问的装置系统和方法。
技术介绍
在公有存储云情况下，基于多网盘的文件存储能够有效防止公有存储云的服务商对用户文件的非法访问，同时基于多网盘的文件纠删码存储还能有效降低对特定存储云服务商的绝对依赖问题。目前已有的解决方案是用户将文件整体进行纠删码编码后将纠删码文件存储到不同的网盘上，这种方案的缺点是：即便用户只想读取该文件的部分内容，也需要用户将多个网盘上的纠删码文件全部下载到本地，然后再采用纠删码解码生成整个原文件，最后读取该文件的指定部分内容，这种解决方案下对文件的访问效率极低，因为用户不得不下载整个文件；并且在用户拥有大量相似文件时也大大浪费了用户在存储云上的空间利用率。
技术实现思路
本专利技术目的是解决现有公有存储云解决方案下对文件的可靠性低、访问效率极低以及存储云空间的无效浪费问题，提供一种多网盘下的增量纠删码存储系统和方法。本专利技术针对文件先进...
【技术保护点】
一种多网盘下的增量纠删码存储系统，其特征在于，所述系统包括“文件系统元服务器”装置、“文件系统客户端”装置和“网盘”装置；“文件系统元服务器”装置，主要是用来管理及存储文件系统的元数据，并对文件提供“文件”级别和“文件块”级别去冗余管理；“文件系统客户端”装置，主要是用来管理系统配置信息库、“文件块”的分解与合成、“纠删数据块”的编码与解码、“纠删数据块”的网盘上传与下载、去冗余以及对外提供文件的透明访问；“网盘”装置，主要是用来存储文件数据内容即“纠删数据块”，“网盘”装置包括各种公有云中的网盘、私有云中的网盘以及其它能够提供文件存取服务的文件服务器；“文件系统客户端”装...
【技术特征摘要】
1.一种多网盘下的增量纠删码存储系统，其特征在于，所述系统包括“文件系统元
服务器”装置、“文件系统客户端”装置和“网盘”装置；“文件系统元服务器”装置，
主要是用来管理及存储文件系统的元数据，并对文件提供“文件”级别和“文件块”级别
去冗余管理；“文件系统客户端”装置，主要是用来管理系统配置信息库、“文件块”的
分解与合成、“纠删数据块”的编码与解码、“纠删数据块”的网盘上传与下载、去冗余
以及对外提供文件的透明访问；“网盘”装置，主要是用来存储文件数据内容即“纠删数
据块”，“网盘”装置包括各种公有云中的网盘、私有云中的网盘以及其它能够提供文件
存取服务的文件服务器；“文件系统客户端”装置与“网盘”装置通过网络连接，“文
件系统客户端”装置与“文件系统元服务器”装置既可以通过网络连接也可以本地直接连
接；
其中，
“文件系统元服务器”装置包括：用户元信息管理模块、文件基本元信息管理模块、
“文件块”元信息管理模块、“文件块纠删”元信息管理模块、“纠删数据块”元信息管
理模块、网络传输模块和本地存储介质；用户元信息管理模块负责管理用户的基本信息，
用户的基本信息包括用户编号、用户名称、用户访问口令、用户根目录文件编号和文件块
默认大小；文件基本元信息管理模块负责管理文件的基本元信息，文件基本元信息包括文
件编号、文件名称、文件大小、文件指纹摘要、所属父目录文件编号、文件块默认大小和
默认“纠删码参数对”，所述“纠删码参数对”即“编码后片数”n和“编码前片数”k，
其中n>＝k，文件编号是文件的唯一标识；“文件块”元信息管理模块负责管理“文件块”
的基本元信息管理和文件的“文件块序列”信息管理；“文件块”基本元信息包括文件块
编号、文件块大小、文件块指纹摘要、“纠删码参数对”和当前引用数，其中，文件块编
号是文件块的唯一标识，引用数为当前包含该“文件块”的不同文件的总数；文件的“文
件块序列”信息包括文件编号、文件块序号、文件块编号和起始偏移量组成的四元组序列，
其中文件块序号为“文件块”在该文件中的顺序编号；“文件块纠删”元信息管理模块负
责管理文件块所包含的“纠删数据块”集合，“文件块纠删”元信息是由文件块编号和纠
删数据块编号组成的二元组；“纠删数据块”元信息管理模块负责管理纠删数据块的基本
元信息，“纠删数据块”基本元信息包括纠删数据块编号、纠删数据块大小、纠删数据块
指纹摘要、网盘编号、网盘路径和当前引用数，其中，纠删数据块编号是纠删数据块的唯
一标识，引用数为当前包含该“纠删数据块”的不同“文件块”的总数；本地存储介质负
责存储“文件系统元服务器”装置中所管理的上述各种元数据信息；网络传输模块负责“文
件系统元服务器”装置中其它模块与“文件系统客户端”装置以及“网盘”装置的网络通
信；
“文件系统客户端”装置包括：应用程序、文件访问接口模块、文件块信息管理模
块、文件块分解与合成模块、纠删码编码与解码模块、网盘访问模块、网络传输模块、系
统管理模块和本地存储介质；应用程序为进行文件访问的各种第三方计算机程序，即调用
\t者；文件访问接口模块负责调用者的文件访问操作，包括将调用者的文件访问操作所要访
问的文件区域转化为“文件块”编号序列，将调用者写访问文件区域的新数据合并到所属
文件中，以及将调用者读访问文件区域从所属文件中读取到调用者所指定的空间；文件块
信息管理模块负责对文件、“文件块”、“纠删数据块”的元信息及对应关系的检索和更
新；文件块分解与合成模块负责对指定文件进行“文件块”的分解以及将“文件块”合成
为文件的功能；纠删码编码与解码模块负责将指定的“文件块”采用纠删码算法进行编码
运算生成“纠删数据块”集合，以及将一组“纠删数据块”集合采用纠删码算法进行解码
运算合成“文件块”；网盘访问模块负责与外部各种网盘数据的访问操作，访问操作包括
对“纠删数据块”的上传、下载和删除；网络传输模块负责通过外部网络与各种网盘和“文
件系统元服务器”装置的数据通信；系统管理模块负责用户信息、网盘信息以及系统全局
配置信息的管理；用户信息包括用户编号、用户名称、用户根目录文件编号和文件系统元
服务器的访问口令；网盘信息包括网盘编号、网盘名称、网盘用户名、网盘访问口令、网
盘网络地址、网盘路径用户根目录以及网盘容量限制，其中网盘编号是网络的标识；系统
全局配置信息包括用户信息存储位置、网盘信息存储位置、默认文件块大小和默认“纠删
码参数对”；本地存储介质负责长期或者临时存储“文件系统客户端”装置中其它模块所
处理的各种数据；
“文件系统客户端”装置中，网盘访问模块通过调用网络传输模块来访问各个网盘；
文件块信息管理模块通过调用网盘访问模块对网盘上的文件数据进行去冗管理的；文件块
分解与合成模块通过调用网盘访问模块来访问各个网盘；文件块分解与合成模块通过调用
纠删码编码与解码模块来实现文件块与纠删数据块之间的转换；文件块信息管理模块通过
调用网络传输模块来访问“文件系统元服务器”装置从而实现文件系统各种信息的检索和
更新；文件块信息管理模块通过访问系统管理模块、文件块分解与合成模块以及纠删码编
码与解码模块来实现文件数据的本地处理，并向上层的文件访问接口模块提供“文件块”
级别的文件访问操作。
2.根据权利要求1所述的多网盘下的增量纠删码存储系统，其特征在于，文件的数据
内容以“文件块”为对外提供文件访问服务的最小访问单元，针对每个“文件块”采用纠
删码算法转化为一组“纠删数据块”，以“纠删数据块”为最小的存储单位，全部“纠删
数据块”分散存储在多个“网盘”装置中；文件的基本元信息、文件的“文件块序列”信
息、“文件块”的基本元信息、“文件块纠删”元信息和“纠删数据块”基本元信息均最
终存储在“文件系统元服务器”装置中，“文件系统客户端”装置中可以缓存上述元信息。
3.根据权利要求1或2所述的多网盘下的增量纠删码存储系统，其特征在于，所述纠
删码算法是指，“文件系统客户端”装置依据“文件块”对应的“纠删码参数对”采用纠
删码算法编码运算将该“文件块”编码转化为n个“纠删数据块”，“文件系统客户端”
\t装置可以通过获取上述n个“纠删数据块”中的k个“纠删数据块”并采用纠删码算法进
行解码运算恢复出原“文件块”；同一个文件内的每个“文件块”的“纠删码参数对”即
可以相同也可以不同，每个“文件块”的“纠删码参数对”存放在该“文件块”的基本元
信息中；不同文件的各个“文件块”的“纠删码参数对”即可以相同也可以不同，每个文
件的“纠删码参数对”存放在该文件的基本元信息中；所有文件的全部“文件块”可共用
相同的“纠删码参数对”，由“文件系统客户端”装置中系统全局配置的默认“纠删码参
数对”来决定。
4.根据权利要求1或2所述的多网盘下的增量纠删码存储系统，其特征在于，所述的
“文件系统元服务器”装置提供“文件”级别和“文件块”级别去冗余管理是指，“文
件系统客户端”装置需要将新创建或者修改的文件的最新“文件指纹摘要”更新到“文件
系统元信息服务器”装置中，“文件系统元信息服务器”装置将判断该文件的“文件指纹
摘要”是否与已有文件的“文件指纹摘要”相同，如果该文件与已有文件的“文件指纹摘
要”相同，则“文件系统元信息服务器”装置将直接用已有文件的“文件块序列”更新该
文件的“文件块序列”，从而减少该文件的数据内容的重复存储；“文件系统客户端”装
置需要将新创建或者修改的“文件块”最新“文件块指纹摘要”更新到“文件系统元信
息服务器”装置中，“文件系统元信息服务器”装置将判断该“文件块”的“文件块指纹
摘要”是否与已有“文件块”的“文件块指纹摘要”相同，如果该“文件块”与已有“文
件块”的“文件块指纹摘要”相同，“文件系统元信息服务器”装置将直接用已有“文件
块”的“文件块纠删元信息”更新该“文件块”的对应“文件块纠删元信息”，从而减
少该“文件块”的对应“纠删数据块”的重复存储；“文件系统元服务器”装置负责提供
“纠删数据块”的当前引用数的查询，“文件系统客户端”装置负责对零引用数的“纠删
数据块”从其所属的网盘中删除；“文件系统元服务器”装置负责提供“文件块”的当
前引用数的查询，“文件系统元服务器”装置也负责对零引用数的“文件块”的文件块元
信息和文件块纠删元信息进行删除。
5.根据权利要求1或2所述的多网盘下的增量纠删码存储系统，其特征在于，“文件
系统客户端”装置访问网络上的多个网盘所需要的“网盘信息”均存储在“文件系统客户
端”装置中；“文件系统元信息服务器”装置无权访问网络中的多个网盘上用户所拥有的
文件的对应“纠删数据块”；“文件系统元信息服务器”装置中所管理的元信息既可以存
储在“文件系统元信息服务器”装置中的“本地存储介质”上，也可以存储在网络中的一
个或者多个网盘上；当“文件系统元信息服务器”装置中所管理的元信息存储在网络中的
一个或者多个网盘上时，“文件系统元信息服务器”装置需要拥有属于自己的网盘信息。
6.一种基于权利要求1所述多网盘的增量纠删码存储系统的读方法...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。