【技术实现步骤摘要】
本申请涉及存储
，尤其涉及一种在键值文件系统中实现文件动态副本的 方法及实现文件动态副本的键值文件系统。
技术介绍
随着大数据时代的到来，业界对信息的存储和访问的需求越来越苛刻，传统的文 件系统如Lustre、Panfs、GPFS等在可扩展性、可靠性和可用性等方面受到了复杂语义和中 心元数据服务器架构的制约，已经难以满足搜索引擎、社交网络、在线游戏和视频等这些存 储量和访问量都十分巨大的互联网应用的需求。相比之下，键值(Key-Value，k_v)文件系 统在大数据时代得到了越来越广泛的应用。在键值文件系统中，信息数据为值(Value)，被 赋予唯一的键(Key)，客户端通过对键(Key)的哈希(HASH)来定位值(Value)的存储位置。 与传统文件系统相比，键值文件系统摆脱了对中心元数据服务器的依赖，可扩展性大大提 闻。在键值文件系统中，系统的管理客户端以存储卷为单位对物理存储于数据服务器 上的文件数据进行管理，每个存储卷对应多个子卷。在客户端装载(mount)键值文件系统 的初始阶段，通常会设定多种类型的子卷，例如包括普通子卷、复制子卷、和分条子卷等...
【技术保护点】
一种在键值文件系统中实现文件动态副本的方法，用于针对特定文件进行动态副本的管理，所述键值文件系统包括：客户端，用于分多个子卷来管理文件，发起文件的写入和读取请求；以及服务器，用于根据所述客户端的操作分成多个子卷来存储所述客户端写入的文件并响应所述客户端的文件读取请求；所述方法包括以下步骤：由所述客户端定位所述特定文件的静态副本所在的第一子卷；从所述第一子卷读取所述特定文件的扩展属性，所述扩展属性中包括所述特定文件已有的动态副本所在的动态子卷集合；对所述动态子卷集合进行动态副本的增加、删除或浏览操作；以及根据增加或删除动态副本后的动态子卷集合更新所述扩展属性。
【技术特征摘要】
1.一种在键值文件系统中实现文件动态副本的方法，用于针对特定文件进行动态副本的管理，所述键值文件系统包括客户端，用于分多个子卷来管理文件，发起文件的写入和读取请求；以及服务器，用于根据所述客户端的操作分成多个子卷来存储所述客户端写入的文件并响应所述客户端的文件读取请求；所述方法包括以下步骤 由所述客户端定位所述特定文件的静态副本所在的第一子卷； 从所述第一子卷读取所述特定文件的扩展属性，所述扩展属性中包括所述特定文件已有的动态副本所在的动态子卷集合； 对所述动态子卷集合进行动态副本的増加、删除或浏览操作；以及 根据增加或删除动态副本后的动态子卷集合更新所述扩展属性。2.如权利要求1所述的在键值文件系统中实现文件动态副本的方法，其中还包括 在所述服务器上获取子卷的负载信息，并发送给所述客户端；以及 所述客户端根据收集到的所有子卷的负载信息进行排序以得到全局负载排序列表；并且 所述客户端使用所述全局负载排序列表作为所述动态副本的増加和删除操作的依据。3.如权利要求2所述的在键值文件系统中实现文件动态副本的方法，其中所述动态副本的増加操作包括以下步骤 遍历所述全局负载排序列表，选取若干个负载最轻且不属于所述动态子卷集合的子卷加入第一集合； 根据所述全局负载排序列表选取所述动态子卷集合中负载最轻的第二子卷；以及将所述特定文件的动态副本从所述第二子卷上同步到所述第一集合中的所有子卷上，并将所述第一集合中的所有子卷加入所述动态子卷集合中。4.如权利要求2所述的在键值文件系统中实现文件动态副本的方法，其中所述动态副本的删除操作包括以下步骤 遍历所述全局负载排序列表，选取若干个负载最重且属于所述动态子卷集合的子卷加入第二集合；以及 从所述动态子卷集合中删除所述第二集合中的所有子卷，并从所述第二集合中的所有子卷上删除所述特定文件的动态副本。5.如权利要求2所述的在键值文件系统中实现文件动态副本的方法，其中更新所述扩展属性后还包括 将所述第一子卷的相关信息存入所述特定文件的索引节点inode缓存； 通过所述客户端向所述第一子卷发起查找lookup操作请求,该lookup操作请求中包括获取所述扩展属性的请求； 根据所述第一子卷针对所述lookup操作请求所回复的扩展属性获取所述动态子卷集合； 将所述第一子卷与所述动态子卷集合中的所有子卷加入第三集合，根据所述全局负载排序列表选取所述第三集合中负载最轻的第三子卷；以及 用所述第三子卷的相关信息代替所述特定文件的inode缓存中所述第一子卷的相关信息。6.一种实现文件动态副本的键值文件系统，用于针对特定文件进行动态副本的管理，所述键值文件系统包括客户端...
【专利技术属性】
技术研发人员：汪璐，程耀东，黄秋兰，
申请(专利权)人：中国科学院高能物理研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。