一种数据存储系统中更新数据的方法及装置制造方法及图纸

本发明专利技术公开了数据存储系统中更新数据的方法及装置的方法、装置、节点设备和存储介质，数据存储系统中更新数据的方法及装置，存储簇的管理节点接收用户发送的文件更新请求；所述存储簇的管理节点检查所述文件的元数据副本状态，若所述元数据的副本状态为未锁定，则进行文件更新，并将所述元数据的副本状态修改为锁定，阻止其他更新请求；从而确保云存储系统中的副本一致性。

A method and device for updating data in a data storage system

The invention discloses a method, device and method for updating data in a data storage system device, node device and storage medium, and device data updating method of data storage system, storage cluster management node receives the user to send the file update request; Metadata Replica state management node checks the storage cluster of the file and if the state is not a copy of the metadata file is locked, update, and the Metadata Replica state changed to lock, prevent other update request; to ensure that a copy of the cloud storage system in consistency.

【技术实现步骤摘要】
一种数据存储系统中更新数据的方法及装置
本专利技术涉及计算机技术的领域，尤其涉及一种数据存储系统中更新数据的方法及装置。
技术介绍
P2P是Peer-to-Peer的简写，又被称为对等技术。P2P不依赖于集中的那一个服务器，而是依赖于参与到P2P网络中的所有机器。从系统的结构来看，P2P系统是分布式的结构，它不同于集中式的结构或者基于服务器的结构。因为它不依靠与某个网络中的中心服务器节点来提供索引服务，网络中的任何两台机器之间都能够直接建立连接共享资源，并能够发现P2P系统中的各种服务。与客户端服务器架构相比，P2P的关键优势是它把整个系统提供的服务分散到系统中的每个对等节点上了，如此一来整个P2P系统就不存在单点故障的风险。P2P网络体系结构包括集中目录式结构、纯P2P网络结构、混合式网络结构等三种：(1)集中目录式结构；集中目录式结构的系统中存在一个中央目录服务，该目录服务器负责保存各个节点的索引信息，比如节点的地址、存储的资源等元数据。(2)纯P2P网络结构；纯P2P网络，去除了集中的中央目录服务器，网络中的每个节点都完全对等，任何一个用户都是随机地接入到P2P网络中，而且利用端到端的连接与自己相邻的一组邻居节点在逻辑上组成一个覆盖网络。(3)混合式网络结构；混合式网络结构是将集中式P2P与纯P2P网络两者结合的混合式网络结构。混合式网络结构系统中的节点都是以簇的形态存在，一个簇由一个索引节点和在它附近的多个普通节点组成，在每个簇内，索引节点作为簇的中央目录服务器，其他普通节点负责资源的存储。随着移动互联网等技术的不断快速发展，尤其是Web2.0时代的开启，全球众多互联网用户生产的各种数据呈现爆炸式地增长。互联网数据中心统计2015年全球的数据量就达到8ZB，到2020年更将达到35ZB。全球社会生产的海量数据对存储产生了巨大的需求，为解决海量数据的高性能、低成本以及高安全可靠性的存储需求，云存储技术应运而生，相比于传统的存储技术，不仅仅能够低成本的存储海量数据，并且能够更简单、高效地存储与管理数据。云存储非常有效地解决了传统存储技术的瓶颈。目前主流的云存储系统(含谷歌GFS、亚马逊S3以及开源的HDFS)使用了主从式的系统架构，即系统由一个中心的主节点和多个从节点构成。其中最典型就是GFS，它的系统由一个主节点GFS主服务器和多个从节点GFS数据块服务器。而通常GFS主服务器只有一个，一旦云存储系统中的主节点GFS主服务器出现故障，将导致整个系统的瘫痪。即使系统中可能采用多机热备份技术，但是其依然没有从根本上解决系统里元数据高度集中的中心节点的单点故障隐患。
技术实现思路
本专利技术实施例提供一种数据存储系统中更新数据的方法及装置，旨在解决单点故障的风险。第一方面，一种数据存储系统中更新数据的方法及装置的方法，所述方法包括：存储簇的管理节点接收用户发送的文件更新请求；所述存储簇的管理节点检查所述文件的元数据副本状态，若所述元数据的副本状态为未锁定，则进行文件更新，并将所述元数据的副本状态修改为锁定，阻止其他更新请求。可选地，所述方法还包括：若未能获取所述元数据的锁，则所述文件更新请求进入一个更新请求的队列中，等待当前更新完成。可选地，所述进行文件更新，包括：所述存储簇的管理节点向直接前继和直接后继发出锁定文件副本的命令；其中，所述直接前继存储簇Ni-1为：以顺时针为正方向，每个节点N都有排列在其之前或者之后的节点，其中排在前面的节点称为节点N的前继，第一个前继称为节点的直接前继Ni-1；所述直接后继存储簇Ni+1为：排在其后面的节点称为节点N的后继，第一个后继称为节点N的直接后继。可选地，所述方法还包括：所述存储簇的管理节点向用户返回所述文件的元数据，更新所述文件的元数据以及版本号。可选地，所述方法还包括：所述直接前继和所述直接后继根据该存储簇上已更新的副本进行更新。可选地，所述直接前继和所述直接后继根据该存储簇上已更新的副本进行更新，包括：当所述用户已经获取更新文件副本的写锁后，先对其原副本进行更新；如果更新成功后，同时更新所述直接前继和所述直接后继存储簇上的冗余副本；每个副本更新成功后向所述存储簇的管理节点发送更新完成消息，再更新所述元数据及其版本号。可选地，所述方法还包括：根据存储系统副本更新读写NWR的策略理论，当所有存储簇更新请求执行后，三方副本只要其中有两份副本更新成功，则确定更新成功，将文件副本解锁。可选地，所述方法还包括：如果三方副本中只有某一份未能完成数据更新，所述存储簇的管理节点将周期性数据存储系统中更新数据的方法及装置，直到更新成功为止。根据权利要求7所述的方法，其特征在于，所述方法还包括：如果所述直接前继和所述直接后继上的冗余副本都没有更新成功，返回原副本的版本，同时向用户反馈更新失败的信息。第二方面，一种数据存储系统中更新数据的方法及装置的装置，所述装置包括：接收模块，用于接收用户发送的文件更新请求；更新模块，用于检查所述文件的元数据副本状态，若所述元数据的副本状态为未锁定，则进行文件更新，并将所述元数据的副本状态修改为锁定，阻止其他更新请求。本专利技术实施例提供了一种数据存储系统中更新数据的方法及装置，存储簇的管理节点接收用户发送的文件更新请求；所述存储簇的管理节点检查所述文件的元数据副本状态，若所述元数据的副本状态为未锁定，则进行文件更新，并将所述元数据的副本状态修改为锁定，阻止其他更新请求；从而确保云存储系统中的副本一致性。附图说明图1是本专利技术实施例一中的一种P2P的结构示意图；图2是本专利技术实施例二中的一种数据存储系统中更新数据的方法及装置的方法示意图；图3是本专利技术实施例三种的一种数据存储系统中更新数据的方法及装置的装置的功能模块示意图；图4为本专利技术实施例四提供的一种节点设备的硬件结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一如图1所示，在P2P网络拓扑中对等结构，根据对等的基本单元特性，主要分为所有结点的完全对等结构和基于存储簇为单元的对等结构。基于完全对等的云存储模型中的完全对等，即是云存储中的所有用于存储的服务器结点形成一个环形结构，各个结点间都是平等的，没有层次关系。在该环形结构中存储服务器结点上，既负责存储文件数据以及这些文件数据的元数据，同时又存储着相关的路由数据，它的系统结构是一个分布式哈希表(DHT)网络，其使用一致性哈希算法，将所有构成云存储网络的服务器设备通过哈希函数映射到一个哈希空间上，该哈希空间首尾相连抽象为环。在基于完全对等的云存储模型中，构成云存储系统的每个存储服务器都是会被映射为Chord环(Chord是最简单，最精确的环形P2P模型，是DHT(DistributedHashTable)的一种经典实现)上的一个节点，每个存储服务器都是一个能够小范围路由的独立自治节点，这样的结构使得映射到Chord环上的节点过多，不利于管理及路由。而且，在云存储系统的一般访问过程中，用户对于文件元数据和路由数据的访问频度要远远大于对于文件内容的访问频度。每个节点同时本文档来自技高网...

【技术保护点】
一种基于云存储系统中的数据存储系统中更新数据的方法及装置的方法，其特征在于，所述方法包括：存储簇的管理节点接收用户发送的文件更新请求；所述存储簇的管理节点检查所述文件的元数据副本状态，若所述元数据的副本状态为未锁定，则进行文件更新，并将所述元数据的副本状态修改为锁定，阻止其他更新请求。

【技术特征摘要】
1.一种基于云存储系统中的数据存储系统中更新数据的方法及装置的方法，其特征在于，所述方法包括：存储簇的管理节点接收用户发送的文件更新请求；所述存储簇的管理节点检查所述文件的元数据副本状态，若所述元数据的副本状态为未锁定，则进行文件更新，并将所述元数据的副本状态修改为锁定，阻止其他更新请求。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：若未能获取所述元数据的锁，则所述文件更新请求进入一个更新请求的队列中，等待当前更新完成。3.根据权利要求1或2所述的方法，其特征在于，所述进行文件更新，包括：所述存储簇的管理节点向直接前继和直接后继发出锁定文件副本的命令；其中，所述直接前继存储簇Ni-1为：以顺时针为正方向，每个节点N都有排列在其之前或者之后的节点，其中排在前面的节点称为节点N的前继，第一个前继称为节点的直接前继Ni-1；所述直接后继存储簇Ni+1为：排在其后面的节点称为节点N的后继，第一个后继称为节点N的直接后继。4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：所述存储簇的管理节点向用户返回所述文件的元数据，更新所述文件的元数据以及版本号。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：所述直接前继和所述直接后继根据该存储簇上已更新的副本进行更新。6.根据权利要求5所...

【专利技术属性】
技术研发人员：缪烨，谢俊，
申请(专利权)人：柏域信息科技上海有限公司，
类型：发明
国别省市：上海,31