分布式存储系统中的数据处理方法及设备、客户端技术方案

本发明专利技术提供一种分布式存储系统中的数据处理方法及设备、客户端，客户端根据数据的特征信息，获得数据的哈希值，通过根据预先创建的分区表和数据的哈希值，确定与数据的哈希值对应的至少两个存储节点，至少两个存储节点对应不同的DHT重叠网，使得客户端能够将数据分别写入至少两个存储节点，系统中至少两个存储节点上只存储一份数据副本，其备份关系简单，能避免现有技术中由于系统中存储节点的备份关系复杂使得一个存储节点可能会存储多份不同的数据副本而导致的一个存储节点加入或者离开系统受到影响的存储节点可能包括该存储节点顺时针方向的顺序两个存储节点和逆时针方向的顺序两个存储节点的备份关系的问题，降低了系统维护和调度的难度。

【技术实现步骤摘要】
【国外来华专利技术】分布式存储系统中的数据处理方法及设备、客户端
本专利技术实施例涉及信息存储技术，尤其涉及一种分布式存储系统中的数据处理方法及设备、客户端。
技术介绍
基于分布式哈希表(DistributedHashTable，简称DHT)重叠网的分布式存储系统中，每个存储节点被赋予一个全局唯一的键值(Key)，由DHT描述；所有存储节点的键值形成一个封闭的、被切分了的空间环；每个存储节点负责存储的数据空间为在该存储节点的键值的顺时针或逆时针方向的一个分区。客户端可以根据待存储/读取数据的键值，在DHT中查询到该键值所在的分区和对应的主存储节点，完成数据的存储/读取。为保证数据的高可靠性，基于DHT重叠网的分布式存储系统中采用多副本存储策略，即一份数据存储多个副本，每个数据副本位于不同的存储节点。例如：在确定数据的主存储节点后，在顺时针或逆时针方向，顺序选择相应数目的存储节点，分别存储一个数据副本。然而，由于上述系统中存储节点的备份关系复杂，使得一个存储节点可能会存储多份不同的数据副本，导致了一个存储节点加入或者离开系统，受到影响的存储节点可能包括该存储节点顺时针方向的顺序两个存储节点和逆时针方向的顺本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种分布式存储系统中的数据处理方法，其特征在于，包括：根据分布式存储系统中的数据副本个数，确定哈希值对应的至少两个存储节点，其中，所述哈希值对应的至少两个存储节点的个数等于所述分布式存储系统中的数据副本个数，所述哈希值对应的至少两个存储节点对应不同的DHT重叠网，所述不同的DHT重叠网的分区一致；根据所述哈希值和所述哈希值对应的至少两个存储节点的配置信息，创建分区表；客户端根据数据的特征信息，获得所述数据的哈希值，所述特征信息包括：所述数据的文件名字、所述数据的摘要信息或者所述数据的内容；所述客户端根据所述分区表和所述数据的哈希值，确定与所述数据的哈希值对应的至少两个存储节点；所述客户端将所述数据分别写入所述至少两个存储节点。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述不同的DHT重叠网对应的存储节点获得所述分区表；所述不同的DHT重叠网对应的存储节点根据所述分区表，获得与本存储节点的配置信息对应的哈希值，并确定该哈希值对应的其他存储节点；所述不同的DHT重叠网对应的存储节点根据本存储节点的数据和所述其他存储节点的数据，完成初始化操作。3.根据权利要求1或2所述的方法，其特征在于，所述客户端将所述数据分别写入所述至少两个存储节点之后，还包括：所述客户端根据所述数据的特征信息，获得所述数据的哈希值；所述客户端根据预先创建的分区表和所述数据的哈希值，确定与所述数据的哈希值对应的至少两个存储节点，所述至少两个存储节点对应不同的DHT重叠网；所述客户...

【专利技术属性】
技术研发人员：杨德平，
申请(专利权)人：华为技术有限公司，
类型：
国别省市：