分布式存储系统的数据管理方法、装置及设备制造方法及图纸

本申请提供了一种分布式存储系统的数据管理方法、装置及设备，属于分布式存储技术领域。包括：接收终端的对象上传请求，对象上传请求携带待上传的数据对象，且用于请求将数据对象存储至分布式存储系统中，分布式存储系统中包括多个虚拟节点和多个存储节点，且一个存储节点关联至少一个虚拟节点；确定数据对象对应的目标虚拟节点；确定目标虚拟节点关联的第一存储节点；将数据对象存储至第一存储节点，以及将目标虚拟节点的版本标识和数据对象的存储时间戳，更新到第一存储节点的存储索引中，目标虚拟节点的版本标识和存储时间戳用于校验数据对象的版本。本申请能够保证用户下载的数据对象是最新版本的数据，提高存储性能。

【技术实现步骤摘要】
分布式存储系统的数据管理方法、装置及设备
本申请涉及数据分布式存储
，特别涉及一种分布式存储系统的数据管理方法、装置及设备。
技术介绍
为了降低终端的存储压力，可以将数据存储到分布式存储系统中。该分布式存储系统中包括网络设备和多个存储节点，网络设备用于接收终端的待存储的数据对象，将待存储的数据对象存储到任一存储节点中。相关技术中，网络设备将待存储的数据对象的key(键值)与分布式存储系统中包括的存储节点的数量进行哈希，得到用于存储该数据对象的存储节点的节点标识，基于该存储节点的节点标识，将该数据对象存储至确定出的存储节点中。然而同一数据对象可能会具有不同版本的数据，当分布式存储系统中的存储节点由于出现故障而离线时，由于分布式存储系统中的存储节点的数量会发生变化，则基于数据对象和存储节点的数量的哈希值会发生变化，会导致同一数据对象的不同版本的数据会存储至不同的存储节点中，这样用户后续下载数据对象的数据时，无法保证用户下载的是数据对象的最新版本的数据，从而导致分布式存储系统的性能较差。专利技术内容本申请本文档来自技高网...

【技术保护点】
1.一种分布式存储系统的数据管理方法，其特征在于，所述方法包括：/n接收终端的对象上传请求，所述对象上传请求携带待上传的数据对象，且用于请求将所述数据对象存储至分布式存储系统中，所述分布式存储系统中包括多个虚拟节点和多个存储节点，且一个存储节点关联至少一个虚拟节点；/n基于所述数据对象的对象标识和所述虚拟节点的数量，确定所述数据对象映射的目标虚拟节点；/n基于存储节点和虚拟节点之间的关联关系，确定所述目标虚拟节点关联的第一存储节点；/n将所述数据对象存储至所述第一存储节点，以及将所述目标虚拟节点的版本标识和所述数据对象的存储时间戳，更新到所述第一存储节点的存储索引中，所述目标虚拟节点的版本标识...

【技术特征摘要】
1.一种分布式存储系统的数据管理方法，其特征在于，所述方法包括：
接收终端的对象上传请求，所述对象上传请求携带待上传的数据对象，且用于请求将所述数据对象存储至分布式存储系统中，所述分布式存储系统中包括多个虚拟节点和多个存储节点，且一个存储节点关联至少一个虚拟节点；
基于所述数据对象的对象标识和所述虚拟节点的数量，确定所述数据对象映射的目标虚拟节点；
基于存储节点和虚拟节点之间的关联关系，确定所述目标虚拟节点关联的第一存储节点；
将所述数据对象存储至所述第一存储节点，以及将所述目标虚拟节点的版本标识和所述数据对象的存储时间戳，更新到所述第一存储节点的存储索引中，所述目标虚拟节点的版本标识和所述存储时间戳用于在所述终端下载所述数据对象时，校验所述数据对象的版本。


2.根据权利要求1所述的方法，其特征在于，所述将所述数据对象存储至所述第一存储节点，包括：
响应于所述第一存储节点中包括目标磁盘数据块，所述目标磁盘数据块为用于存储映射到所述目标虚拟节点的数据对象的磁盘数据块，将所述数据对象存储至所述目标磁盘数据块中；
响应于所述第一存储节点中不包括所述目标磁盘数据块，为所述目标虚拟节点分配一个目标磁盘数据块，将所述数据对象存储至分配的目标磁盘数据块中。


3.根据权利要求1所述的方法，其特征在于，所述将所述目标虚拟节点的版本标识和所述数据对象的存储时间戳，更新到所述第一存储节点的存储索引中，包括：
响应于所述存储索引中不存在所述目标虚拟节点的版本标识和所述数据对象的存储时间戳，将所述目标虚拟节点的版本标识和所述数据对象的存储时间戳，存储至到所述第一存储节点的存储索引中；
响应于所述存储索引中存在所述目标虚拟节点的版本标识和所述数据对象的存储时间戳，将所述目标虚拟节点的版本标识和所述数据对象的存储时间戳分别替换所述存储索引中的已存储的版本标识和存储时间戳。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述分布式存储系统中，确定第二存储节点，所述第二存储节点为所述第一存储节点的备份存储节点；
将所述数据对象备份至所述第二存储节点。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
响应于所述第二存储节点离线，从所述分布式存储系统中确定第三存储节点，将所述第一存储节点中的数据对象备份所述第三存储节点中；
响应于所述第一存储节点离线，将所述第二存储节点作为所述目标虚拟节点的主存储节点，从所述分布式存储系统中为所述第二存储节点确定一个备份存储节点，将所述第二存储节点中的数据对象备份至所述备份存储节点中。


6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述分布式存储系统的任一存储节点离线，确定离线的存储节点关联的虚拟节点；
为所述虚拟节点重新确定存储节点，以及，更新所述虚拟节点的版本标识；
基于所述虚拟节点更新后的版本标识和重新确定的存储节点的节点标识，更新存储节点和虚拟节点之间的关联关系。


7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述重新确定的存储节点的节点标识添加到所述虚拟节点的关联轨迹记录，所述关联轨迹记录包括所述虚拟节点历史关联的多个存储节点的节点标识以及多个存储节点之间的迁移路径；
将所述关联轨迹记录更新至所述分布式存储系统的每个存储节点中。


8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述终端的第一下载请求，所述第一下载请求携带待下载的数据对象的对象标识；
基于所述数据对象的对象标识和所述虚拟节点的数量，确定所述数据对象映射的目标虚拟节点；
基于存储节点和虚拟节点之间的关联关系，确定所述目标虚拟节点关联的第一存储节点；
从所述第一存储节点中获取所述数据对象，向所述终端发送所述数据对象。


9.根据权利要求8所述的方法，其特征在于，所述从所述第一存储节点中获取所述数据对象，包括：
向所述第一存储节点发送第二下载请求，所述第二下载请求携带所述目标虚拟节点的版本标识和所述数据对象的对象标识，所述版本标识用于所述第一存储节点验证已存储的数据对象的版本，所述数据对象的对象标识用于所述第一存储节点读取所述数据对象；
接收所述第一存储节点发送的所述数据对象。


10.一种分布式存储系统的数据管理方法，其特征在于，所述方法包括：
接收网络设备发送的第二下载请求，所述第二下载请求携带目标虚拟节点的版本标识和待下载的数据对象的对象标识；
基于所述目标虚拟节点的版本标识和所述数据对象的对象标识，以及本地存储的存储索引，从分布式存储系统中获取所述数据对象的最新版本的数据，所述存储索引中存储所述目标虚拟节点的版本标识和所述...

【专利技术属性】
技术研发人员：李丹旺，夏伟强，丁光凯，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33