分布式存储系统的数据处理方法技术方案

本发明专利技术实施例提供了一种分布式存储系统的数据处理方法

【技术实现步骤摘要】
分布式存储系统的数据处理方法、装置、设备及介质


[0001]本专利技术涉及分布式存储
，尤其涉及一种分布式存储系统的数据处理方法
、
装置
、
设备及介质
。

技术介绍

[0002]随着大数据和信息产业的发展，需要保存和处理的数据量越来越大
。
分布式存储系统已成为数据中心的重要部分
。
[0003]相关的分布式存储系统缓存机制中，主写缓存服务器（主节点）向备写缓存服务器（备节点）复制数据的情况下，往往基于传输控制协议（
TCP
）或基于远程直接访问内存
RDMA
（
Remote Direct Memory Access
）技术进行双边操作，将数据复制给备写缓存服务器
。
但这种方式往往需要备写缓存服务器的处理器全程参与数据复制过程，业务
IO
数据（如应用程序发送的写请求）的处理时延以及开销较大
。

技术实现思路

[0004]为克服相关技术中存在的问题，本专利技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种分布式存储系统的数据处理方法，其特征在于，所述分布式存储系统包括主节点以及至少两个备节点，所述主节点包括第一主节点；所述方法包括：向所述至少两个备节点分别申请第一缓存；所述第一缓存用于供所述第一主节点对所述至少两个备节点进行远程内存访问；在所述第一主节点接收到写请求的情况下，将所述写请求写入所述至少两个备节点对应的第一缓存以及所述第一主节点的第二缓存；在所述第一主节点发生故障的情况下，将第一备节点确定为第二主节点，并获取所述第二主节点对应的第一操作日志信息以及第二备节点对应的第二操作日志信息；所述第二备节点为所述至少两个备节点中除第一备节点外的备节点；基于所述第一操作日志信息以及所述第二操作日志信息，通过远程内存访问技术同步所述第二主节点与所述第二备节点的数据
。2.
根据权利要求1所述的方法，其特征在于，所述向所述至少两个备节点分别申请第一缓存，包括：向所述分布式存储系统中的至少两个备节点分别发送缓存申请请求；在接收到所述至少两个备节点发送的反馈信息的情况下，针对任一备节点发送的反馈信息，基于所述反馈信息携带的所述备节点从全部缓存空间中划分的缓存空间的起止地址，确定所述备节点对应的第一缓存
。3.
根据权利要求1所述的方法，其特征在于，所述分布式存储系统中还包括协议客户端以及协议接入节点，所述协议接入节点用于在接收到所述协议客户端发送的目标写请求的情况下，向所述第一主节点发送所述写请求；所述目标写请求中携带有目标文件地址
。4.
根据权利要求3所述的方法，其特征在于，所述协议接入节点还用于：基于所述目标文件地址确定目标文件，并将所述目标文件进行切分，得到多个对象；针对所述多个对象中的任一对象，基于所述对象的对象标识，确定所述对象对应的目标分区；所述目标分区与所述第一主节点以及所述备节点相对应；向所述第一主节点发送所述写请求
。5.
根据权利要求4所述的方法，其特征在于，所述基于所述对象的对象标识，确定所述对象对应的目标分区，包括：确定所述对象对应的对象标识的目标哈希值；基于所述目标哈希值以及所述分布式存储系统中的总分区数量，确定分区标识；所述分区标识用于指示所述分布式存储系统中唯一的目标分区；基于所述分区标识，从所述分布式存储系统中的多个分区中确定所述目标分区
。6.
根据权利要求3所述的方法，其特征在于，所述方法还包括：在接收到所述至少两个备节点发送的回调消息后，通过所述第一主节点向所述协议接入节点发送响应消息；所述响应消息用于通知所述协议接入节点所述第一主节点完成将所述写请求写入所述第一主节点以及所述至少两个备节点的操作；在向协议接入节点发送响应消息后，通过所述第一主节点向所述至少两个备节点发送通知消息；所述通知消息携带有所述写请求在所述至少两个备节点的第一缓存中对应的地址信息
。7.
根据权利要求1所述的方法，其特征在于，所述分布式存储系统还包括管理节点；所
述在所述第一主节点发生故障的情况下，将第一备节点确定为第二主节点，包括：在检测到所述第一主节点故障的情况下，将初始节点视图中的所述第一主节点删除，得到第一节点视图；通过所述管理节点将所述第一节点视图发送至所述备节点，并确定所述至少两个备节点中的第一备节点为所述第二主节点
。8.
根据权利要求1所述的方法，其特征在于，所述获取所述第二主节点对应的第一操作日志信息以及第二备节点对应的第二操作日志信息，包括：在所述第二备节点接收到所述第二主节点发送的消息获取请求的情况下，通过解析所述第二备节点的第一缓存中的写请求，获取所述第二备节点对应的第二操作日志信息；通过解析所述第二主节点对应的第一缓存中的写请求，获取所述第二主节点对应的第一操作日志信息
。9.
根据权利要求8所述的方法，其特征在于，所述第二操作日志信息中包括第二写请求信息；所述通过解析所述第二备节点的第一缓存中的写请求，获取所述第二备节点对应的第二操作日志信息，包括：依次读取所述第二备节点的第一缓存中的多个写请求，并获取所述多个写请求对应的第二写请求信息
。10.
根据权利要求9所述的方法，其特征在于，所述第一操作日志信息中包括第一写请求信息；所述通过解析所述第二主节点对应的第一缓存中的写请求，获取所述第二主节点对应的第一操作日志信息，包括：依次读取所述第二主节点的第一缓存中的多个写请求，并获取所述多个写请求对应的第一写请求信息
。11.
根据权利要求

【专利技术属性】
技术研发人员：汪正洋，张在贵，张凯，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：