【技术实现步骤摘要】
数据读写方法、分布式存储系统、装置、设备和存储介质
[0001]本公开涉及人工智能领域,具体涉及云计算、云存储和内容分发技术,可应用在智能云场景下,尤其涉及一种数据读写方法、分布式存储系统、装置、设备和存储介质。
技术介绍
[0002]分布式存储技术是指将数据分散存储在多台机器上。典型的分布式存储系统包括:客户端、元数据服务器和数据存储服务器。数据存储服务器用于存储用户数据;元数据服务器用于存储用户数据的元数据,元数据例如为用户数据的存储位置信息;客户端是用户使用分布式存储系统的入口,基于用户的读写请求消息对目标数据进行读写操作。
[0003]相关技术中,客户端可以从元数据服务器获取目标数据的存储位置信息,基于存储位置信息对目标数据进行读写操作。
技术实现思路
[0004]本公开提供了一种数据读写方法、分布式存储系统、装置、设备和存储介质。
[0005]根据本公开的一方面,提供了一种数据读写方法,包括:响应于针对目标数据的读写请求消息,确定所述目标数据所属的存储池内的多个存储节点,所述多个存储节点包括所述目标数据所在的目标存储节点,且,所述多个存储节点中的至少一个存储节点内存储所述目标存储节点的标识信息;查询所述多个存储节点,以获取所述目标存储节点的标识信息;基于所述目标存储节点的标识信息,将所述读写请求消息发送至所述目标存储节点,以对所述目标存储节点内的所述目标数据进行读写操作。
[0006]根据本公开的另一方面,提供了一种分布式存储系统,包括:客户端和多个存储节点;所述多个 ...
【技术保护点】
【技术特征摘要】
1.一种数据读写方法,包括:响应于针对目标数据的读写请求消息,确定所述目标数据所属的存储池内的多个存储节点,所述多个存储节点包括所述目标数据所在的目标存储节点,且,所述多个存储节点中的至少一个存储节点内存储所述目标存储节点的标识信息;查询所述多个存储节点,以获取所述目标存储节点的标识信息;基于所述目标存储节点的标识信息,将所述读写请求消息发送至所述目标存储节点,以对所述目标存储节点内的所述目标数据进行读写操作。2.根据权利要求1所述的方法,其中,所述方法应用于分布式存储系统的客户端;所述分布式存储系统还包括:元数据服务器,所述元数据服务器内记录存储池与存储池内的多个存储节点之间的映射关系;所述方法还包括:基于预设周期,从所述元数据服务器获取所述映射关系;所述确定所述目标数据所属的存储池内的多个存储节点,包括:若所述客户端本地未缓存所述目标存储节点的标识信息,且,从所述元数据服务器未获取所述目标存储节点的标识信息,基于所述映射关系,确定所述目标数据所属的存储池内的多个存储节点。3.根据权利要求1或2所述的方法,其中,所述查询所述多个存储节点,以获取所述目标存储节点的标识信息,包括:依次向所述多个存储节点中的单个存储节点发送第一查询请求消息,所述第一查询请求消息用于查询所述单个存储节点内是否存储所述目标数据,直至接收到第一查询响应消息,所述第一查询响应消息用于表明存储所述目标数据;基于所述第一查询响应消息,获取所述目标存储节点的标识信息。4.根据权利要求3所述的方法,其中,所述目标数据存在多个副本,所述多个副本包括:主副本和从副本;所述目标存储节点包括:所述主副本所在的存储节点,以及,所述从副本所在的存储节点;所述基于所述第一查询响应消息,获取所述目标存储节点的标识信息,包括:针对产生所述第一查询响应消息的存储节点是所述主副本所在的存储节点,所述第一查询响应消息中包含所述目标存储节点的标识信息,执行:从所述第一查询响应消息中获取所述目标存储节点的标识信息。5.根据权利要求3所述的方法,其中,所述目标数据存在多个副本,所述多个副本包括:主副本和从副本;所述目标存储节点包括:所述主副本所在的存储节点,以及,所述从副本所在的存储节点;所述基于所述第一查询响应消息,获取所述目标存储节点的标识信息,包括:针对产生所述第一查询响应消息的存储节点是所述从副本所在的存储节点,所述第一查询响应消息中获取所述主副本所在的存储节点的标识信息,执行:基于所述主副本所在的存储节点的标识信息,向所述主副本所在的存储节点发送第二
查询请求消息,所述第二查询请求消息用于查询所述主副本所在的存储节点内存储的目标存储节点的标识信息;接收所述主副本所在的存储节点发送的第二查询响应消息,所述第二查询响应消息中包含所述目标存储节点的标识信息;从所述第二查询响应消息中,获取所述目标存储节点的标识信息。6.一种分布式存储系统,包括:客户端和多个存储节点;所述多个存储节点包括目标数据所在的目标存储节点,且,所述多个存储节点中的至少一个存储节点内存储所述目标存储节点的标识信息;所述客户端,用于响应于针对所述目标数据的读写请求消息,确定所述目标数据所属的存储池内的所述多个存储节点;查询所述多个存储节点,以获取所述目标存储节点的标识信息;以及,基于所述目标存储节点的标识信息,将所述读写请求消息发送至所述目标存储节点,以对所述目标存储节点内的所述目标数据进行读写操作。7.根据权利要求6所述的系统,还包括:元数据服务器,用于记录存储池与存储池内的多个存储节点之间的映射关系;所述客户端进一步用于:基于预设周期,从所述元数据服务器获取所述映射关系;以及,若所述客户端本地未缓存所述目标存储节点的标识信息,且,从所述元数据服务器未获取所述目标存储节点的标识信息,基于所述映射关系,确定所述多个存储节点。8.根据权利要求6或7所述的系统,其中,所述客户端进一步用于:依次向所述多个存储节点中的单个存储节点发送第一查询请求消息,所述第一查询请求消息用于查询所述单个存储节点内是否存储所述目标数据,直至接收到第一查询响应消息,所述第一查询响应消息用于表明存储所述目标数据;基于所述第一查询响应消息,获取所述目标存储节点的标识信息。9.根据权利要求8所述的系统,其中,所述目标数据存在多个副本,所述多个副本包括:主副本和从副本;所述目标存储节点包括:所述主副本所在的存储节点,以及,所述从副本所在的存储节点;所述多个存储节点包括:存储所述目标数据的存储节点;所述存储所述目标数据的存储节点用于:若所述存储所述目标数据的存储节点是所述主副本所在的存储节点,将所述目标数据对应的所有副本所在的存储节点的标识信息携带在所述第一查...
【专利技术属性】
技术研发人员:易正利,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。