分布式存储系统的数据节点选择方法、装置、设备及介质制造方法及图纸

技术编号:41618404 阅读:19 留言:0更新日期:2024-06-13 02:20
本申请提供了一种分布式存储系统的数据节点选择方法、装置、设备及介质,涉及存储系统技术领域,包括:名称节点接收客户端发出的读写请求,从预先配置的多个数据节点选择策略中,确定与读写请求的用户业务场景所适配目标数据节点选择策略,并按照目标节点选择策略选择目标数据节点,得到目标数据节点列表,根据目标数据节点列表,向客户端发送客户端所需的数据节点列表,以使客户端请求所需的数据节点列表中的数据节点处理读写请求。通过在名称节点中配置多个与用户业务场景相适配的数据节点选择策略,针对不同的用户业务场景选择不同的数据节点选择策略,能够提升分布式存储系统的可用性、易用性和数据负载均衡能力。

【技术实现步骤摘要】

本申请涉及存储系统,特别是涉及一种分布式存储系统的数据节点选择方法、装置、设备及介质


技术介绍

1、在基于大数据的分布式存储系统中,通常使用hdfs(hadoop distributed filesystem,分布式文件系统)协议作为分布式存储系统的访问协议。hdfs协议主要用于上层计算组件与下层文件系统的元数据、数据交互。基于hadoop生态的蓬勃发展,hdfs协议已经具有相当的稳定性和通用性。

2、在分布式存储系统的hdfs协议中,名称节点用来提供元数据服务,客户端可以通过hdfs协议来与名称节点进行元数据交互(增、删、改、查等),数据节点用来提供数据服务,客户端通过hdfs协议来与数据节点进行数据的读写交互。当客户端通过hdfs协议进行数据读写时,首先与名称节点交互,获取要读写文件的位置,即数据块所在的数据节点信息,该位置信息中有一个包含了多个数据节点信息的列表。

3、一个典型的hdfs集群中包含了多个数据节点,而在通过hdfs协议对接大数据业务场景时,相关技术中,通常基于数据节点网络拓扑位置的策略进行数据节点的选择,但在实本文档来自技高网...

【技术保护点】

1.一种分布式存储系统的数据节点选择方法,其特征在于,所述方法包括:

2.根据权利要求1所述的分布式存储系统的数据节点选择方法,其特征在于,所述预先配置的多个数据节点选择策略包括默认策略和以下至少一项:

3.根据权利要求2所述的分布式存储系统的数据节点选择方法,其特征在于,所述从所述名称节点中预先配置的多个数据节点选择策略中,确定与所述读写请求的用户业务场景所适配目标数据节点选择策略,并按照所述目标节点选择策略从数据节点列表中选择目标数据节点,得到包含所述目标数据节点的目标数据节点列表,包括:

4.根据权利要求2所述的分布式存储系统的数据节点选择方法,...

【技术特征摘要】

1.一种分布式存储系统的数据节点选择方法,其特征在于,所述方法包括:

2.根据权利要求1所述的分布式存储系统的数据节点选择方法,其特征在于,所述预先配置的多个数据节点选择策略包括默认策略和以下至少一项:

3.根据权利要求2所述的分布式存储系统的数据节点选择方法,其特征在于,所述从所述名称节点中预先配置的多个数据节点选择策略中,确定与所述读写请求的用户业务场景所适配目标数据节点选择策略,并按照所述目标节点选择策略从数据节点列表中选择目标数据节点,得到包含所述目标数据节点的目标数据节点列表,包括:

4.根据权利要求2所述的分布式存储系统的数据节点选择方法,其特征在于,所述从所述名称节点中预先配置的多个数据节点选择策略中,确定与所述读写请求的用户业务场景所适配目标数据节点选择策略,并按照所述目标节点选择策略从数据节点列表中选择目标数据节点,得到包含所述目标数据节点的目标数据节点列表,包括:

5.根据权利要求2所述的分布式存储系统的数据节点选择方法,其特征在于,所述从所述名称节点中预先配置的...

【专利技术属性】
技术研发人员:贾涛王帅阳霍存可陶钰昕
申请(专利权)人:济南浪潮数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1