一种数据处理的方法和装置制造方法及图纸

技术编号:34135764 阅读:31 留言:0更新日期:2022-07-14 16:34
本发明专利技术公开了一种数据处理的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:接收客户端发送的拓扑信息获取请求;从缓存中获取集群的拓扑信息,所述拓扑信息是从所述集群的任一节点获得的所述集群中所有虚拟槽与虚拟槽对应的节点之间的映射关系;将所述拓扑信息发送给所述客户端。该实施方式能够减少拓扑生成时间,提高拓扑信息的获取效率,降低集群服务端的压力,减小网络带宽的占用,降低cluster slots风暴发生的概率。slots风暴发生的概率。slots风暴发生的概率。

A method and device for data processing

【技术实现步骤摘要】
一种数据处理的方法和装置


[0001]本专利技术涉及计算机
,尤其涉及一种数据处理的方法和装置。

技术介绍

[0002]目前smart(智能)客户端采用RESP协议与集群进行交互,当发生网络异常或集群成员宕机等情况时,通过懒加载方式加载集群元数据,获取集群拓扑信息,与集群节点建立连接,以进行数据的访问及存储。
[0003]在大规模集群中,较大拓扑严重影响客户端与服务端的通信效率,尤其是在高并发情况下,更新拓扑会阻塞读数据操作,服务端处理能力下降,导致集群形成cluster slots风暴,影响数据处理的效率。

技术实现思路

[0004]有鉴于此,本专利技术实施例提供一种数据处理的方法和装置,能够降低拓扑生成时间,降低集群服务端的运行压力,减小网络带宽占用,从而降低cluster slots风暴发生的概率。
[0005]为实现上述目的,根据本专利技术实施例的一个方面,提供了一种数据处理的方法,包括:
[0006]接收客户端发送的拓扑信息获取请求;
[0007]从缓存中获取集群的拓扑信息,所述拓本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法,其特征在于,包括:接收客户端发送的拓扑信息获取请求;从缓存中获取集群的拓扑信息,所述拓扑信息是从所述集群的任一节点获得的所述集群中所有虚拟槽与所述虚拟槽对应的节点之间的映射关系;将所述拓扑信息发送给所述客户端。2.根据权利要求1所述的方法,其特征在于,将所述拓扑信息发送给所述客户端,包括:对所述拓扑信息进行二进制压缩后发送给所述客户端。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:在将所述拓扑信息发送给所述客户端之后,接收所述客户端根据所述拓扑信息确定出目标节点之后向所述目标节点发送的目标数据的访问请求,判断所述目标节点与所述客户端的连接是否成功;若是,则向所述客户端返回针对所述访问请求的执行结果;否则,向所述客户端返回连接失败的消息。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:在所述目标节点与所述客户端连接失败的情况下,接收所述客户端发送的拓扑信息获取请求或者接收所述客户端重新发送的所述访问请求;其中,在所述客户端发送所述访问请求的次数超过预设阈值的情况下,所述客户端再次发送拓扑信息获取请求;在所述客户端发送所述访问请求的次数不超过预设阈值的情况下,所述客户端重新发送所述访问请求。5.根据权利要求3所述的方法,其特征在于,在将所述拓扑信息发送给所述客户端之后,所述拓扑信息被所述客户端保存在本地缓存;所述目标节点为所述客户...

【专利技术属性】
技术研发人员:冯剑侠
申请(专利权)人:京东科技信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1