Thrift server服务的实现方法、Thrift server节点及客户端技术

技术编号:21065611 阅读:98 留言:0更新日期:2019-05-08 10:01
本公开涉及一种Thrift server服务的实现方法、Thrift server节点及客户端,所述方法包括:所述多个Thrift server节点启动时向分布式协调服务Zookeeper注册临时节点,其中,一个Thrift server节点注册临时节点成功并且该Thrift server节点的信息被保存在所述临时节点中;客户端与所述临时节点建立连接,并且根据所述临时节点所保存的信息,与注册临时节点成功的Thrift server节点建立连接。由此,客户端能够连接至有效的Thrift server节点,从而解决了单点故障的问题,并且实现了Thrift server服务的高可用性。

【技术实现步骤摘要】
Thriftserver服务的实现方法、Thriftserver节点及客户端
本公开涉及通信
,尤其涉及一种Thriftserver服务的实现方法、Thriftserver节点及客户端。
技术介绍
Spark是一种基于内存计算的大数据计算框架,提供了分布式计算功能,将分布式存储的数据读入,同时将任务分发到各节点进行计算。Spark提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量廉价的硬件上以形成集群。SparkThriftserver服务提供了JDBC连接Spark的功能,使得客户端可以连接Spark,给客户端带来了极大的便捷。然而,在Thriftserver服务挂掉时,客户端与Spark的连接不再有效,从而产生单点故障。
技术实现思路
有鉴于此,本公开提出了一种Thriftserver服务的实现方法、Thriftserver节点及客户端。根据本公开的第一方面,提供了一种跨语言的服务部署框架Thriftserver服务的实现方法,应用于大数据集群,所述大数据集群中包括多个Thriftserver节点,所述方法包括:所述多个Thri本文档来自技高网...

【技术保护点】
1.一种跨语言的服务部署框架Thrift server服务的实现方法,应用于大数据集群,所述大数据集群中包括多个Thrift server节点,其特征在于,所述方法包括:所述多个Thrift server节点启动时向分布式协调服务Zookeeper注册临时节点,其中,一个Thrift server节点注册临时节点成功并且该Thrift server节点的信息被保存在所述临时节点中;客户端与所述临时节点建立连接,并且根据所述临时节点所保存的信息,与注册临时节点成功的Thrift server节点建立连接。

【技术特征摘要】
1.一种跨语言的服务部署框架Thriftserver服务的实现方法,应用于大数据集群,所述大数据集群中包括多个Thriftserver节点,其特征在于,所述方法包括:所述多个Thriftserver节点启动时向分布式协调服务Zookeeper注册临时节点,其中,一个Thriftserver节点注册临时节点成功并且该Thriftserver节点的信息被保存在所述临时节点中;客户端与所述临时节点建立连接,并且根据所述临时节点所保存的信息,与注册临时节点成功的Thriftserver节点建立连接。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:所述多个Thriftserver节点中向所述Zookeeper注册临时节点失败的多个Thriftserver节点分别向所述Zookeeper注册第一观察者。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:在所述第一观察者监测到所述临时节点不存在时,所述第一观察者对应的Thriftserver节点重新向所述Zookeeper注册所述临时节点,并且注册临时节点成功的Thriftserver节点的信息被保存在所述临时节点中。4.根据权利要求1或3所述的方法,其特征在于,所述客户端与所述临时节点建立连接时,所述方法还包括:所述客户端向所述Zookeeper注册第二观察者。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:在所述第二观察者监测到所述临时节点所保存的信息更新时,所述客户端根据更新的信息与所述临时节点对应的新的Thriftserver节点建立连接。6.一种跨语言的服务部署框架Thriftserver节点...

【专利技术属性】
技术研发人员:崔振凯户蕾蕾谷宁波
申请(专利权)人:新华三大数据技术有限公司
类型:发明
国别省市:河南,41

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1