【技术实现步骤摘要】
实时接入服务系统及其实现方法
本专利技术涉及数据通信
,更具体地,涉及一种实时接入服务系统及其实现方法。
技术介绍
在Mysql实时接入服务中,EPX是通过实时解析MysqlBinlog日志,并按照用户配置对解析内容进行转换过滤,最后输出到Kafka中供业务方使用的数据管道。但是,现有EPX只能满足基础的功能要求,即把Mysql实时变更推送到Kafka中。对于Mysql和服务的单点故障问题,即当Mysql或服务器出现问题时,Mysql实时接入服务将不可用,甚至导致下游业务受到严重影响,如二手房搜索异常等,现有EPX将无法避免。现有开发的负载均衡法可以尽量避免单点故障问题,如四层负载均衡通过作用于OSI的传输层,利用虚拟IP+端口接收请求,再将任务分配到真实的服务器,来避免单点故障问题。七层负载均衡建立在四层负载均衡的基础上,并考虑了应用层,通过作用于OSI的应用层,实现服务的稳定性。但是,上述负载均衡法均是针对web服务相关的任务,并不能满足Mysql实时接入服务的需求。因此,如何开发出一套适用于Mys ...
【技术保护点】
1.一种实现实时接入服务系统的方法,其特征在于,包括:/n根据Mysql实时接入服务的业务需求和集群类型,在不同业务系统下部署多套Mysql实时接入服务,并在各所述Mysql实时接入服务下分别部署多个服务节点;/n确定分布式可靠协调服务,并基于所述分布式可靠协调服务,在所述Mysql实时接入服务的各所述服务节点之间,构建相互备用的业务逻辑,以在任一Mysql实时接入服务的任一服务节点出现异常时,将所述任一服务节点中的任务分配到所述任一Mysql实时接入服务的其余服务节点中。/n
【技术特征摘要】
1.一种实现实时接入服务系统的方法,其特征在于,包括:
根据Mysql实时接入服务的业务需求和集群类型,在不同业务系统下部署多套Mysql实时接入服务,并在各所述Mysql实时接入服务下分别部署多个服务节点;
确定分布式可靠协调服务,并基于所述分布式可靠协调服务,在所述Mysql实时接入服务的各所述服务节点之间,构建相互备用的业务逻辑,以在任一Mysql实时接入服务的任一服务节点出现异常时,将所述任一服务节点中的任务分配到所述任一Mysql实时接入服务的其余服务节点中。
2.根据权利要求1所述的实现实时接入服务系统的方法,其特征在于,具体确定Zookeeper服务作为所述分布式可靠协调服务。
3.根据权利要求2所述的实现实时接入服务系统的方法,其特征在于,所述在所述Mysql实时接入服务的各所述服务节点之间,构建相互备用的业务逻辑的步骤具体包括:
利用Zookeeper服务,记录关于各所述服务节点的节点目录,并在任一服务节点启动后,在Zookeeper服务中创建所述任一服务节点的临时子节点目录,同时使所述任一服务节点监听Zookeeper服务中的所述节点目录;
若检测到所述任一服务节点出现异常,则使Zookeeper服务销毁所述任一服务节点的临时子节点目录,并向其余服务节点发送zookeeper通知,所述zookeeper通知携带有所述任一服务节点的节点信息;
根据所述zookeeper通知,将所述任一服务节点中的任务分配给接收到所述zookeeper通知的服务节点。
4.根据权利要求1或2所述的实现实时接入服务系统的方法,其特征在于,还包括:
基于所述分布式可靠协调服务,在各所述Mysql实时接入服务之间,构建相互备用的业务逻辑,以在任一Mysql实时接入服务出现异常时,将所述任一Mysql实时接入服务中的任务,分配到所述任一Mysql实时接入服务以外的Mysql实时接入服务中。
5.根据权利要求3所述的实现实时接入服务系统的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。