一种基于zookeeper双平面数据架构的分布式调度方法及系统技术方案

本发明专利技术涉及一种基于zookeeper双平面数据架构的分布式调度方法及系统，包括在zookeeper中构建动态树和静态树；将业务系统的通用配置信息存储到对应的静态树的节点信息中；业务程序启动时在动态树中生成临时动态节点，将所述业务程序的属性信息设置到临时动态节点中；分布式调度程序分别获取静态树节点信息和动态树节点信息，根据预定的选取原则选取最优的临时动态节点，进而获取对应的业务程序，实现分布式调度程序与所述业务程序的连接。本发明专利技术通过静态树指示负载均衡器的逻辑负载结构，通过动态树对既有应用的运行情况进行实时管控，动态树与静态树的联动实现了逻辑负载和实际运行的动态结合，使得云化系统部署及切换高效、快速，系统灵活性高。

【技术实现步骤摘要】

本专利技术涉及通信
，尤其涉及一种基于zookeeper双平面数据架构的分布 式调度方法及系统。
技术介绍
随着电信业务数据业务发展，流量算费、出账和信控过程越来越要求实时性。同 时，随着定向流量、智能管道和管道经营等业务需求逐渐开展，数据流量细分也成为必经之 路。实时性的要求以及数据流量细分，将产生更多的服务使用记录，对现有BOSS系统处理 能力提出挑战。 从另外一个角度，随着4G业务不断铺开，更快的接入速度产生更多的服务使用记 录；同时更快的接入速度也会造成更大的欠费风险，需要更及时的流量控制过程；另外更 快的接入速度也需要对服务等级进行细致划分。所以在4G时代数据流量细分从业务上讲 需要更加细致，需求也更加迫切。 业务需求量的激增带来各种问题，系统间的自动衔接和灵活切换不易实现，以及 架构变迀对业务构建的存在较大影响，系统的同步，系统异常处理的及时性及业务系统扩 容的灵活性的实现带来了很大的难度。系统的部署及切换效率不高，系统灵活性低。 因此，数据业务对BOSS系统的支撑能力要求是爆炸式增长的，更快、更准确、更合 适的支撑系统建设是下一代BOSS系统的基本要求。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于zookeeper双 平面数据架构的分布式调度方法及系统。 ZooKe印er提供集中式服务，包括配置维护、服务命名、分布式同步、组管理。子服 务常用于分布式应用。Zookeeper在分布式应用中的可用性，使得BOSS系统云化架构的实 现更加高效、灵活。 本专利技术利用zookeeper开源服务，在zookeeper中采用了双平面数据架构，一个静 态的树状层级结构（S)，以下简称为静态树，指示负载均衡器的逻辑负载结构；一个动态的 树状层级结构（D)，以下简称为动态树，用以对既有业务程序的运行情况进行实时管控。 本专利技术解决上述技术问题的技术方案如下：一种基于zookeeper双平面数据架构 的分布式调度方法，包括如下步骤： 步骤1，在zookeeper中构建由动态树和静态树构成的双平面数据架构； 步骤2,将业务系统的通用配置信息存储到对应的静态树的节点信息中； 步骤3,业务系统的业务程序启动时自动注册到zookeeper服务中，在动态树中生 成唯一的临时动态节点，将所述业务程序的属性信息设置到临时动态节点中； 步骤4,分布式调度程序分别获取静态树节点信息和动态树节点信息，根据预定的 选取原则选取最优的临时动态节点，获取临时动态节点对应的业务程序，实现分布式调度 程序与所述业务程序的连接。 本专利技术的有益效果是：本专利技术zookeeper中构建双平面数据架构，通过静态树指 示负载均衡器的逻辑负载结构，通过动态树对既有业务程序的运行情况进行实时管控，动 态树与静态树的联动实现了逻辑负载和实际运行的动态结合，实现了系统间的自动衔接和 灵活切换，消除了架构变迀对业务构建的影响，采用zookeeper作为系统联通的桥梁，使得 系统业务构建在启动和切换以及后期的监控过程，变得更加高效、灵活；且在zooke印er上 存储了系统的通用性配置，当在某一台主机修改zookeeper静态树上的系统配置时，修改 后的配置对所有主机节点可见，实现了系统配置的同步；本专利技术使得云化系统能够进行高 效、快速的部署及切换，系统灵活性高。 在上述技术方案的基础上，本专利技术还可以做如下改进。 进一步，步骤1中在zookeeper中构建双平面的数据架构的具体实现为：按照业务 系统服务池的规划预先生成静态树的非叶子节点和叶子节点以及动态树的非叶子节点。 进一步，步骤3中业务程序启动时，注册临时动态节点到zookeeper服务中，临时 动态节点按照zookeeper路径方式命名。 采用上述进一步方案的有益效果：实现业务系统云化进程的统一命名服务，便于 对云化业务系统的管理和监控。 进一步，上述技术方案还包括在进行负载均衡配置时创建或删除静态树的叶子节 点。 进一步，步骤4中分布式调度程序从静态树中获取业务系统的通用配置信息，从 动态树中获取下一级子业务系统的所有业务程序的属性信息，选取最优临时动态节点，将 临时动态节点的名称设置到静态树的静态节点中，完成静态节点与动态节点的关联。 进一步，注册到zookeeper上的业务程序停止时，动态树上的临时动态节点被删 除，通过监控动态树上临时动态节点的存在情况，判断相应业务系统的运行情况。 进一步，上述技术方案还包括业务系统异常通知及修复处理，具体实现为：当下一 级子业务系统异常时，分布式调度程序接收到zooke印er的通知，获取静态树和动态树上 各节点的状态信息，根据获取的状态信息匹配静态树节点和动态树节点，查找异常静态树 节点对应的动态树节点，根据预定的选取原则选取最优的临时动态节点，将其与静态节点 关联，进行节点的快速切换，完成系统的异常修复。 采用上述进一步方案的有益效果：实现业务系统云化节点异常的通知及自动恢 复。 进一步，上述技术方案还包括对业务系统进行动态扩容，具体实现为：在 zookeeper静态树上添加叶子节点，分布式调度程序接收到zookeeper的通知，在原业务系 统程序正常运行情况下，根据预定的选取原则选取最优的临时动态节点，与新增叶子节点 进行关联，增加业务系统的业务处理节点，实现业务系统的自动扩容。 采用上述进一步方案的有益效果：实现了系统云化便捷扩容。 本专利技术解决上述技术问题的另一技术方案如下：一种基于zookeeper双平面数据 架构的分布式调度系统，包括静态树模块、动态树模块和分布式调度模块； 所述静态树模块，其构建于zookeeper中，用于将业务系统的通用配置信息存储 到对应的静态树的节点信息中； 所述动态树模块，其构建于zooke印er中，用于在业务系统的业务程序启动时，生 成唯一的临时动态节点，将所述业务程序的属性信息设置到临时动态节点中； 所述分布式调度模块，用于分别获取静态树节点信息和动态树节点信息，根据预 定的选取原则选取最优的临时动态节点，获取临时动态节点对应的业务程序，实现分布式 调度程序与所述业务程序的连接。 在上述技术方案的基础上，本专利技术还可以做如下改进。 进一步，当下一级子业务系统异常时，分布式调度模块接收到zookeeper的通知， 获取静态树和动态树上各节点的状态信息，根据获取的状态信息匹配静态树节点和动态树 节点，查找异常静态树节点对应的动态树节点，根据预定的选取原则选取最优的临时动态 节点，将其与静态节点关联，进行节点的快速切换，完成系统的异常修复。 进一步，当业务系统动态扩容时，在静态树上添加叶子节点，分布式调度程序接收 到zooke印er的通知，在原业务系统程序正常运行情况下，根据预定的选取原则选取最优 的临时动态节点，与新增叶子节点进行关联，增加业务系统的业务处理节点，实现业务系统 的自动扩容。【附图说明】 图1为本专利技术所述一种基于zookeeper双平面数据架构的分布式调度系统框图； 图2为本专利技术所述一种基于zooke印er双平面数据架构的分布式调度方法流程 图； 图3为本专利技术所述zookeeper双平面数据架构图。 附图中，各标号所代表的部件列表如下： 1、静态树模块，2、动本文档来自技高网...

【技术保护点】
一种基于zookeeper双平面数据架构的分布式调度方法，其特征在于，包括如下步骤：步骤1，在zookeeper中构建由动态树和静态树构成的双平面数据架构；步骤2，将业务系统的通用配置信息存储到对应的静态树的节点信息中；步骤3，业务系统的业务程序启动时自动注册到zookeeper服务中，在动态树中生成唯一的临时动态节点，将所述业务程序的属性信息设置到临时动态节点中；步骤4，分布式调度程序分别获取静态树节点信息和动态树节点信息，根据预定的选取原则选取最优的临时动态节点，获取临时动态节点对应的业务程序，实现分布式调度程序与所述业务程序的连接。

【技术特征摘要】

【专利技术属性】
技术研发人员：王敏，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：北京;11