一种K‑UX3.0操作系统上搭建storm分布式应用集群的系统及方法技术方案

本发明专利技术提供一种K‑UX3.0操作系统上搭建storm分布式应用集群的系统及方法，搭建storm分布式应用集群系统通过SSH标准协议连接K‑UX操作系统，64路服务器的N+1个节点上部署Storm集群，包括终端访问层、应用层和数据层，三层通过局域网进行连接通信。终端访问层与应用层通过局域网进行连接通信，通过ssh协议远程连接操作系统，远程控制Storm应用平台。应用层通过MQ、Socket通信、前端系统业务数据获取API或者Log监控等方式从数据接入层获取数据，经过Storm实时处理系统处理之后写入数据落地层，数据接入层可以是数据库，也可以是其他存储或应用。

The system builds the storm distributed application cluster and method on a K UX3.0 operating system

The invention provides a K UX3.0 operating system system and method to build storm distributed application clusters, build storm distributed application cluster system to connect K UX operating system through SSH protocol, 64 servers, N+1 nodes deployed on Storm cluster, including terminal access layer, application layer and data layer by layer, three LAN communication connection. The terminal access layer and the application layer connect and communicate through the LAN, and connect the operating system remotely through the SSH protocol, and remotely control the Storm application platform. The application layer through the MQ, Socket communication, business data acquisition front-end system API or Log monitoring etc. from the data access layer to obtain data, after Storm real time processing system for processing write data landing layer, data access layer can be a database, or other storage or application.

【技术实现步骤摘要】
一种K-UX3.0操作系统上搭建storm分布式应用集群的系统及方法
本专利技术涉及计算机领域，尤其涉及一种K-UX3.0操作系统上搭建storm分布式应用集群的系统及方法。
技术介绍
数据的价值随着时间的流逝而降低，所以事件出现后必须尽快地对它们进行处理，最好数据出现时便立刻对其进行处理，发生一个事件进行一次处理，而不是缓存起来成一批处理。Storm技术大大简化了并行实时数据处理，可以使开发人员可以快速地搭建一套健壮、易用的实时流处理框架，配合SQL产品、NoSQL产品或者MapReduce计算平台，就可以低成本地做出很多以前很难想象的实时产品。K-UX3.0操作系统是通过Unix03认证的主机操作系统，K-UX操作系统具有广泛的兼容性，基于X86架构，64路服务器，具有较高的数据处理能力。但是，如何将Storm技术搭建在K-UX3.0操作系统上是当前丞待解决的技术问题。
技术实现思路
为了克服上述现有技术中的不足，本专利技术提供一种搭建storm分布式应用集群系统，包括：终端访问层、应用层和数据层；终端访问层与应用层通过网络进行连接通信，终端访问层通过ssh协议远程连接操作系统以及远程控制Storm应用平台；应用层通过MQ、Socket通信、前端系统业务数据获取API，或者Log监控，并从数据层获取数据，经过Storm实时处理写入数据；数据层包括：数据库。优选地，终端访问层包括多个终端客户机，每个终端客户机通过VPN网络访问应用层，每个终端客户机通过应用层连接集群应用服务器，远程管理Strom平台，查看集群服务器的部署方式、主节点和工作节点的分配情况、运行状态、处理的拓扑数据、任务运行相关日志，同时终端客户机针对某一拓扑任务进行访问、数据处理、用户注册操作，终端客户机通过远程管理Strom平台进行远程控制。优选地，应用层由N+1个节点组成，其中用一个节点部署在Nimbus服务器上，N个节点部署在Supervisor服务器上，同时所有节点上部署Zookeeper集群，实现对Storm集群的一致性管理，增强Storm集群的可靠性和可伸缩性；数据层包含数据接入层和数据落地层两部分，数据接入层采用MQ、或Socket通信、或前端系统业务数据，获取API或者Log监控方式的源数据流，数据落地层采用HDFS、或Mysql的数据存储设备。优选地，应用层所有节点部署在Zookeeper集群，用于记录Storm集群服务器的运行状态、协调数据存储，Nimbus服务器通过Zookeeper协调supervisor服务器，进行代码分发任务分配，实现对Storm集群的一致性管理，增强Storm集群的可靠性和可伸缩性。一种K-UX3.0操作系统上搭建storm分布式应用集群的方法，方法包括：搭建Zookeeper集群；在集群内的每台服务器上安装Java和Python依赖；搭建Storm集群。优选地，搭建Zookeeper集群步骤包括：在每台服务器上安装Zookeeper，创建Zookeeper的data目录和log目录；在Data目录下建立zk集群的myid文件，编辑myid文件，并在对应的IP的服务器上输入对应的编号；将conf目录下的zoo_sample.cfg文件拷贝一份，命名为为zoo.cfg，修改zoo.cfg配置文件；将zk的bin目录路径加入环境变量，使其生效。优选地，在集群内的每台服务器上安装Java和Python依赖步骤包括：集群内每台服务器上安装Java和Python依赖，将Jdk和Python文件分别解压到相应目录，并且配置环境变量，将bin目录加载到path中，使其生效。优选地，搭建Storm集群步骤包括：Nimbus服务器和Supervisor服务器上分别安装Storm，创建一个Storm的本地数据目录，将Storm的bin目录加入系统路径，使其生效；分别配置Nimbus服务器和Supervisor服务器集群上的conf/storm.yaml文件。从以上技术方案可以看出，本专利技术具有以下优点：搭建storm分布式应用集群系统通过SSH标准协议连接K-UX操作系统，64路服务器的N+1个节点上部署Storm集群，包括终端访问层、应用层和数据层，三层通过局域网进行连接通信。终端访问层与应用层通过局域网进行连接通信，通过ssh协议远程连接操作系统，远程控制Storm应用平台。应用层通过MQ、Socket通信、前端系统业务数据获取API或者Log监控等方式从数据接入层获取数据，经过Storm实时处理系统处理之后写入数据落地层，数据接入层可以是数据库，也可以是其他存储或应用。通过K-UX3.0操作系统比Linux系统安全可靠，能够提升Storm集群的安全性和稳定性。通过在64路服务器的最大支持64个节点，在此平台上搭建Storm集群可以节省更多空间。K-UX操作系统可以通过BMC管理软件统一管理，提高提供整个Storm集群的管理能力。附图说明为了更清楚地说明本专利技术的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为K-UX3.0操作系统上搭建storm分布式应用集群的系统的整体示意图；图2为K-UX3.0操作系统上搭建storm分布式应用集群的系统集群结构图；图3为K-UX3.0操作系统上搭建storm分布式应用集群的方法流程图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将运用具体的实施例及附图，对本专利技术保护的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部的实施例。基于本专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利保护的范围。本实施例提供一种K-UX3.0操作系统上搭建storm分布式应用集群的系统，如图1，图2所示，包括：终端访问层1、应用层2和数据层3；终端访问层1与应用层2通过网络进行连接通信，终端访问层1通过ssh协议远程连接操作系统以及远程控制Storm应用平台；应用层2通过MQ、Socket通信、前端系统业务数据通信，获取API，或者Log监控，并通过Storm实时对数据层3进行数据处理；数据处理方式包括：数据写入，数据修改，数据编辑，数据追加编辑，数据删除等等。数据层包括：数据库。本实施例中，终端访问层包括多个终端客户机，每个终端客户机通过VPN网络访问应用层，每个终端客户机通过应用层连接集群应用服务器，远程管理Strom平台，查看集群服务器的部署方式、主节点和工作节点的分配情况、运行状态、处理的拓扑数据、任务运行相关日志，同时终端客户机针对某一拓扑任务进行访问、数据处理、用户注册操作，终端客户机通过远程管理Strom平台进行远程控制。应用层由N+1个节点组成，其中用一个节点部署在Nimbus服务器上，N个节点部署在Supervisor服务器上，同时所有节点上部署Zookeeper集群，实现对Storm集群的一致性管理，增强Storm集群的可靠性和可伸缩性；数据层包含数据接入层和数据落地层两部分，数据接入层采用MQ、或So本文档来自技高网...

【技术保护点】
一种K‑UX3.0操作系统上搭建storm分布式应用集群的系统，其特征在于，包括：终端访问层、应用层和数据层；终端访问层与应用层通过网络进行连接通信，终端访问层通过ssh协议远程连接操作系统以及远程控制Storm应用平台；应用层通过MQ、Socket通信、前端系统业务数据获取API，或者Log监控，并从数据层获取数据，经过Storm实时处理写入数据；数据层包括：数据库。

【技术特征摘要】
1.一种K-UX3.0操作系统上搭建storm分布式应用集群的系统，其特征在于，包括：终端访问层、应用层和数据层；终端访问层与应用层通过网络进行连接通信，终端访问层通过ssh协议远程连接操作系统以及远程控制Storm应用平台；应用层通过MQ、Socket通信、前端系统业务数据获取API，或者Log监控，并从数据层获取数据，经过Storm实时处理写入数据；数据层包括：数据库。2.根据权利要求1所述的K-UX3.0操作系统上搭建storm分布式应用集群的系统，其特征在于，终端访问层包括多个终端客户机，每个终端客户机通过VPN网络访问应用层，每个终端客户机通过应用层连接集群应用服务器，远程管理Strom平台，查看集群服务器的部署方式、主节点和工作节点的分配情况、运行状态、处理的拓扑数据、任务运行相关日志，同时终端客户机针对某一拓扑任务进行访问、数据处理、用户注册操作，终端客户机通过远程管理Strom平台进行远程控制。3.根据权利要求1所述的K-UX3.0操作系统上搭建storm分布式应用集群的系统，其特征在于，应用层由N+1个节点组成，其中用一个节点部署在Nimbus服务器上，N个节点部署在Supervisor服务器上，同时所有节点上部署Zookeeper集群，实现对Storm集群的一致性管理；数据层包含数据接入层和数据落地层两部分，数据接入层采用MQ、或Socket通信、或前端系统业务数据，获取API或者Log监控方式的源数据流，数据落地层采用HDFS、或Mysql的数据存储设备。4.根据权利要求3所述的K-UX3.0操作系统上搭建storm分布式应用集群的系统，其特征在于，应用层所有节点部署在Zookeeper集群，用于记录Storm集群服务器的运行状态、协调数据存...

【专利技术属性】
技术研发人员：刘景洋，赵波，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41