一种基于Storm的任务可视化上传及启动方法技术

本发明专利技术公开了一种基于Storm的任务可视化上传及启动方法，所述方法基于B/S结构，以网站的形式展现其功能，通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动。本发明专利技术能很好的解决C/S结构的缺点，客户端只需要安装有WEB浏览器即可，维护成本几乎为零，基于浏览器，友好的UI体验，无需安装软件，可随时随地使用，更新功能只需要更新服务端程序即可，客户总能使用应用的当前最新版本，无须手动升级，由于数据持久储存在云端，无须担心丢失，极具推广价值。

【技术实现步骤摘要】

本专利技术涉及计算机软件应用
，具体涉及一种基于Storm的任务可视化上传及启动方法，具体说是一种能够让Storm中的任务上传及启动实现可视化操作，在完成传统的命令行执行相关操作的同时，能给用户带来更友好的用户体验。
技术介绍
当今世界，公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据，网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。考虑到数据的生成量，实时处理成为了许多机构需要面对的首要挑战。我们经常用的一个非常有效的开源实时计算工具就是Storm，通常被比作“实时的Hadoop”。然而Storm远比Hadoop来的简单，因为用它处理大数据不会带来新老技术的交替，而它对数据的实时处理特性更是Hadoop办不到的。Storm是由专业数据分析公司BackType开发的一个分布式实时数据处理软件，可以简单、高效、可靠地处理大量的数据流。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Topology是Storm中运行的一个实时应用程序，因为各个组件间的消息流动形成逻辑上的一个拓扑结构，一个Topology是Spouts和Bolts组成的图状结构。原生Storm管理页面只能提供Topology的查看功能，用户无法完成上传及启动任务操作。用户仅能通过命令行或API的形式完成任务的相关操作，增大了用户使用Storm的难度。
技术实现思路
本专利技术要解决的技术问题是：本专利技术针对以上问题，提供一种基于Storm的任务可视化上传及启动方法。本专利技术所采用的技术方案为：一种基于Storm的任务可视化上传及启动方法，所述方法基于B/S结构，以网站的形式展现其功能，通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动，其中：服务端：通过Swift技术完成Storm任务的上传，采用Shell脚本语言作为后台逻辑处理语言，完成任务启动；客户端：采用JavaScript技术完成Storm任务的可视化上传及启动操作；整个界面清晰美观，操作简单，方便用户使用。所述方法基于一种弹性伸缩的Storm集群模式，该模式通过Zookeeper管理Storm，完成集群搭建，集群由三类节点组组成，其中：一类节点组安装Zookeeper、Nimbus、HealthMonitor三种组件，完成Storm集群的master节点建立，此节点组仅需一台虚机，完成集群监控管理功能即可；另一类节点组安装Zookeeper、Supervisor两种组件，实现流式计算服务功能；最后一类节点组为弹性升级而设计，仅安装Supervisor组件，实时加入集群。所述方法实施步骤如下：服务端：采用Shell语言完成任务的下载及启动，并对任务包进行检测，将检测结果返回给前台；客户端：通过Javascript技术实现页面展现，调用Swift实现任务包的上传；接收后台对任务包的检测结果，并进行可视化展现，具体步骤如下：步骤1，通过Javascript技术实现上传页面展现，支持zip,war,jar三种任务包格式，用户填写主类路径后，调用Swift实现任务包的上传；步骤2，后台使用Shell脚本语言进行逻辑处理，先下载前台上传的任务包并命名，调用Storm命令完成任务启动并检测，对检测结果分析，将失败信息详情返回前台；步骤3，前台通过Javascript接收后台传回的启动信息数据，并可视化展现。本专利技术的有益效果为：本专利技术能很好的解决C/S结构的缺点，客户端只需要安装有WEB浏览器即可，维护成本几乎为零，基于浏览器，友好的UI体验，无需安装软件，可随时随地使用，更新功能只需要更新服务端程序即可，客户总能使用应用的当前最新版本，无须手动升级，由于数据持久储存在云端，无须担心丢失，极具推广价值。附图说明图1为本专利技术Storm集群结构示意图。具体实施方式下面根据说明书附图，结合具体实施方式对本专利技术进一步说明：实施例1：一种基于Storm的任务可视化上传及启动方法，所述方法基于B/S结构，以网站的形式展现其功能，通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动，其中：服务端：通过Swift技术完成Storm任务的上传，采用Shell脚本语言作为后台逻辑处理语言，完成任务启动；客户端：采用JavaScript技术完成Storm任务的可视化上传及启动操作；整个界面清晰美观，操作简单，方便用户使用。实施例2如图1所示，在实施例1的基础上，本实施例所述方法基于一种弹性伸缩的Storm集群模式，该模式通过Zookeeper管理Storm，完成集群搭建，集群由三类节点组组成，其中：一类节点组安装Zookeeper、Nimbus、HealthMonitor三种组件，完成Storm集群的master节点建立，此节点组仅需一台虚机，完成集群监控管理功能即可；另一类节点组安装Zookeeper、Supervisor两种组件，实现流式计算服务功能；最后一类节点组为弹性升级而设计，仅安装Supervisor组件，实时加入集群。实施例3在实施例2的基础上，本实施例所述方法实施步骤如下：服务端：采用Shell语言完成任务的下载及启动，并对任务包进行检测，将检测结果返回给前台；客户端：通过Javascript技术实现页面展现，调用Swift实现任务包的上传；接收后台对任务包的检测结果，并进行可视化展现，具体步骤如下：步骤1，通过Javascript技术实现上传页面展现，支持zip,war,jar三种任务包格式，用户填写主类路径后，调用Swift实现任务包的上传；步骤2，后台使用Shell脚本语言进行逻辑处理，先下载前台上传的任务包并命名，调用Storm命令完成任务启动并检测，对检测结果分析，将失败信息详情返回前台；步骤3，前台通过Javascript接收后台传回的启动信息数据，并可视化展现。所述Shell脚本关键代码如下：wget-o$jarname$2newjarname=`echo\$jarname\.1`/opt/apache-storm-0.10.0/bin/stormjar/root/service/package/coms/Nimbus/action/$newjarname$3$4>startlog2>&1grep-q\Error:Couldnotfindorloadmainclass\startlog&&abnormal1=false||abnormal1=truegrep-q\alreadyexists\startlog&&abnormal2=false||abnormal2=truegrep-v\b.s.u.Utils\startlog|sed's/\//g'|sed's/\\n\\r//g'>errloggrep-q\Exception\errlog&&abnormal3=false||abnormal3=truemsg=`caterrlog`if[$abnorma本文档来自技高网...

【技术保护点】
一种基于Storm的任务可视化上传及启动方法，其特征在于，所述方法基于B/S结构，以网站的形式展现其功能，通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动，其中：服务端：通过Swift技术完成Storm任务的上传，采用Shell脚本语言作为后台逻辑处理语言，完成任务启动；客户端：采用JavaScript技术完成Storm任务的可视化上传及启动操作；整个界面清晰美观，操作简单，方便用户使用。

【技术特征摘要】
1.一种基于Storm的任务可视化上传及启动方法，其特征在于，所述方法基于B/S结构，以网站的形式展现其功能，通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动，其中：服务端：通过Swift技术完成Storm任务的上传，采用Shell脚本语言作为后台逻辑处理语言，完成任务启动；客户端：采用JavaScript技术完成Storm任务的可视化上传及启动操作；整个界面清晰美观，操作简单，方便用户使用。2.根据权利要求1所述的一种基于Storm的任务可视化上传及启动方法，其特征在于，所述方法基于一种弹性伸缩的Storm集群模式，该模式通过Zookeeper管理Storm，完成集群搭建，集群由三类节点组组成，其中：一类节点组安装Zookeeper、Nimbus、HealthMonitor三种组件，完成Storm集群的master节点建立，此节点组仅需一台虚机，完成集群监控管理功能即可；另一类节点组...

【专利技术属性】
技术研发人员：魏金雷，王阳，赵明超，高传集，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南;41