监控实时流计算平台的方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术公开了一种监控实时流计算平台的方法、装置、电子设备和存储介质，方法包括：通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，如果获取运行状态信息失败，则通过调用Storm上的RPC服务端获取Storm的运行状态信息，如果获取运行状态信息失败，则通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息。本发明专利技术实施例通过以上三个渠道，按顺序依次尝试获取信息进行监控，只要有一个渠道能够获取到Storm集群和Topology的状态即可，提高了对Storm集群状态监控的查询性能和准确性，避免了监控不准的问题。

【技术实现步骤摘要】
监控实时流计算平台的方法、装置、电子设备和存储介质
本专利技术涉及互联网
，具体涉及一种监控实时流计算平台的方法、装置、电子设备和存储介质。
技术介绍
在IT监控系统中使用大量开源的中间件，比如Storm，Storm是开源的分布式、高容错的实时大数据处理平台(即实时流计算平台)，随着越来越多的场景对高延迟无法容忍，比如网站统计、推荐系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案(即流计算)的应用日趋广泛，Storm是流计算技术中的主流，Storm的核心组件包括：Nimbus、Supervisor、Topology。Nimbus是Storm的Master，负责资源分配和任务调度。一个Storm集群只有一个Nimbus。Supervisor是Storm的Slave，负责接收Nimbus分配的任务，管理所有Worker(工作进程)。Topology：业务拓扑，Storm的拓扑是对实时计算应用逻辑的封装，拓扑还可以理解成由一系列通过数据流相互关联的Spout(数据源)和Bolt组成的的拓扑结构。由于IT监控系统依赖Storm对事件进行处理，所以需要对Storm的运行状态进行集中监控和管理，并且对于Storm的状态的准确性要求非常高，Storm集群中如果一个节点出现问题，需要及时上报，否则会影响整个IT监控系统的运行。但是现有技术中对Storm集群状态监控的准确率不高，经常出现获取不到Storm运行状态信息的情况，亟待解决。
技术实现思路
本专利技术提供了一种监控实时流计算平台的方法、装置、电子设备和存储介质，通过三种不同的获取模块进行顺序验证，只要有一个模块获取到Storm集群的状态即可，保证了对Storm监控的可靠性，并提高了对Storm集群状态监控的准确性，进而确保IT监控系统的正常运行。根据本申请的一个方面，提供了一种监控实时流计算平台的方法，包括：通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，如果所述运行状态信息获取失败，则通过调用Storm上的RPC服务端的第二获取模块获取Storm的运行状态信息，如果所述运行状态信息获取失败，则通过分析Zookeeper中记录的由Storm回写的信息的第三获取模块获取Storm的运行状态信息，实现监控。可选地，该方法进一步包括：如果通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息失败，则返回无法获取到Storm的运行状态信息的失败提示。可选地，所述通过访问Storm的UI页面获取Storm的运行状态信息包括：获取Zookeeper中配置的Storm的UI页面地址信息，根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据，得到运行状态信息。可选地，所述根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据包括：根据获取的包含UI页面的IP地址和端口号的地址信息访问UI页面的RESTful接口以Storm的UI页面上展示的数据，如果RESTful接口阻塞或访问不成功，则返回StormUI无法访问的提示。可选地，所述通过调用Storm上的RPC服务端获取Storm的运行状态信息包括：启动ThriftRPC客户端，连接并调用Storm上的RPC服务端，获取Storm的运行状态信息。根据本申请的另一个方面，提供了一种监控实时流计算平台的装置，包括：第一获取模块，用于通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，第二获取模块，用于通过调用Storm上的RPC服务端获取Storm的运行状态信息，第三获取模块，用于通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息，实现监控。可选地，该装置包括：失败提示模块，用于如果所述第三获取模块获取失败，则返回无法获取到Storm的运行状态信息的失败提示。可选地，所述第一获取模块，具体用于获取Zookeeper中配置的Storm的UI页面地址信息，根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据，得到运行状态信息；所述第二获取模块具体用于启动ThriftRPC客户端，连接并调用Storm上的RPC服务端，获取Storm的运行状态信息。根据本申请的另一个方面，提供了一种电子设备，所述电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现本申请一个方面所述的方法。根据本申请的又一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请一个方面所述的方法。本专利技术实施例的监控实时流计算平台Storm的方法和装置，通过访问Storm的UI页面获取Storm的运行状态信息，如果获取失败，则通过调用Storm上的RPC服务端获取Storm的运行状态信息，如果获取失败，则通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息，实现监控，由此可知，通过三种不同的信息获取渠道进行顺序验证，只要有一个渠道获取到Storm集群的状态即可，提高了查询性能，保证了对Storm监控的可靠性以及状态监控的准确性，进而确保IT监控系统的正常运行。附图说明图1是本专利技术一个实施例的监控实时流计算平台的方法的流程图；图2是本专利技术另一个实施例的监控实时流计算平台的方法的流程示意图图3是本专利技术一个实施例的监控实时流计算平台的装置的框图；图4是本专利技术一个实施例的电子设备的结构示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。IT监控系统依赖Storm中间件对事件进行处理，所以对于Storm中间件的状态的准确性要求非常高，在集群中如果一个Storm节点存在问题，需要能够及时上报，否则会影响整个IT监控系统的运行。对此，本专利技术实施例通过三种不同的获取模块进行顺序验证，确保能够获取到Storm集群的状态信息实现监控，并且只要有一个模块能够获取到信息即可结束流程，也就是说，实际应用中，可以通过本实施例的三种获取模块中的任一种来实现对Storm集群的监控。然而单一的监控手段存在难以获取到Storm状态信息的问题，比如，使用RPC(RemoteProcedureCall，远程过程调用)框架的Thrift监控Storm集群状态时，需要使用Thrift编译Storm的源代码来获得ThriftClient相关的Java源代码，如果S本文档来自技高网...

【技术保护点】
1.一种监控实时流计算平台的方法，其特征在于，包括：/n通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，/n如果获取所述运行状态信息失败，则通过调用Storm上的RPC服务端获取Storm的运行状态信息，/n如果获取所述运行状态信息失败，则通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息，实现监控。/n

【技术特征摘要】
1.一种监控实时流计算平台的方法，其特征在于，包括：
通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，
如果获取所述运行状态信息失败，则通过调用Storm上的RPC服务端获取Storm的运行状态信息，
如果获取所述运行状态信息失败，则通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息，实现监控。


2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：如果通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息失败，则返回无法获取到Storm的运行状态信息的失败提示。


3.根据权利要求1所述的方法，其特征在于，所述通过访问Storm的UI页面获取Storm的运行状态信息包括：
获取Zookeeper中配置的Storm的UI页面地址信息，根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据，得到运行状态信息。


4.根据权利要求3所述的方法，其特征在于，所述根据获取的UI页面地址信息访问UI页面以获取Storm的UI页面上展示的数据包括：
根据获取的包含UI页面的IP地址和端口号的地址信息访问UI页面的RESTful接口以Storm的UI页面上展示的数据，
如果RESTful接口阻塞或访问不成功，则返回StormUI无法访问的提示。


5.根据权利要求1所述的方法，其特征在于，所述通过调用Storm上的RPC服务端获取Storm的运行状态信息包括：
启动ThriftRP...

【专利技术属性】
技术研发人员：蔡金鹏，蔡国兴，赵小蓉，
申请(专利权)人：北京神州泰岳软件股份有限公司，
类型：发明
国别省市：北京;11