基于Kafka的服务进程可视化监控与管理的方法及装置制造方法及图纸

本发明专利技术提供一种基于Kafka的服务进程可视化监控与管理的方法及装置，其中，方法包括：接收用户提供的端口信息，并将端口信息存入mysql数据库；根据端口信息，基于预设的刷新时间间隔，向业务平台的各个节点进行查询扫描，获取端口信息对应的端口的状态信息；将状态信息写入Kafka主题进行存储；基于端口状态信息和秒级的时间信息对服务进程进行监控及管理；基于端口状态信息和秒级的时间信息，制成可视化图像并显示。本发明专利技术的基于Kafka的服务进程可视化监控与管理的方法，基于Kafka进行设计，具有高实时性与容错性。可自动化恢复进程，减少维护人员的操作成本，提供进程级别的监控告警，为用户对庞大而复杂的业务平台进行异常定位提供了极大的便利。位提供了极大的便利。位提供了极大的便利。

【技术实现步骤摘要】
基于Kafka的服务进程可视化监控与管理的方法及装置


[0001]本专利技术涉及监控与管理
，特别涉及一种基于Kafka的服务进程可视化监控与管理的方法、装置、计算机设备及存储介质。

技术介绍

[0002]目前，任何IT处理业务往往需要庞大且复杂的服务平台来支持。以大数据处理为例，数据在抽取、计算、传输、存储与加载等过程中会依赖多个大数据组件，例如Hadoop、Spark、HBase、Flume和Zookeeper等,每个组件都具有至少一种服务端口。只有这些端口所在的服务进程全部正常，才能保证整个处理流程执行完整。而目前，大部分服务组件不具备进程的监控界面，因此服务的异常终止往往不能被维护人员第一时间感知，需要一系列排查才能找到死亡的服务进程，增大了问题定位的成本。因此，实现一种高实时性、可视化的进程监控管理，可以使问题定位与处理更加便捷，减少运维成本。

技术实现思路

[0003]本专利技术目的之一在于提供了一种基于Kafka的服务进程可视化监控与管理的方法，基于Kafka进行设计，具有高实时性与容错性。同时提供前端模块，用户可进行可视化监控与便捷的操作。可自动化恢复进程，减少维护人员的操作成本，提供进程级别的监控告警，为用户对庞大而复杂的业务平台进行异常定位提供了极大的便利。
[0004]本专利技术实施例提供的一种基于Kafka的服务进程可视化监控与管理的方法，包括：
[0005]接收用户提供的端口信息，并将所述端口信息存入mysql数据库；
[0006]根据所述端口信息，基于预设的刷新时间间隔，向业务平台的各个节点进行查询扫描，获取所述端口信息对应的端口的状态信息；
[0007]将所述状态信息写入Kafka主题进行存储；
[0008]在每次查询扫描时，都会产生一个秒级的时间信息，将所述秒级的时间信息与所述状态信息对应存储；
[0009]从所述Kafka主题中获取存储的所述状态信息和所述秒级的时间信息；
[0010]基于所述端口状态信息和所述秒级的时间信息对服务进程进行监控及管理；
[0011]基于所述端口状态信息和所述秒级的时间信息，制成可视化图像并显示。
[0012]优选的，所述端口信息包括：监控的目标服务端口、端口所在的主机节点、服务的启动命令以及信息刷新的时间间隔其中一种或多种结合。
[0013]优选的，状态信息包括：端口的对应进程号、进程状态与父进程的信息列表。
[0014]优选的，所述基于所述端口状态信息和所述秒级的时间信息对服务进程进行监控及管理；包括：
[0015]当端口的进程信息为空时，发出监控告警，同时尝试执行所述端口的启动命令；
[0016]当所述进程状态为空时，则杀死所述进程及对应的父进程，执行端口的启动命令。
[0017]优选的，基于Kafka的服务进程可视化监控与管理的方法，还包括：
[0018]在显示端口的进程信息时，还接收用户对于所述进程的操作指令；
[0019]执行所述操作指令；
[0020]其中，所述操作指令包括：重启或杀死。
[0021]本专利技术还提供一种基于Kafka的服务进程可视化监控与管理的装置，包括：
[0022]WEB模块，用于接收用户提供的端口信息，并将所述端口信息存入mysql数据库；
[0023]进程采集器，用于根据所述端口信息，基于预设的刷新时间间隔，向业务平台的各个节点进行查询扫描，获取所述端口信息对应的端口的状态信息；将所述状态信息写入Kafka主题进行存储；在每次查询扫描时，都会产生一个秒级的时间信息，将所述秒级的时间信息与所述状态信息对应存储；
[0024]进程控制器，用于从所述Kafka主题中获取存储的所述状态信息和所述秒级的时间信息；基于所述端口状态信息和所述秒级的时间信息对服务进程进行监控及管理；
[0025]WEB模块，还用于基于所述端口状态信息和所述秒级的时间信息，制成可视化图像并显示。
[0026]优选的，端口信息包括：监控的目标服务端口、端口所在的主机节点、服务的启动命令以及信息刷新的时间间隔其中一种或多种结合。
[0027]优选的，状态信息包括：端口的对应进程号、进程状态与父进程的信息列表。
[0028]优选的，所述进程控制器基于所述端口状态信息和所述秒级的时间信息对服务进程进行监控及管理；包括：
[0029]当端口的进程信息为空时，发出监控告警，同时尝试执行所述端口的启动命令；
[0030]当所述进程状态为空时，则杀死所述进程及对应的父进程，执行端口的启动命令。
[0031]优选的，WEB模块还用于在显示端口的进程信息时，还接收用户对于所述进程的操作指令；执行所述操作指令；其中，所述操作指令包括：重启或杀死。
[0032]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0033]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
附图说明
[0034]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0035]图1为本专利技术实施例中一种基于Kafka的服务进程可视化监控与管理的方法的示意图；
[0036]图2为本专利技术实施例中一种基于Kafka的服务进程可视化监控与管理的系统的示意图。
具体实施方式
[0037]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0038]本专利技术实施例提供了一种基于Kafka的服务进程可视化监控与管理的方法，如图1
所示，包括：
[0039]步骤S1：接收用户提供的端口信息，并将所述端口信息存入mysql数据库；
[0040]步骤S2：根据所述端口信息，基于预设的刷新时间间隔，向业务平台的各个节点进行查询扫描，获取所述端口信息对应的端口的状态信息；
[0041]步骤S3：将所述状态信息写入Kafka主题进行存储；
[0042]步骤S4：在每次查询扫描时，都会产生一个秒级的时间信息，将所述秒级的时间信息与所述状态信息对应存储；
[0043]步骤S5：从所述Kafka主题中获取存储的所述状态信息和所述秒级的时间信息；
[0044]步骤S6：基于所述端口状态信息和所述秒级的时间信息对服务进程进行监控及管理；
[0045]步骤S7：基于所述端口状态信息和所述秒级的时间信息，制成可视化图像并显示。
[0046]上述技术方案的工作原理及有益效果为：
[0047]提供了可视化操作界面，用户可编辑设置要监控的端口以及各个参数，包括刷新时间、需要监控的主机节点的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Kafka的服务进程可视化监控与管理的方法，其特征在于，包括：接收用户提供的端口信息，并将所述端口信息存入mysql数据库；根据所述端口信息，基于预设的刷新时间间隔，向业务平台的各个节点进行查询扫描，获取所述端口信息对应的端口的状态信息；将所述状态信息写入Kafka主题进行存储；在每次查询扫描时，都会产生一个秒级的时间信息，将所述秒级的时间信息与所述状态信息对应存储；从所述Kafka主题中获取存储的所述状态信息和所述秒级的时间信息；基于所述端口状态信息和所述秒级的时间信息对服务进程进行监控及管理；基于所述端口状态信息和所述秒级的时间信息，制成可视化图像并显示。2.如权利要求1所述的基于Kafka的服务进程可视化监控与管理的方法，其特征在于，所述端口信息包括：监控的目标服务端口、端口所在的主机节点、服务的启动命令以及信息刷新的时间间隔其中一种或多种结合。3.如权利要求1所述的基于Kafka的服务进程可视化监控与管理的方法，其特征在于，所述状态信息包括：端口的对应进程号、进程状态与父进程的信息列表。4.如权利要求1所述的基于Kafka的服务进程可视化监控与管理的方法，其特征在于，所述基于所述端口状态信息和所述秒级的时间信息对服务进程进行监控及管理；包括：当端口的进程信息为空时，发出监控告警，同时尝试执行所述端口的启动命令；当所述进程状态为空时，则杀死所述进程及对应的父进程，执行端口的启动命令。5.如权利要求1所述的基于Kafka的服务进程可视化监控与管理的方法，其特征在于，还包括：在显示端口的进程信息时，还接收用户对于所述进程的操作指令；执行所述操作指令；其中，所述操作指令包括：重启或杀死。6.一种基于Kafka的服务进程可视化监控与管理的装置，...

【专利技术属性】
技术研发人员：和思扬，陶钰昕，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：