一种无代理的数据处理系统监控与管理方法技术方案

本发明专利技术提供了一种无代理的数据处理系统监控与管理方法，包括以下环节：系统启动后，为每一个被监控计算机创建一个监控线程；每一个监控线程首先对被监控计算机进行WMI和IPC连接；按照预先设定的监控信息定时查询被监控计算机的WMI存储库中的数据表并获取信息，每个监控线程通过IPC连接定时访问被监控计算机的数据处理进程所产生的日志文件；每个监控线程将获取到的监控信息以及日志文件进行显示，并对监控信息及日志文件进行数值判断和分析，如果状态信息异常或者超过一定阈值，则显示告警信息。本发明专利技术实现了“无代理”的监控方式，无论多大规模的网络，仅需在任一台计算机上配置和部署监控系统即可，部署和监控方式简单有效。

【技术实现步骤摘要】

本专利技术涉及一种计算机数据处理系统监控方法。
技术介绍
对于某些结构和功能较为复杂的处理系统，对性能要求较高，监控系统不能影响节点的性能，并能够开启和关闭所有节点上的数据处理进程，除此之外，每个处理节点的监控要求是不同，按照处理流程分别说明如下I)数据缓存节点。通过网络接收外部数据到缓存区，并从缓存区中取出数据发送给下一个节点，要求接收速度稳定平滑，波动较小。要求监控系统能定时监控此节点的网络输入输出速度，以及CPU、内存、硬盘的状态信息； 2)数据预处理节点。接收来自缓存节点的数据，将数据分类并进行格式化处理，处理完毕后按照分类存储到磁盘，并同时按照数据类型分发送给一个集群解压缩系统。要求监控系统能够定时监控此节点的不同数据类型的网络输出速度、节点的CPU及内存占有量、磁盘空间余量，并能够显示预处理进程产生的日志信息；3)集群解压缩节点。接收来自预处理节点的数据，分类解压缩后存储并发送给下一个节点，由若干台服务器通过松散耦合方式的连接组成集群服务器，来并行处理解压缩任务，根据解压缩性能需求的变化，服务器数量是可扩展的，集群解压缩节点执行任务期间处于高负荷运行，CPU和I/O系统都处于较高的占有率。要求监控系统不能影响其性能，并能随着集群服务器数量变化而灵活配置，监控系统需要定时监控每台服务器的CPU、内存、磁盘余量，能够显示每台服务器上的解压缩进程产生的日志信息；4)数据显示节点。接收集群解压缩节点的解压缩数据，并将其图像进行显示，按照灵活性要求，所有数据类型既可以一台PC机上显示，也可以在多台PC机上显示。要求监控系统能够显示节点进程产生的日志信息，并在无需修改的情况下，能够监控多个显示节点。总体而言，监控系统所要实现的功能包括监控CPU、内存、磁盘、网络接口资源利用率，启动和关闭每个节点的进程以及显示日志信息。此外，要求监控系统不能影响节点的性能，并能满足节点个性化的监控需求。针对计算机CPU、内存、磁盘及网络接口的监控，众所周知，目前的监控方式是一种基于“代理”的入侵式监控架构，所谓的“代理”就是在被监控计算机上安装的一种额外的软件或服务，对被监控的计算机而言就是一种入侵，在安装并配置好“代理”后，这些“代理”会通过本地操作系统获取监控信息，定时或不定时的通过网络向控制台发送监控信息。图I是基于“代理”的监控方法的原理图。从图I中可以看出，应用“代理”方式进行某遥感数据处理系统监控时，不能很好的满足监控需求，具体表现在I)无法满足不影响系统性能的需求。代理程序往往以较低的优先级和较少的资源消耗在后台运行，正常情况下对计算机的影响很小，但当系统处于高负荷运转时，对“代理”的活动变得敏感，容易引起系统的性能波动，如果“代理”本身存在缺陷，则会严重影响性能并导致监控管理失败；2)部署、配置以及维护和升级困难。随着数据处理系统规模的扩展，每个节点的每台服务器都要安装“代理”并设定监控信息，特别是每台服务器的监控需求不同时，设置监控信息的工作量巨大。在升级和维护时，如果监控信息类型发生变化，那么需要同时修改主监控和监控代理，花费时间多，灵活性差，维护成本高；3)监控系统的设计较为复杂。复杂性主要体现在主监控和代理的通信协议设计上，主监控需要首先对被监控目标进行网络连接，然后按照预定格式封装监控和管理指令，最后通过网络发送给代理，代理在接收到指令后，要根据预定协议解析指令，在指令执行完毕后，按照协议给主监控发送回复，由于整个监控常常是短时的定时机制，所以导致网络通信频繁。目前的数据处理监控系统不能很好的满足需求，需要设计有针对性的监控和管理系统。
技术实现思路
本专利技术构建了一种轻量级的监控与管理系统，是一种无代理非入侵式的监控与管理方法，仅在一台与数据处理系统互联互通的PC机上部署和运行即可，监控和管理简单有效，无论是配置、运行、维护还是升级都仅在这一台PC上进行，并满足所有监控需求；克服了
技术介绍
基于代理的监控方法存在的缺点。本专利技术的方案是基于以下研究分析得出的。Windows98及后续版本的Windows操作系统都支持WMI特性，即WindowsManagement Instrumentation (Windows 管理规范)。WMI 是 Windows 操作系统的一部分，也是一项核心的Windows管理技术,WMI作为一种规范和基础结构,通过它可以访问、配置、管理和监视几乎所有的Windows资源，比如用户可以在远程计算机器上启动一个进程；设定一个在特定日期和时间运行的进程；远程启动计算机；获得本地或远程计算机的已安装程序列表；查询本地或远程计算机的Windows事件日志等等。IPC是进程间通信机制，它和WMI机制一样，都是操作系统的一部分，操作系统提供了这两种机制的调用接口。相互通信的进程可以不在同一台计算机上，利用IPC可以建立两台计算机之间的连接通道，通过IPC机制将远程机器的日志文件所在的共享文件夹映射到监控计算机上，监控计算机就可以像访问本地文件夹一样访问映射文件夹，从而能够访问日志文件,并将日志文件的信息显示在监控台上。本专利技术提出的基本方案如下，包括以下环节I)在主监控计算机上配置每个监控对象的计算机名称、登录用户名、密码和被监控的信息列表；2)系统启动后，为每一个被监控计算机创建一个监控线程；3 )每一个监控线程首先对被监控计算机进行WMI和IPC连接；3)每一个监控线程连接WMI和IPC后，按照预先设定的监控信息定时查询被监控计算机的WMI存储库中的数据表并获取信息，每个监控线程通过IPC连接定时访问被监控计算机的数据处理进程所产生的日志文件；4)每个监控线程将获取到的监控信息以及日志文件以图、表格或者文字的方式进行显示，同时，对监控信息及日志文件进行数值判断和分析，如果状态信息异常或者超过一定阈值，则显示告警信息；5)监控结束，每个线程分别 关闭被监控计算机的丽I和IPC连接。基于上述基本技术方案，本专利技术还可以作以下优化改进针对多台被监控计算机，在初始化COM并设置COM授权后，创建多个监控线程，对各台被监控计算机的WMI进行连接并为WMI访问设置授权许可，并通过IPC访问文件。在为WMI访问设置授权许可后，还建立有定时机制循环获取监控信息。本专利技术具有以下优点无论从监控技术上，还是从监控流程结构上，本专利技术所采用的方法实现了 “无代理”的监控方式，无论多大规模的网络，仅需在任一台计算机上配置和部署监控系统即可，部署和监控方式简单有效，无论是配置、部署、运行、维护还是升级系统，都仅在一台计算机上进行，克服了基于代理的监控方法的缺点。本专利技术所提出的监控系统实现方法适用于任何基于局域网的高性能并行计算系统或并行事务处理系统。本专利技术根据遥感数据地面处理系统的监控需求实现了通过多线程机制访问丽I接口，实现各个处理节点的CPU、内存、磁盘、网络的状态监控，通过WMI实现各个节点进程的开启和关闭，可利用进程间通信技术(IPC)访问节点上的日志文件并进行显示。附图说明图I是基于“代理”网络监控结构示意图。图2示出了几种常见的可通过WMI访问的信息类型。图3为丽I的体系结构示意图。图4为本专利技术基于丽I的特性的网络监控结构示意图。图5为本专利技术的主监控流程示意图。具体实施例方式本专利技术为解决传统监本文档来自技高网...

【技术保护点】
一种无代理的数据处理系统监控与管理方法，包括以下环节：1）在主监控计算机上配置每个监控对象的计算机名称、登录用户名、密码和被监控的信息列表；2）系统启动后，为每一个被监控计算机创建一个监控线程；3）每一个监控线程首先对被监控计算机进行WMI和IPC连接；3）每一个监控线程连接WMI和IPC后，按照预先设定的监控信息定时查询被监控计算机的WMI存储库中的数据表并获取信息，每个监控线程通过IPC连接定时访问被监控计算机的数据处理进程所产生的日志文件；4）每个监控线程将获取到的监控信息以及日志文件以图、表格或者文字的方式进行显示，同时，对监控信息及日志文件进行数值判断和分析，如果状态信息异常或者超过一定阈值，则显示告警信息；5）监控结束，每个线程分别关闭被监控计算机的WMI和IPC连接。

【技术特征摘要】

【专利技术属性】
技术研发人员：李然，陈小来，刘学斌，胡炳樑，李芸，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：