一种监控系统及方法技术方案

本发明专利技术公开了一种监控系统和方法。该系统包括接收模块，用于接收由所述数据搜集客户端收集的服务器日志数据，所述日志数据包括所述服务器的运行参数、中间运行日志和应用日志；存储模块，用于依据模型库的配置确定所述日志数据的存储方式，并根据所述存储方式对所述日志数据进行存储；分析模块，用于根据所述日志数据的存储方式从所述模型库中选择相应类型的模型，并根据所述相应类型的模型对存储后的日志数据进行分析；监控者基于所述日志数据的分析结果进行监控。本发明专利技术提供的一种监控系统和方法，可以采集并处理多个服务器上的数据，可以在新的项目上进行复用，实现对多个服务器和多个项目进行集中监控。

【技术实现步骤摘要】
一种监控系统及方法
本专利技术涉及服务器监控领域，尤其涉及一种监控系统及方法。
技术介绍
近年，伴随着应用软件系统体系膨胀，架构的扩展，软件体系已经越来越难以把控，软件运行过程中出现的问题也越来越复杂，难以解决，而一些时延要求高的内容，甚至会因为数据的丢失造成不必要的经济损失，这就要提前监控系统，监控系统的全流程，做到无缝监控，并同时可以监控多个系统。目前的系统监控多是用shell脚本的形式，去监控系统运行状况的CPU、内存、网络、无效链接、运行日志等，一般都是单台设备监控；或者是将系统的日志存入数据库中，然后系统再对各个节点的日志进行分析。这样的方式比较简单，一般设备较少时采用，而且监控的内容也十分有限，而且监控内容一般不做更进一步存储、分析，对系统的进一步建设，指导意义有限。在新的项目做监控的时候，还需要针对特例重新开发，无法通过配置，实现复用。
技术实现思路
本专利技术的目的在于，解决现有的服务器监控
中无法同时对多台服务器进行监控，并且对新的项目做监控时需要重新开发监控系统而无法实现复用的问题，提供了一种监控系统及方法。为了实现上述目的，一方面，本专利技术提供了一种监控系统。该监控系统包括监控装置和一台或多台服务器；监控装置包括：接收模块、存储模块和分析模块；一台或多台服务器中的任一台服务器包括数据搜集客户端；接收模块，用于接收由数据搜集客户端收集的服务器日志数据，日志数据包括服务器的运行参数、中间运行日志和应用日志；存储模块，用于依据模型库的配置确定日志数据的存储方式，并根据存储方式对日志数据进行存储；分析模块，用于根据日志数据的存储方式从模型库中选择相应类型的模型，并根据相应类型的模型对存储后的日志数据进行分析；监控者基于日志数据的分析结果进行监控。优选地，数据搜集客户端采用单项传输机制将搜集的服务器日志数据传输给监控装置。优选地，存储模块具体用于：依据模型库的配置确定日志数据的存储方式为File类型，并根据File类型对日志数据进行存储；和/或依据模型库的配置确定日志数据的存储方式为Hdfs类型，并根据Hdfs类型对日志数据进行存储；和/或依据模型库的配置确定日志数据的存储方式为Redis类型，并根据Redis类型对日志数据进行存储。优选地，分析模块具体用于：根据日志数据的存储方式为File类型从模型库中选择数据库类型的模型，并根据数据库类型的模型对存储后的日志数据进行分析；根据日志数据的存储方式为Hdfs类型从模型库中选择大数据类型的模型，并根据大数据类型的模型对存储后的日志数据进行分析；根据日志数据的存储方式为Redis类型从模型库中选择内存计算类型的模型，并根据内存计算类型的模型对存储后的日志数据进行分析；监控者基于日志数据的分析结果进行监控。优选地，监控装置还包括预先建立的模型库。另一方面，本专利技术还提供了一种监控方法。该方法包括步骤：接收由数据搜集客户端搜集的服务器日志数据，日志数据包括服务器的运行参数、中间运行日志和应用日志；依据模型库的配置确定日志数据的存储方式，并根据存储方式对日志数据进行存储；根据日志数据的存储方式从模型库中选择相应类型的模型，并根据相应类型的模型对存储后的日志数据进行分析；监控者基于日志数据的分析结果进行监控。优选地，数据搜集客户端采用单项传输机制对搜集的服务器日志数据进行传输。优选地，依据模型库的配置确定日志数据的存储方式，并根据存储方式对日志数据进行存储步骤具体包括：依据模型库的配置确定日志数据的存储方式为File类型，并根据File类型对日志数据进行存储；和/或依据模型库的配置确定日志数据的存储方式为Hdfs类型，并根据Hdfs类型对日志数据进行存储；和/或依据模型库的配置确定日志数据的存储方式为Redis类型，并根据Redis类型对日志数据进行存储。优选地，根据日志数据的存储方式从模型库中选择相应类型的模型，并根据相应类型的模型对存储后的日志数据进行分析步骤具体包括：根据日志数据的存储方式为File类型从模型库中选择数据库类型的模型，并根据数据库类型的模型对存储后的日志数据进行分析；根据日志数据的存储方式为Hdfs类型从模型库中选择大数据类型的模型，并根据大数据类型的模型对存储后的日志数据进行分析；根据日志数据的存储方式为Redis类型从模型库中选择内存计算类型的模型，并根据内存计算类型的模型对存储后的日志数据进行分析。优选地，还包括预先建立模型库。本专利技术提供的一种监控系统及方法，可以采集并处理多个服务器上的数据，可以在新的项目上进行复用，实现对多个服务器和多个项目进行集中监控。附图说明图1为本专利技术实施例提供的一种监控系统的结构示意图；图2为图1中监控装置的结构示意图；图3为图2中分析模块采用的模型库中各类型的模型配置流程示意图，包括图3a、图3b和图3c：图3a为模型库中数据库类型的模型配置流程示意图，图3b为模型库中大数据类型的模型配置流程示意图，图3c为模型库中内存计算类型的模型配置流程示意图；图4为本专利技术实施例提供的一种监控方法的流程示意图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细、清楚、完整的说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的一种监控系统的结构示意图。如图1所示，该监控系统包括监控装置100和服务器1，服务器2，…，服务器n(n为正整数)，即一台或多台服务器。一台或多台服务器中的任一台服务器都包括数据搜集客户端。图2为图1中监控装置的结构示意图。如图2所示，该监控装置100包括：接收模块101、存储模块102和分析模块103。接收模块101用于接收由数据搜集客户端收集的服务器日志数据。数据搜集客户端收集的服务器日志数据包括服务器的运行参数、中间运行日志和应用日志。其中，服务器运行参数包括CPU、内存和网络参数以及无效链接等；中间运行日志包括中间件中各容器参数，堆栈参数、数据库连接参数等；应用日志包括各种操作执行的成功、失败情况，或者用户注册、登录及其他情况的异常。数据搜集客户端对服务器数据可以根据模型库的配置，只搜集经存储后可以输入模型库中的模型进行分析的数据，以减少资源的占用，避免影响服务器的性能。并采用单项传输机制将搜集的服务器日志数据传输给监控装置，因单项传输无需进行心跳检测，从而可以减少对网络的占用。例如，在每台服务器上安装的数据搜集客户端为Scribe客户端。Scribe客户端可以对任意数量的服务器的日志数据进行分布式搜集，当需要搜集对新的服务器的日志数据时，通过安装Scribe客户端即可进行扩展。而且通过Scribe客户端进行传输可以实现高容错，当存储模块的网络或者机器出现故障时，Scribe客户端会将日志转存到本地或者另一个位置，当Scribe服务器恢复后，Scribe客户端会将转存的日志重新传输给存储模块。此外，Scribe客户端对服务器日志数据的搜集不是采用抓取方式，而是采用Push方式，对CPU的占用极低。存储模块102用于依据模型库的配置确定日志数据的存储方式，并根据存储方式对日志数据进行存储。依据模型库的配置确定日志数据的存本文档来自技高网...

【技术保护点】
一种监控系统，包括监控装置和一台或多台服务器；其特征在于，所述监控装置包括：接收模块、存储模块和分析模块；所述一台或多台服务器中的任一台服务器包括数据搜集客户端；接收模块，用于接收由所述数据搜集客户端收集的服务器日志数据，所述日志数据包括所述服务器的运行参数、中间运行日志和应用日志；存储模块，用于依据模型库的配置确定所述日志数据的存储方式，并根据所述存储方式对所述日志数据进行存储；分析模块，用于根据所述日志数据的存储方式从所述模型库中选择相应类型的模型，并根据所述相应类型的模型对存储后的日志数据进行分析；监控者基于所述日志数据的分析结果进行监控。

【技术特征摘要】
1.一种监控系统，包括监控装置和一台或多台服务器；其特征在于，所述监控装置包括：接收模块、存储模块和分析模块；所述一台或多台服务器中的任一台服务器包括数据搜集客户端；接收模块，用于接收由所述数据搜集客户端收集的服务器日志数据，所述日志数据包括所述服务器的运行参数、中间运行日志和应用日志；存储模块，用于依据模型库的配置确定所述日志数据的存储方式，并根据所述存储方式对所述日志数据进行存储；分析模块，用于根据所述日志数据的存储方式从所述模型库中选择相应类型的模型，并根据所述相应类型的模型对存储后的日志数据进行分析；监控者基于所述日志数据的分析结果进行监控。2.根据权利要求1所述的监控系统，其特征在于，所述数据搜集客户端采用单项传输机制将搜集的服务器日志数据传输给所述监控装置。3.根据权利要求1所述的监控系统，其特征在于，所述存储模块具体用于：依据模型库的配置确定所述日志数据的存储方式为File类型，并根据所述File类型对所述日志数据进行存储；和/或依据模型库的配置确定所述日志数据的存储方式为Hdfs类型，并根据所述Hdfs类型对所述日志数据进行存储；和/或依据模型库的配置确定所述日志数据的存储方式为Redis类型，并根据所述Redis类型对所述日志数据进行存储。4.根据权利要求1所述的监控系统，其特征在于，所述分析模块具体用于：根据所述日志数据的存储方式为File类型从所述模型库中选择数据库类型的模型，并根据所述数据库类型的模型对存储后的日志数据进行分析；根据所述日志数据的存储方式为Hdfs类型从所述模型库中选择大数据类型的模型，并根据所述大数据类型的模型对存储后的日志数据进行分析；根据所述日志数据的存储方式为Redis类型从所述模型库中选择内存计算类型的模型，并根据所述内存计算类型的模型对存储后的日志数据进行分析；监控者基于所述日志数据的分析结果进行监控。5.根据权利要求1所述的监控系统，其特征在于，所述监控装置还包...

【专利技术属性】
技术研发人员：胡亚峰，
申请(专利权)人：杭州东方通信软件技术有限公司，
类型：发明
国别省市：浙江,33