一种网络服务监控系统技术方案

本发明专利技术实施例提供的网络服务监控系统，涉及网络技术领域，监控指标多样化，支持异构网络服务的监控，能够适应复杂多样的网络服务环境及实时获取监控数据并根据监控数据，生成相应的告警信息，提高了监控系统的兼容性、实时性及系统吞吐量。

A network service monitoring system

The network service monitoring system provided by the embodiment of the invention relates to the field of network technology, with various monitoring indexes, supports the monitoring of heterogeneous network services, can adapt to the complex and diverse network service environment, obtain monitoring data in real time, generate corresponding alarm information according to the monitoring data, and improve the compatibility, real-time performance and system throughput of the monitoring system.

【技术实现步骤摘要】
一种网络服务监控系统
本专利技术涉及网络
，具体涉及一种网络服务监控系统。
技术介绍
随着信息技术的不断发展，各种网络在生活和工作方面成为不可或缺的工具。而网络带宽情况复杂多变，如何对各种复杂网络服务进行有效合理的监控一直是存在的问题。目前的网络服务监控系统大都存在以下缺陷：(1)监控指标单一，无法反映当前网络服务的真实状态；(2)监控网络服务类型单一，无法适应复杂多样的网络服务环境；(3)采集数据存在延时，不能实时获取监控数据。
技术实现思路
为解决现有技术的不足，本专利技术实施例提供了一种网络服务监控系统，该系统包括：采集模块，用于通过数据特征判断网络服务的类型并根据所述类型，对所述网络服务进行分类埋点并采集不同的监控数据，将所述监控数据转换为json格式的数据并将所述监控数据发送至kafka消息队列；服务模块，用于利用微服务架构及restful接口，从kafka消息队列接收所述监控数据，根据监控数据判断网络服务的类型并将所述网络服务的类型写入所述监控数据中，将数据保存到存储模块；分析模块，用于实时从所述存储模块中读取监控数据并利用sparkstreaming流式大数据实时分析平台对所述监控数据进行实时分析，生成相应的分析数据并实时根据预置的告警规则，生成告警信息。优选地，所述采集模块，还用于利用面向切面编程技术，采集监控数据并对获取的数据进行反向分析。优选地，所述服务模块，还用于丢弃转换失败的监控数据，将所述监控数据的接收时间、重要程度及最短保存时间写入所述监控数据中。优选地，所述分析数据包括网络服务的状态、耗时、链路调用关系、调用拓扑图、日志及系统吞吐量。本专利技术实施例提供的网络服务监控系统具有以下有益效果：(1)零侵入所有环节对开发者零侵入，开发者无需关心监控实现细节，无需在代码开发中引入任何和监控相关的代码逻辑。(2)支持异构网络服务采集模块根据采集的监控数据的类型，将服务分成单体应用、RPC服务、Restful服务、消息队列服务、数据库服务、缓存服务，支持混合模式下的数据采集。(3)实时性该系统所有环节均考虑到实时性，实现服务调用后，可实时获取网络服务的状态、耗时、链路调用关系、拓扑、日志、系统吞吐量等信息并实时根据预设的告警规则生成告警信息。(4)高并发该系统所有环节考虑实际应用中可能产生的性能瓶颈，采取kafka消息队列、微服务等技术对大并发产生的大量数据进行削峰、弹性扩容，实现十万级并发规模的系统吞吐量。附图说明图1是本专利技术实施例提供的网络服务监控系统结构示意图。具体实施方式以下结合附图和具体实施例对本专利技术作具体的介绍。参照图1，本专利技术实施例提供的网络服务监控系统包括：采集模块，用于根据数据特征，判断网络服务的类型并根据该类型，对网络服务进行分类埋点并采集不同的监控数据，将监控数据转换为json格式的数据并将监控数据发送至kafka消息队列。其中，数据特征包括数据的类型，网络服务的类型包括单体应用、RPC服务、Restful服务、消息队列服务、数据库服务、缓存服务。服务模块，用于利用微服务架构及restful接口，从kafka消息队列接收监控数据，根据监控数据判断网络服务的类型并将网络服务的类型写入所述监控数据中，将数据保存到存储模块。作为一个具体的实施例，服务模块在接收数据时，通过注册多个微服务实例，提高接收数据的效率，缓解接收大并发监控数据时引起的性能问题。其中，存储模块在存储数据时，优先将接收到的数据保存到内存中，快速响应存储请求，为防止监控数据随着时间推移，占用硬盘存储容量过大，存储模块开启多线程实例异步将数据压缩并持久存储到硬盘中，实现时间效率与存储效率同时达到最佳性能。分析模块，用于实时从存储模块中读取监控数据并利用sparkstreaming流式大数据实时分析平台对监控数据进行实时分析，生成相应的分析数据并实时根据预置的告警规则，生成告警信息。其中，告警规则为可配置选项，根据不同网络服务的状态阈值、耗时阈值、调用链路长度阈值、日志关键字、系统吞吐量阈值，灵活设置不同的告警规则。可选地，采集模块，还用于利用面向切面编程技术，采集监控数据并对获取的数据进行反向分析。可选地，服务模块，还用于丢弃转换失败的监控数据，将监控数据的接收时间、重要程度及最短保存时间写入监控数据中。采集模块在采集监控数据时，对业务开发者零侵入，业务开发者无需关心监控实现方式，通过面向切面编程技术采集服务数据，同时对获取的数据进行反向分析，核心代码基于汇编编程并使用jni技术实现高效判定网络服务类型。可选地，分析数据包括网络服务的状态、耗时、链路调用关系、调用拓扑图、日志及系统吞吐量。本专利技术实施例提供的网络服务监控系统，监控指标多样化，支持异构网络服务的监控，能够适应复杂多样的网络服务环境及实时获取监控数据并根据监控数据，生成告警信息，提高了监控系统的兼容性、实时性及系统吞吐量。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。可以理解的是，上述方法及装置中的相关特征可以相互参考。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本专利技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本专利技术的内容，并且上面对特定语言所做的描述是为了披露本专利技术的最佳实施方式。此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)，存储器包括至少一个存储芯片。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现本文档来自技高网...

【技术保护点】
1.一种网络服务监控系统，其特征在于，包括：/n采集模块，用于通过数据特征判断网络服务的类型并根据所述类型，对所述网络服务进行分类埋点并采集不同的监控数据，将所述监控数据转换为json格式的数据并将所述监控数据发送至kafka消息队列；/n服务模块，用于利用微服务架构及restful接口，从kafka消息队列接收所述监控数据，根据监控数据判断网络服务的类型并将所述网络服务的类型写入所述监控数据中，将数据保存到存储模块；/n分析模块，用于实时从所述存储模块中读取监控数据并利用spark streaming流式大数据实时分析平台对所述监控数据进行实时分析，生成相应的分析数据并实时根据预置的告警规则，生成告警信息。/n

【技术特征摘要】
1.一种网络服务监控系统，其特征在于，包括：
采集模块，用于通过数据特征判断网络服务的类型并根据所述类型，对所述网络服务进行分类埋点并采集不同的监控数据，将所述监控数据转换为json格式的数据并将所述监控数据发送至kafka消息队列；
服务模块，用于利用微服务架构及restful接口，从kafka消息队列接收所述监控数据，根据监控数据判断网络服务的类型并将所述网络服务的类型写入所述监控数据中，将数据保存到存储模块；
分析模块，用于实时从所述存储模块中读取监控数据并利用sparkstreaming流式大数据实时分析平台对所述监控数据进行实时分析，生成...

【专利技术属性】
技术研发人员：郭涛，孔祥文，
申请(专利权)人：神州数码融信软件有限公司，
类型：发明
国别省市：北京;11