一种生成监控数据的系统及方法技术方案

本申请公开了一种生成监控数据的系统及方法，其中，系统包括获取模块和处理模块，获取模块用于从服务器中获取Nginx处理客户端请求时关联的请求状态数据；处理模块与所述获取模块被配置在同一台服务器内，处理模块通过本地接口与所述获取模块通讯，获取模块用于接收所述获取模块获取到的请求状态数据和定期抓取Nginx基本状态数据，以生成指标数据，所述指标数据被配置为能够以文本格式导出；其中，请求状态数据包括Nginx处理客户端请求时关联的响应码、速率、延时和流量数据。本公开不仅具有轻量级的获取模块，而且获取模块和处理模块通过本地接口进行通讯，可以规避网络IO开销。本公开相对较“重”的代码逻辑由处理模块实现，处理更高效。更高效。更高效。

【技术实现步骤摘要】
一种生成监控数据的系统及方法


[0001]本申请涉及信息
，具体涉及一种生成监控数据的系统及方法。

技术介绍

[0002]Nginx(engine x)以高并发、高性能、资源消耗著称于世，作为HTTP Server和反向代理服务器在互联网行业得到了广泛的应用。Nginx一般以网关模式部署，负责所有业务流量的接入、分发和响应输出，发挥着极其关键的作用。随着随着云计算技术潮流的到来，为了应对应用架构日益复杂后面临的监控监控预警、故障定位、根因追踪问题，开发或使用云原生、可观测性的微服务化应用以成为业界普遍的共识。可观测性是一项描述应用本身的特性，强调应用通过暴露数据并能够被外部系统观测到，从应用外部推测其内部运行状态的能力。
[0003]但是，开源版Nginx的“可观测性”能力实际上非常糟糕，自问世以来就一直如同一个“神奇的黑盒”一般，核心功能极其优秀，但用户想要进一步了解Nginx内部的状况或者想通过Nginx了解Client请求相关的数据指标是件非常困难的事情。

技术实现思路

[0004]本申请针对现有的问题，提出了一种生成监控数据的系统及方法及相关装置，具体技术方案如下：
[0005]在本申请的第一方面，提供了一种生成监控数据的系统，所述系统包括：
[0006]获取模块，所述获取模块用于从服务器中获取Nginx处理客户端请求时关联的请求状态数据；
[0007]处理模块，所述处理模块与所述获取模块被配置在同一台服务器内，所述处理模块通过本地接口与所述获取模块通讯，所述获取模块用于接收所述获取模块获取到的请求状态数据和定期抓取Nginx基本状态数据，以生成指标数据，所述指标数据被配置为能够以文本格式导出；
[0008]其中，请求状态数据包括Nginx处理客户端请求时关联的响应码、速率、延时和流量数据。
[0009]作为一种可选的技术方案，所述获取模块被配置为Monitor组件，所述Monitor组件基于nginx
‑
lua
‑
Module并采用lua编写。
[0010]作为一种可选的技术方案，所述处理模块被配置为Collector组件，所述Collector组件由Golang编写，所述指标数据为标准Prometheus Metrics指标数据。
[0011]作为一种可选的技术方案，所述处理模块用于将接收到的请求状态数据和Nginx基本状态数据反序列化成相应的Golang结构体对象。
[0012]作为一种可选的技术方案，所述Collector组件包括collector package、status package和main package；
[0013]其中，collector package包含自定义的prometheus collector组件，用于将
Nginx状态数据转化为prometheus metrics；status package用于Nginx状态数据的收集、以及将请求状态数据和Nginx基本状态数据反序列化成相应的Golang结构体对象；main package用于socket监听和启动http服务。
[0014]作为一种可选的技术方案，所述指标数据以Http API接口方式以文本格式导出。
[0015]在本公开的第二方面，提供了一种生成监控数据的方法，应用于上述任一项技术方案中所述的生成监控数据的系统，所述方法包括：
[0016]数据采集：通过获取模块采集Nginx处理客户端请求时关联的请求状态数据，并通过处理模块定期抓取Nginx基本状态数据；
[0017]数据处理：根据监控需要，创建Prometheus Metrics指标，通过处理模块对数据采集步骤采集到的数据进行处理，以得到各指标数据的标签和指标值；
[0018]数据导出：以文本格式导出所有指标数据。
[0019]作为一种可选的技术方案，所述数据采集步骤具体为：
[0020]每次Nginx处理请求到达log执行阶段时，获取模块自动采集Nginx处理客户端请求时关联的请求状态数据并将其推送到暂存文件。
[0021]作为一种可选的技术方案，所述获取模块采集Nginx处理客户端请求时关联的请求状态数据具体为：
[0022]在Master进程启动后，通过init_by_lua*钩子完成获取模块的lua模块代码预加载，并将其保存在虚拟机中；
[0023]在Worker进程启动时，通过init_work_by_lua*执行钩子为每个Worker进程定义一个定时器，该定时器间隔一定时间回调一个flush函数；
[0024]所述处理模块在请求处理流程到达log执行阶段时，使用log_by_lua*执行钩子并调用log函数收集与本次请求关联的请求状态数据，所述请求状态数据table中的数据由flush函数进行消费。
[0025]作为一种可选的技术方案，所述数据处理具体为，
[0026]将收集到的请求状态数据和Nginx基本状态数据反序列化成相应的Golang结构体对象；
[0027]引入Prometheus的client_golang_sdk，根据监控需要创建Prometheus Metrics指标，然后对数据采集步骤生成的Golang结构体对象进行处理，得到各指标的Lable标签和Metrics指标值。
[0028]在本申请的第三方面，提供一种电子设备，该设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现如上述第一方面所述的方法。
[0029]在本申请的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现上述第一方面所述的方法。
[0030]本申请具有以下有益效果：
[0031]通过上述技术方案，本公开的系统将Nginx基本状态数据获取与Metrics指标的生成分离设计，如此，获取模块可以采用轻量级的实现方案(例如，下文中的Monitor组件，即可以使用lua开发，只调用了“nginx
‑
lua”提供的少量的基础luaapi，是极致的轻量级实现)，对Nginx的性能基本无负面影响，不仅可以完成对请求状态数据的收集，而且获取模块
可以采用轻量级的实现方案。同时，将获取模块和处理模块被配置在同一台服务器内，可以通过本地接口进行通讯(即是指获取模块通过本地socket接口将获取到的请求状态数据传输给处理模块)，以规避网络IO开销。此外，将Nginx基本状态数据的加工处理、Metrics指标的生成、计算、存储和导出等相对较“重”的代码逻辑都由独立于Nginx的处理模块实现，处理复杂逻辑时能够比相关技术更高效。
附图说明
[0032]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0033]图1为本申请一种实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成监控数据的系统，其特征在于，所述系统包括：获取模块，所述获取模块用于从服务器中获取Nginx处理客户端请求时关联的请求状态数据；处理模块，所述处理模块与所述获取模块被配置在同一台服务器内，所述处理模块通过本地接口与所述获取模块通讯，所述获取模块用于接收所述获取模块获取到的请求状态数据和定期抓取Nginx基本状态数据，以生成指标数据，所述指标数据被配置为能够以文本格式导出；其中，请求状态数据包括Nginx处理客户端请求时关联的响应码、速率、延时和流量数据。2.根据权利要求1所述的生成监控数据的系统，其特征在于，所述获取模块被配置为Monitor组件，所述Monitor组件基于nginx
‑
lua
‑
Module并采用lua编写。3.根据权利要求1所述的生成监控数据的系统，其特征在于，所述处理模块被配置为Collector组件，所述Collector组件由Golang编写，所述指标数据为标准Prometheus Metrics指标数据。4.根据权利要求3所述的生成监控数据的系统，其特征在于，所述处理模块用于将接收到的请求状态数据和Nginx基本状态数据反序列化成相应的Golang结构体对象。5.根据权利要求4所述的生成监控数据的系统，其特征在于，所述Collector组件包括collector package、status package和main package；其中，collector package包含自定义的prometheus collector组件，用于将Nginx状态数据转化为prometheus metrics；status package用于Nginx状态数据的收集、以及将请求状态数据和Nginx基本状态数据反序列化成相应的Golang结构体对象；main package用于socket监听和启动http服务。6.根据权利要求1所述的生成监控数据的系统，其特征在于，所述指标数据以Ht...

【专利技术属性】
技术研发人员：雷杰，林位宁，蔡岳阳，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：