一种面向云原生应用的立体监控系统技术方案

本发明专利技术公开了一种面向云原生应用的立体监控系统，包括数据采集层，所述数据采集层包括：前端监控，用于采集并上传前端监控数据；应用监控，用于采集应用监控数据；基础设施监控，用于采集基础设施监控数据；其中，前端监控数据和应用监控数据通过唯一标识用户单次请求调用链的链条ID进行关联，所述链条ID由调用链中的第一个被调用的应用中的应用监控产生，且附加在调用链中的消息中传递至调用链中的各个节点；应用监控数据和基础设施监控数据通过主机信息和进程信息进行关联。本发明专利技术可以打通前端、应用、基础设施，使得所有的监控数据可以串联起来，便于后续的数据分析与展现，整个监控可以覆盖系统运维和运营的两个层面的需求。

A stereo monitoring system for cloud native application

The invention discloses a three-dimensional monitoring system for cloud native application, including a data acquisition layer, which comprises a front-end monitoring layer for collecting and uploading front-end monitoring data, an application monitoring for collecting application monitoring data, an infrastructure monitoring for collecting infrastructure monitoring data, and a data acquisition layer for collecting infrastructure monitoring data. Front-end monitoring data and application monitoring data are associated by a chain ID that uniquely identifies the user's single request invocation chain, which is generated by the application monitoring of the first invoked application in the invocation chain and is attached to messages in the invocation chain and passed to each node in the invocation chain; application monitoring data and infrastructure Facilities monitoring data are linked by host information and process information. The invention can break through the front-end, application and infrastructure, so that all the monitoring data can be connected in series, facilitate the subsequent data analysis and display, and the whole monitoring can cover the requirements of the two levels of system operation and operation.

【技术实现步骤摘要】
一种面向云原生应用的立体监控系统
本专利技术涉及应用监控领域，尤其涉及一种面向云原生应用的立体监控系统。
技术介绍
当前环境下的业内监控领域，各种商用及开源产品层出不穷，既有类似Zabbix、OpenFalcon，也出现NewRelic、听云、OneAPM这类端到端的监控。而在用户行为分析方面，有如GoogleAnalytics、百度统计、GrowingIO、神策产品。在当前的市场环境下，各个厂商的监控系统都有各自独立的一套规范和侧重面，性能监控只关注性能，行为分析只关注终端用户行为，如何做到监控领域内的全范围覆盖，使整个监控系统既能帮助运维及开发人员快速发现系统端到端运行过程中的问题点，也能给企业提供系统优化建议，正是在这个背景下，立体监控系统需求应运而生。目前市场上流行的立体监控工具open-falcon、pinpoint在设计之初，都仅考虑各自领域的问题，作为立体监控系统的组成部分，它们原有的架构都存在的各自的问题。随着云计算、移动互联网、大数据的快速发展，IT系统特别是SaaS应用的运行环境越来越复杂，涉及的技术栈越来越多，系统性能问题的定位越来越困难，特别是在云环境下中，如何优化系统功能结构，增进用户体验，提高系统用户的留存率更是重中之重。为达到这个目的，对应用进行立体监控分析是有效的手段，而目前市面上的监控工具不能完全涵盖云端SaaS应用请求端到端调用链监控的情况，不同同时覆盖系统运维和运营的两个层面的需求。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种面向云原生应用的立体监控系统。本专利技术解决其技术问题所采用的技术方案是：构造一种面向云原生应用的立体监控系统，包括数据采集层，所述数据采集层包括：前端监控，用于采集并上传前端监控数据；应用监控，用于采集应用监控数据；基础设施监控，用于采集基础设施监控数据；其中，前端监控数据和应用监控数据通过唯一标识用户单次请求调用链的链条ID进行关联，所述链条ID由调用链中的第一个被调用的应用中的应用监控产生，且附加在调用链中的消息中传递至调用链中的各个节点；应用监控数据和基础设施监控数据通过主机信息和进程信息进行关联。在本专利技术所述的面向云原生应用的立体监控系统中，前端监控的采集埋点为植入在业务页面上的可采集前端的性能数据以及解析应用响应中的链条ID的JS；应用监控的采集埋点为在设置在应用的运行环境中的java代理，所述java代理用于在应用启动时修改启动命令以采集性能数据以及调用链信息；基础设施监控的采集埋点为安装在主机上的用于采集主机性能数据的探针。在本专利技术所述的面向云原生应用的立体监控系统中，所述JS的植入方式包括：在业务页面中加入JavaScript脚本片段；通过外链方式在业务页面中加入所述JS；通过应用监控的采集，将所述JS加入到业务页面上。在本专利技术所述的面向云原生应用的立体监控系统中，所述应用监控包括用于采集应用监控数据的应用性能采集端和业务数据采集端以及用于采集应用日志数据的应用日志采集端，所述应用日志数据和应用监控数据通过所述链条ID进行关联。在本专利技术所述的面向云原生应用的立体监控系统中，系统还包括：数据转发层，用于获取前端监控、应用监控、基础设施监控上传的监控数据，将需要计算的监控数据送往实时处理层，将无需计算的监控数据送往数据存储层存储；数据处理层，用于根据输入的监控数据进行计算，将计算结果发往数据存储层存储和/或触发告警；数据存储层，用于将前端监控、应用监控、基础设施监控的监控数据进行统一存储。在本专利技术所述的面向云原生应用的立体监控系统中，所述数据存储层包括存储所有的性能数据的性能数据存储模块和存储日志数据的日志存储模块，所述性能数据存储模块包括Hbase和接入数据转发层的监控数据的Kafka。在本专利技术所述的面向云原生应用的立体监控系统中，所述数据处理层包括实时处理模块和离线处理模块，实时处理模块包括将Kafka中的部分数据进行简单处理后发往数据存储层的Flume、基于Kafka中的部分数据执行实时计算的SparkStreaming，所述离线处理模块包括进行数据统计分析的SparkSQL。在本专利技术所述的面向云原生应用的立体监控系统中，系统还包括数据展示与访问层，用于提供性能分析与展现功能，数据展示与访问层提供可注入监控指标的RESTAPI接口。在本专利技术所述的面向云原生应用的立体监控系统中，系统还包括公共组件层，所述公共组件层包括：配置中心，用于将前端监控、应用监控、基础设施监控的所有配置进行统一管理；数据告警模块，用于接收前端监控、应用监控、基础实施监控的监控数据，并对告警规则进行运算，并生成相应的告警信息。在本专利技术所述的面向云原生应用的立体监控系统中，系统还包括访问安全控制层，用于对访问立体监控系统的访问对象的进行身份认证、权限控制以及用户隔离。实施本专利技术的面向云原生应用的立体监控系统，具有以下有益效果：本专利技术在前端、应用、基础设施都设置了监控以采集相应的监控数据，且前端监控数据和应用监控数据通过唯一标识用户单次请求调用链的链条ID进行关联，链条ID由调用链中的第一个被调用的应用中的应用监控产生，且附加在调用链中的消息中传递至调用链中的各个节点，应用监控数据和基础设施监控数据通过主机信息和进程信息进行关联，如此可以实现打通前端、应用、基础设施，使得所有的监控数据可以串联起来，便于后续的数据分析与展现，整个监控可以覆盖系统运维和运营的两个层面的需求，通过端到端、多视角、多维度的数据采集和分析，将云平台和应用系统运行过程中所涉及基础设施、应用、前端甚至日志监控整合起来，进一步的，还可通过数据展示向用户展示完整的系统性能信息，帮助用户总揽全局业务请求情况，快速定位系统性能瓶颈，优化系统功能结构或部署结构。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图：图1是本专利技术的立体监控系统的架构图；图2是本专利技术较佳实施例提供的立体监控系统的工作原理图。具体实施方式为了便于理解本专利技术，下面将参照相关附图对本专利技术进行更全面的描述。附图中给出了本专利技术的典型实施例。但是，本专利技术可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本专利技术的公开内容更加透彻全面。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。“和/或”这一术语包括多个相关记载项目的组合多个相关记载项目中的某一项。为了更好的理解本专利技术的技术方案，下面将结合说明书附图以及具体的实施方式对本专利技术的技术方案进行详细的说明，应当理解本专利技术实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本专利技术实施例以及实施例中的技术特征可以相互组合。参考图1-2，本专利技术的立体监控系统包括以下七个层次：数据采集层、数据转发层、数据处理层、数据存储层本文档来自技高网...

【技术保护点】
1.一种面向云原生应用的立体监控系统，其特征在于，包括数据采集层，所述数据采集层包括：前端监控，用于采集并上传前端监控数据；应用监控，用于采集应用监控数据；基础设施监控，用于采集基础设施监控数据；其中，前端监控数据和应用监控数据通过唯一标识用户单次请求调用链的链条ID进行关联，所述链条ID由调用链中的第一个被调用的应用中的应用监控产生，且附加在调用链中的消息中传递至调用链中的各个节点；应用监控数据和基础设施监控数据通过主机信息和进程信息进行关联。

【技术特征摘要】
1.一种面向云原生应用的立体监控系统，其特征在于，包括数据采集层，所述数据采集层包括：前端监控，用于采集并上传前端监控数据；应用监控，用于采集应用监控数据；基础设施监控，用于采集基础设施监控数据；其中，前端监控数据和应用监控数据通过唯一标识用户单次请求调用链的链条ID进行关联，所述链条ID由调用链中的第一个被调用的应用中的应用监控产生，且附加在调用链中的消息中传递至调用链中的各个节点；应用监控数据和基础设施监控数据通过主机信息和进程信息进行关联。2.根据权利要求1所述的面向云原生应用的立体监控系统，其特征在于，前端监控的采集埋点为植入在业务页面上的可采集前端的性能数据以及解析应用响应中的链条ID的JS；应用监控的采集埋点为在设置在应用的运行环境中的java代理，所述java代理用于在应用启动时修改启动命令以采集性能数据以及调用链信息；基础设施监控的采集埋点为安装在主机上的用于采集主机性能数据的探针。3.根据权利要求2所述的面向云原生应用的立体监控系统，其特征在于，所述JS的植入方式包括：在业务页面中加入JavaScript脚本片段；通过外链方式在业务页面中加入所述JS；通过应用监控的采集，将所述JS加入到业务页面上。4.根据权利要求1所述的面向云原生应用的立体监控系统，其特征在于，所述应用监控包括用于采集应用监控数据的应用性能采集端和业务数据采集端以及用于采集应用日志数据的应用日志采集端，所述应用日志数据和应用监控数据通过所述链条ID进行关联。5.根据权利要求4所述的面向云原生应用的立体监控系统，其特征在于，系统还包括：数据转发层，用于获取前端监控、应用监控、基础设施监控上传的监控数据，将...

【专利技术属性】
技术研发人员：易文峰，祝中浩，罗珍明，石刚，
申请(专利权)人：深圳市康拓普信息技术有限公司，
类型：发明
国别省市：广东,44