一种服务运行情况监控方法、装置和相关设备制造方法及图纸

本说明书一个或多个实施例提出一种服务运行情况监控方法，包括：获取服务运行的流水日志；提取流水日志中的交易日志；对交易日志进行格式转换，得到日志数据对象；对日志数据对象进行实时计算，得到待监控对象；以及将待监控对象接入数据库，应用监控平台调用数据库数据进行服务监控和/或流水查询。对应上述方法，本说明书的实施例还提出了一种服务运行情况监控装置和相关设备。况监控装置和相关设备。况监控装置和相关设备。

【技术实现步骤摘要】
一种服务运行情况监控方法、装置和相关设备


[0001]本说明书一个或多个实施例涉及数据分析处理
，尤其涉及一种服务运行情况监控方法、装置和相关设备。

技术介绍

[0002]HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案，是服务调用链路中较重要的一个部分。HAProxy的服务运行状态，节点健康度等数据的监控对保障系统高可用，提升突发事件应急响应能力有重要意义。通过配置HAProxy监控，可以获得一个web页面，显示HAProxy的各种信息，方便管理员查看系统状态、队列请求数量、会话情况、字节输入输出总量和错误数等运行监控数据。然而，现有的HAProxy服务运行情况监控方案存在业务监控能力弱，且监控数据无法持久化、数据集成度低等问题，不利于问题的分析、跟踪定位。
[0003]基于此，需要一种具有较强业务监控能力，能够实现持久监控数据并且集成各项数据的服务运行情况监控方案。

技术实现思路

[0004]有鉴于此，本说明书一个或多个实施例的目的在于提出一种服务运行情况监控方法、装置和相关设备。
[0005]基于上述目的，本说明书一个或多个实施例提供了一种服务运行情况监控方法，包括：
[0006]获取服务运行的流水日志；
[0007]提取所述流水日志中的交易日志；
[0008]对所述交易日志进行格式转换，得到日志数据对象；
[0009]对所述日志数据对象进行实时计算，得到待监控对象；以及
[0010]将所述待监控对象接入数据库，应用监控平台调用所述数据库数据进行服务监控和/或流水查询。
[0011]基于同一专利技术构思，本说明书一个或多个实施例还提供了一种服务运行情况监控装置，包括：
[0012]获取模块，被配置为获取服务运行的流水日志；
[0013]提取模块，被配置为提取所述流水日志中的交易日志；
[0014]转换模块，被配置为对所述交易日志进行格式转换，得到日志数据对象；
[0015]计算模块，被配置为对所述日志数据对象进行实时计算，得到待监控对象；以及
[0016]查询模块，被配置为将所述待监控对象接入数据库，应用监控平台调用所述数据库数据进行服务监控和/或流水查询。
[0017]基于同一专利技术构思，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述
程序时实现如上任意一项所述的方法。
[0018]基于同一专利技术构思，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一所述方法。
[0019]从上面所述可以看出，本说明书一个或多个实施例提供的服务运行情况监控方法、装置和相关设备，基于服务运行流水日志，对其进行校验和处理，得到其中的待监控对象，然后再对待监控对象进行监控，可以实现对通过HAProxy软负载的流量进行交易总数、通讯成功数、业务失败数、错误码分类统计和响应时间分档统计等监控，保障了服务质量。
附图说明
[0020]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1为本说明书一个或多个实施例服务运行情况监控方法流程图；
[0022]图2为本说明书一个或多个实施例处理日志数据步骤的流程图；
[0023]图3为本说明书一个或多个实施例处理日志数据路线的示意图；
[0024]图4为本说明书一个或多个实施例服务运行情况监控装置结构示意图；
[0025]图5为本说明书一个或多个实施例电子设备结构示意图。
具体实施方式
[0026]为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
[0027]需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
[0028]如
技术介绍
部分所述，现有的HAProxy监控存在业务监控能力弱，且监控数据无法持久化、数据集成度低等问题，不利于问题的分析、跟踪定位。申请人在实现本公开的过程中发现，现有的HAProxy服务运行情况监控系统获取的监控数据往往停留在技术层面，没有与业务本身紧密结合，没有关注到服务的可用性和服务错误码等问题。当问题产生之后对于用户而言，无法了解主机上服务真正的运行情况，因此当故障发生后，这些节点信息并不能有效的支持用户对于故障根源问题的分析和定位。而且HAProxy原生监控数据较零散分散，缺乏对监控数据统计处理，不利于直观的查看监控数据。
[0029]有鉴于此，本说明书一个或多个实施例提供了一种服务运行情况监控方案，具体的，首先获取服务运行的流水日志，通过清洗过滤得到上述流水日志中的交易日志，在对上述交易日志进一步进行格式转换和实时计算后，将处理后的交易日志数据接入应用监控平台进行监控和/或查询。
[0030]可见，本说明书一个或多个实施例的服务运行情况监控方案，基于服务运行流水
日志，对其进行校验和处理，得到其中的待监控对象，然后再对待监控对象进行监控，可以实现对通过HAProxy软负载的流量进行监控，并能根据实际情况进行预警的功能，提高了通过HAProxy软负载的流量的可见性和对流量数据的查询效率，保障了服务质量。
[0031]以下，通过具体的实施例来详细说明本说明书一个或多个实施例的技术方案。
[0032]参考图1，本说明书一个实施例的服务运行情况监控方法，包括以下步骤：
[0033]S101、获取服务运行的流水日志。
[0034]在本说明书的一个实施例中，上述获取服务运行的流水日志具体可以包括：由HAProxy进行日志采集以获取服务运行的流水日志，并将采集的日志数据发送至Kafka进行后续处理。
[0035]具体地，在上述步骤中，日志采集可以通过rsyslog进行，再通过udp的方式获取HAProxy的log输入，然后通过omkafka输出到Kafka队列。
[0036]需要说明的是，HAProxy在默认情况不会记录日志。因此，为了进行日志采集，在本说明书的实施例中，需要预先在haproxy.conf中的global段指定日志的输出，此外，还需要配置系统日志的配置文件。
[0037]S102、提取上述流水日志中的交易日志。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种服务运行情况监控方法，包括：获取服务运行的流水日志；提取所述流水日志中的交易日志；对所述交易日志进行格式转换，得到日志数据对象；对所述日志数据对象进行实时计算，得到待监控对象；以及将所述待监控对象接入数据库，应用监控平台调用所述数据库数据进行服务监控和/或流水查询。2.根据权利要求1所述的方法，其中，所述获取服务运行的流水日志包括：预先配置HAProxy进行日志输出；以及由HAProxy进行日志采集以获取服务运行的流水日志，并将采集的日志数据发送至开源流处理平台Kafka。3.根据权利要求1所述的方法，其中，所述流水日志包括：交易日志、启停日志和其他数据；所述提取所述流水日志中的交易日志包括：对所述流水日志进行数据清洗，保留其中交易日志部分。4.根据权利要求1所述的方法，其中，所述对所述交易日志进行格式转换包括：对所述交易日志进行切分处理，得到至少一个数据字段；以及将所述至少一个数据字段按照预先设置的日志数据对象格式转换为JSON对象，得到所述日志数据对象。5.根据权利要求4所述的方法，其中，所述方法进一步包括：根据切分后的数据字段的数量对所述交易日志进行过滤。6.根据权利要求1所述的方法，其中，所述对所述日志数据对象进行实时计算包括：由计算引擎的流式框架spark streaming功能模块对所述日志数据对象进行时间聚合和统计处理，...

【专利技术属性】
技术研发人员：许艳丽，肖晟，兰凯梅，赵佩佩，
申请(专利权)人：中国人寿保险股份有限公司，
类型：发明
国别省市：