一种业务秒级监控方法及系统、存储介质及客户端技术方案

本发明专利技术提供一种业务秒级监控方法及系统、存储介质及客户端，应用于客户端，包括以下步骤：在应用的接口发生调用时，基于预设时间间隔生成所述应用的秒级统计日志，秒级统计日志包括所述预设时间间隔内接口被调用的统计信息；采集所述秒级统计日志；将所述秒级统计日志进行分类存储。本发明专利技术的业务秒级监控方法及系统、存储介质及客户端能够快速展示业务相关的指标，并能够以秒为粒度实时更新，从而便于在第一时间定位业务系统的相关问题。

A Business Secondary Monitoring Method and System, Storage Media and Client

【技术实现步骤摘要】
一种业务秒级监控方法及系统、存储介质及客户端
本专利技术涉及业务监控的
，特别是涉及一种业务秒级监控方法及系统、存储介质及客户端。
技术介绍
现有技术中业务系统均采用分钟级监控方式。分钟级监控方式主要包括以下步骤：(1)通过应用的接口每次请求调用，以及每次调用的成功返回分别落下一条日志到应用机器上，该日志中包含接口相关的所有需要的信息。(2)使用高可用、高可靠、分布式的海量日志采集、聚合和传输的flume系统来采集应用上的日志，并将日志发送到分布式发布-订阅消息传递系统kafka；其中，flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。(3)后端依靠SparkStreaming实时流数据处理系统消费kafka日志并计算统计日志中相关参数，并将计算结果存储至mysql数据库中。其中，SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理，支持从多种数据源获取数据，包括kafk、flume、Twitter、ZeroMQ、Kinesis以及TCPsockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理；最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。mysql是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。但是，上述分钟级监控方式具有以下不足：1)由于接口被频繁的调用，每次调用会产生1～2条日志，大量的日志会消耗应用一定量的性能；2)由于计算统计大量日志信息的过程放在了服务器端，这就需要花费一定量的时间，导致了接近2～3分钟左右的延时。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种业务秒级监控方法及系统、存储介质及客户端，能够快速展示业务相关的指标，并能够以秒为粒度实时更新，从而便于在第一时间定位业务系统的相关问题。为实现上述目的及其他相关目的，本专利技术提供一种业务秒级监控方法，应用于客户端，包括以下步骤：在应用的接口发生调用时，基于预设时间间隔生成所述应用的秒级统计日志，秒级统计日志包括所述预设时间间隔内接口被调用的统计信息；采集所述秒级统计日志；将所述秒级统计日志进行分类存储。于本专利技术一实施例中，所述秒级统计日志还包括自定义指标参数，基于所述自定义指标参数生成对应的秒级统计日志。于本专利技术一实施例中，通过设置预设时间间隔，基于二方库的Metrics统计框架生成所述秒级统计日志。于本专利技术一实施例中，基于flume系统采集所述秒级统计日志。于本专利技术一实施例中，将所述秒级统计日志进行分类存储包括以下步骤：将所述秒级统计日志存储至消息系统kafka；采用多消费者模式消费消息系统kafka中的所述秒级统计日志；当所述消息系统kafka的所述秒级统计日志消费到之后，存入缓冲队列并启动异步多线程去消费所述缓冲队列的所述秒级日志信息。于本专利技术一实施例中，还包括对所述缓冲队列的所述秒级日志信息进行分类；对于固定需要存入mysql的日志信息，进行第二次缓冲，并采用多线程异步消费存储至mysql数据库；对于与时间点相关的接口统计信息数据，采用基于Hbase的时间序列数据库OpenTSDB存储。对应地，本专利技术提供一种业务秒级监控系统，应用于客户端，包括生成模块、采集模块和存储模块；所述生成模块用于在应用的接口发生调用时，基于预设时间间隔生成所述应用的秒级统计日志，秒级统计日志包括所述预设时间间隔内接口被调用的统计信息；所述采集模块用于采集所述秒级统计日志；所述存储模块用于将所述秒级统计日志进行分类存储。本专利技术提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的业务秒级监控方法。本专利技术提供一种客户端，包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的业务秒级监控方法。最后，本专利技术提供一种业务秒级监控系统，包括上述的客户端和服务器；所述服务器与所述客户端通信连接，用于获取并查看所述客户端上分类存储的秒级统计日志。如上所述，本专利技术的业务秒级监控方法及系统、存储介质及客户端，具有以下有益效果：(1)能够快速展示业务相关的指标，并能够以秒为粒度实时更新，从而便于在第一时间定位业务系统的相关问题；(2)采用客户端预计算的方式，客户端引入秒级监控组件并配置好后，一旦接口发生调用，秒级监控组件会提供计数统计功能；当达到固定配置的时间间隔后，应用会下发该接口对应的一条统计信息的日志，从而极大的减少了日志量；(3)省去了服务器端统计计算的功能，延迟时间降低到了数秒内，无需服务器端的计算资源，节约机器运行成本每年约100+万(6～7万一台)。附图说明图1显示为本专利技术的业务秒级监控方法于一实施例中的流程图；图2显示为本专利技术的秒级二方库于一实施例中的原理图；图3显示为本专利技术的业务秒级监控系统于一实施例中的结构示意图；图4显示为本专利技术的客户端于一实施例中的结构示意图；图5显示为本专利技术的业务秒级监控系统于另一实施例中的结构示意图。元件标号说明31生成模块32采集模块33存储模块41处理器42存储器51客户端52服务器具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。本专利技术的业务秒级监控方法及系统、存储介质及客户端基于客户端实现业务的秒级监控，从而能够快速展示业务相关的指标，并能够以秒为粒度实时更新，便于用户在第一时间定位业务系统的相关问题，有效地降低了服务器负载和监控延时，极大地提升了用户体验。如图1所示，于一实施例中，本专利技术的业务秒级监控方法应用于客户端，包括以下步骤：步骤S1、在应用的接口发生调用时，基于预设时间间隔生成所述应用的秒级统计日志，秒级统计日志包括所述预设时间间隔内接口被调用的统计信息。具体地，在本专利技术中并不是针对每次调用生成日志，而是预先设定时间间隔，基于预设时间间隔生成一次日志，且生成的日志是以秒级为单位的，从而从根本上降低了所生成的秒级统计日志的数量。例如，假设某个接口1分钟内被请求了1万次，那么采用现有技术中的监控方法的话客户端大约会落下2万条日志，并且后台还需要提供服务器资源去统计计算这2万条日志。而对于本专利技术的业务秒级监控方法而言，假设配置的统计的固定间隔是5秒一本文档来自技高网...

【技术保护点】
1.一种业务秒级监控方法，应用于客户端，其特征在于：包括以下步骤：在应用的接口发生调用时，基于预设时间间隔生成所述应用的秒级统计日志，所述秒级统计日志包括所述预设时间间隔内接口被调用的统计信息；采集所述秒级统计日志；将所述秒级统计日志进行分类存储。

【技术特征摘要】
1.一种业务秒级监控方法，应用于客户端，其特征在于：包括以下步骤：在应用的接口发生调用时，基于预设时间间隔生成所述应用的秒级统计日志，所述秒级统计日志包括所述预设时间间隔内接口被调用的统计信息；采集所述秒级统计日志；将所述秒级统计日志进行分类存储。2.根据权利要求1所述的业务秒级监控方法，其特征在于：所述秒级统计日志还包括自定义指标参数，基于所述自定义指标参数生成对应的秒级统计日志。3.根据权利要求1所述的业务秒级监控方法，其特征在于：通过设置预设时间间隔，基于二方库的Metrics统计框架生成所述秒级统计日志。4.根据权利要求1所述的业务秒级监控方法，其特征在于：基于flume系统采集所述秒级统计日志。5.根据权利要求1所述的业务秒级监控方法，其特征在于：将所述秒级统计日志进行分类存储包括以下步骤：将所述秒级统计日志存储至消息系统kafka；采用多消费者模式消费消息系统kafka中的所述秒级统计日志；当所述消息系统kafka的所述秒级统计日志消费到之后，存入缓冲队列并启动异步多线程去消费所述缓冲队列的所述秒级日志信息。6.根据权利要求5所述的业务秒级监控方法，其特征在于：还包括对所述缓...

【专利技术属性】
技术研发人员：刘冰洁，王涛，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：北京,11