一种基于端到端业务监控的实现方法和装置制造方法及图纸

本发明专利技术涉及一种基于端到端业务监控的实现方法和装置，包括：从应用集群中获取日志粒度；对所述日志粒度分别进行实时采集和非实时采集得到实时日志和非实时日志；从所述实时日志和所述非实时日志中获取全量日志和增量日志；将所述全量日志和所述增量日志分别进行调用链生成处理、调用统计分析处理、调用来源处理和依赖度量处理，从而获取相应数据；显示所述相应数据。本发明专利技术通过日志粒度获取应用集群中各个系统之间的调用情况，从而在某一系统出现瓶颈时，定位错误异常的根源位置。

【技术实现步骤摘要】

本专利技术涉及计算机领域，特别是涉及一种基于端到端业务监控的实现方法和装置。
技术介绍
一个强大的、完整的支撑系统是一个由很多个应用集群组成的非常复杂的分布式系统。这些应用里面主要有处理用户请求的前端系统和提供服务的后端系统等，各个应用之间一般有远程过程调用协议(RemoteProcedureCallProtocol，RPC)调用和异步消息通讯两种手段，调用会产生一层调一层的嵌套，一个消息发布出来更会被多个应用消费。另外，应用还会访问数据库、缓存、存储等后端，以及调用其他外部系统等。这些调用中有哪些出问题会影响这次调用，有哪些步骤会拖慢整个处理流程。由于调用环境的复杂度，很难用人力去做准确的分析和评估了。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于端到端业务监控的实现方法和装置。本专利技术解决上述技术问题的技术方案如下：一种基于端到端业务监控的实现方法，包括：从应用集群中获取日志粒度；对所述日志粒度分别进行实时采集和非实时采集得到实时日志和非实时日志；从所述实时日志和所述非实时日志中获取全量日志和增量日志；将所述全量日志和所述增量日志分别进行调用链生成处理、调用统计分析处理、调用来源处理和依赖度量处理，从而获取相应数据；显示所述相应数据。本专利技术的有益效果是：通过日志粒度获取应用集群中各个系统之间的调用情况，从而在某一系统出现瓶颈时，定位错误异常的根源位置。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述应用集群包括上一级服务端、能力开放平台和下一级服务端，所述从应用集群中获取日志粒度包括：所述上一级服务端生成统一流水标识符ID；如果开关为闭合状态，则所述上一级服务端将所述统一流水ID和调用标识符ID发送给所述下一级服务端；记录所述上一级服务端通过所述能力开放平台与所述下一级服务端的日志信息；将所述统一流水ID、所述调用ID和所述日志信息构成所述日志粒度。进一步，还包括：如果所述开关为断开状态，则所述上一级服务端与所述下一级服务端之间不生成所述日志信息。进一步，所述从所述实时日志和所述非实时日志中获取全量日志和增量日志包括：在阈值时间内从所述实时日志和所述非实时日志中抓取的日志为所述全量日志。进一步，所述从所述实时日志和所述非实时日志中获取全量日志和增量日志还包括：在各时间段内从所述实时日志和所述非实时日志中获取所述各时间段对应的日志；将所述各时间段对应的日志依次进行叠加，从而得到所述增量日志。本专利技术解决上述技术问题的技术方案如下：一种基于端到端业务监控的实现装置，包括：日志粒度获取单元，用于从应用集群中获取日志粒度；采集单元，用于对所述日志粒度分别进行实时采集和非实时采集得到实时日志和非实时日志；日志获取单元，用于从所述实时日志和所述非实时日志中获取全量日志和增量日志；处理单元，用于将所述全量日志和所述增量日志分别进行调用链生成处理、调用统计分析处理、调用来源处理和依赖度量处理，从而获取相应数据；显示单元，用于显示所述相应数据。本专利技术的有益效果是：通过日志粒度获取应用集群中各个系统之间的调用情况，从而在某一系统出现瓶颈时，定位错误异常的根源位置。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述应用集群包括上一级服务端、能力开放平台和下一级服务端，所述日志粒度获取单元包括：生成单元，用于所述上一级服务端生成统一流水标识符ID；发送单元，用于在开关为闭合状态的情况下，所述上一级服务端将所述统一流水ID和调用标识符ID发送给所述下一级服务端；记录单元，用于记录所述上一级服务端通过所述能力开放平台与所述下一级服务端的日志信息；构成单元，用于将所述统一流水ID、所述调用ID和所述日志信息构成所述日志粒度。进一步，还包括：交互单元，用于在所述开关为断开状态的情况下，所述上一级服务端与所述下一级服务端之间不生成所述日志信息。进一步，所述日志获取单元包括：在阈值时间内从所述实时日志和所述非实时日志中抓取的日志为所述全量日志。进一步，所述日志获取单元还包括：对应日志获取单元，用于在各时间段内从所述实时日志和所述非实时日志中获取所述各时间段对应的日志；叠加单元，用于将所述各时间段对应的日志依次进行叠加，从而得到所述增量日志。附图说明图1为本专利技术实施例提供的一种基于端到端业务监控的实现方法流程图；图2为本专利技术实施例提供的一种基于端到端业务监控的实现装置示意图；图3为本专利技术实施例提供的另一种基于端到端业务监控的实现装置示意图；图4为本专利技术实施例提供的应用集群中各系统交互示意图。附图中，各标号所代表的部件列表如下：1、日志粒度获取单元，2、采集单元，3、日志获取单元，4、处理单元，5、显示单元。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。图1为本专利技术实施例提供的一种基于端到端业务监控的实现方法流程图。参照图1，在步骤S101，从应用集群中获取日志粒度。在步骤S102，对所述日志粒度分别进行实时采集和非实时采集得到实时日志和非实时日志。在步骤S103，从所述实时日志和所述非实时日志中获取全量日志和增量日志。在步骤S104，将所述全量日志和所述增量日志分别进行调用链生成处理、调用统计分析处理、调用来源处理和依赖度量处理，从而获取相应数据。在步骤S105，显示所述相应数据。进一步，所述应用集群包括上一级服务端、能力开放平台和下一级服务端，所述从应用集群中获取日志粒度包括：所述上一级服务端生成统一流水标识符ID；如果开关为闭合状态，则所述上一级服务端将所述统一流水ID和调用标识符ID发送给所述下一级服务端；记录所述上一级服务端通过所述能力开放平台与所述下一级服务端的日志信息；将所述统一流水ID、所述调用ID和所述日志信息构成所述日志粒度。这里，日志粒度包括统一流水ID、调用ID和日志信息，日志信息包括父调用ID、服务编号和服务名等，这些字段间的分割符号为:～！～，具体可参照表1，如表1所示：表1在本实施例中，还包括：如果所述开关为断开状态，则所述上一级服务端与所述下一级服务端之间不生成日志信息。在本实施例中，所述从所述实时日志和所述非实时日志中获取全量日志和增量日志包括：在阈值时间内从所述实时日志和所述非实时日志本文档来自技高网...

【技术保护点】
一种基于端到端业务监控的实现方法，其特征在于，包括：从应用集群中获取日志粒度；对所述日志粒度分别进行实时采集和非实时采集得到实时日志和非实时日志；从所述实时日志和所述非实时日志中获取全量日志和增量日志；将所述全量日志和所述增量日志分别进行调用链生成处理、调用统计分析处理、调用来源处理和依赖度量处理，从而获取相应数据；显示所述相应数据。

【技术特征摘要】
1.一种基于端到端业务监控的实现方法，其特征在于，包括：
从应用集群中获取日志粒度；
对所述日志粒度分别进行实时采集和非实时采集得到实时日志和非实时日志；
从所述实时日志和所述非实时日志中获取全量日志和增量日志；
将所述全量日志和所述增量日志分别进行调用链生成处理、调用统计分析处理、调用
来源处理和依赖度量处理，从而获取相应数据；
显示所述相应数据。
2.根据权利要求1所述的一种基于端到端业务监控的实现方法，其特征在于，所述应用
集群包括上一级服务端、能力开放平台和下一级服务端，所述从应用集群中获取日志粒度
包括：
所述上一级服务端生成统一流水标识符ID；
如果开关为闭合状态，则所述上一级服务端将所述统一流水ID和调用标识符ID发送给
所述下一级服务端；
记录所述上一级服务端通过所述能力开放平台与所述下一级服务端的日志信息；
将所述统一流水ID、所述调用ID和所述日志信息构成所述日志粒度。
3.根据权利要求2所述的一种基于端到端业务监控的实现方法，其特征在于，还包括：
如果所述开关为断开状态，则所述上一级服务端与所述下一级服务端之间不生成所述
日志信息。
4.根据权利要求1所述的一种基于端到端业务监控的实现方法，其特征在于，所述从所
述实时日志和所述非实时日志中获取全量日志和增量日志包括：在阈值时间内从所述实时
日志和所述非实时日志中抓取的日志为所述全量日志。
5.根据权利要求1所述的一种基于端到端业务监控的实现方法，其特征在于，所述从所
述实时日志和所述非实时日志中获取全量日志和增量日志还包括：
在各时间段内从所述实时日志和所述非实时日志中获取所述各时间段对应的日志；
将所述各时间段对应的日志依次进行叠加，从而得到所述增量日志。
6.一种基于端到端业务监控的实现装置，其特征在于，包括：

【专利技术属性】
技术研发人员：张清锁，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：北京;11