对数据执行链路监控的方法技术

本发明专利技术涉及大数据业务技术领域，公开了一种对数据执行链路监控的方法

【技术实现步骤摘要】
对数据执行链路监控的方法、系统、装置、设备及介质


[0001]本专利技术涉及大数据业务
，具体涉及一种对数据执行链路监控的监控方法
、
系统及装置
。

技术介绍

[0002]HDFS(Hadoop Distributed File System
，分布式系统基础架构分布式文件系统
)
是大数据业务的底层存储服务，也是大数据平台最为基础的依赖组件
。
如果
HDFS
服务异常，会导致数据丢失
、
上层业务大面积终止等一系列严重后果
。
由于
HDFS
服务中任务请求的处理流程复杂，因此难以对
HDFS
请求执行链路进行监控，难以获取
HDFS
完整链路信息
、
追溯
HDFS
服务异常的根源
、
识别异常情况并对异常情况进行告警
。
[0003]现有技术通过排查日志记录对
HDFS
请求执行链路进行监控
。
然而，由于日志记录信息杂乱，排查过程会占用大量的时间成本，使得
HDFS
服务异常的解决丧失了时效性，对数据业务造成不必要的损失
。
并且，现有技术没有将获取到的链路信息进行可视化展示，难以高效便捷的定位
HDFS
服务异常
。
[0004]因此，现有技术日志存在信息记录杂乱，排查日志的时间成本高，影响了监控数据执行链路的时效性的问题
。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种对数据执行链路监控的方法
、
系统
、
装置
、
设备及介质，以解决现有技术中存在日志存在信息记录杂乱，排查日志的时间成本高，影响了监控数据执行链路的时效性的问题
。
[0006]第一方面，本专利技术提供了一种对数据执行链路监控的方法，该方法包括：
[0007]获取数据访问请求执行过程中每个步骤的执行信息；
[0008]根据执行信息中的上下游关系信息，得到数据访问请求执行过程的目标执行链路；
[0009]根据执行信息，得到每个步骤的执行频次
、
数据访问请求执行过程的总执行耗时和异常步骤；
[0010]将执行频次
、
总执行耗时以及异常步骤进行汇总，得到目标执行链路的告警关联信息
。
[0011]本实施例提供的对数据执行链路监控的方法，不需要对繁琐日志文件进行解析，通过获取数据访问请求执行过程中每个步骤的执行信息，根据执行信息中的上下游关系信息，得到数据访问请求执行过程的目标执行链路，根据执行信息，得到目标执行链路的告警关联信息
。
使数据访问请求执行过程中问题的定位更为高效便捷，有助于大数据平台的日常维护与稳定，能够降低时间成本，满足大数据实时场景的时效性要求
。
解决了日志存在信息记录杂乱，排查日志的时间成本高，影响了监控数据执行链路的时效性的问题
。
[0012]在一种可选的实施方式中，在得到目标执行链路的告警关联信息之前，方法还包
括：
[0013]根据执行信息判断是否存在执行超时的步骤，如果存在执行超时的步骤，则生成第一告警信息，其中，执行超时的步骤为耗时大于第一预设阈值的步骤；
[0014]根据执行信息判断是否存在满足第一触发条件的步骤，如果存在，则生成第二告警信息，其中，第一触发条件用于表征步骤的参数出现异常；
[0015]根据目标执行链路和执行信息判断是否存在满足第二触发条件的步骤，如果存在，则生成第三告警信息，其中，第二触发条件用于表征步骤的执行过程出现异常
。
[0016]在本实施方式中，在对执行信息进行解析，得到目标执行链路的告警关联信息的过程中，根据执行信息
、
目标执行链路
、
第一预设阈值
、
第一触发条件以及第二触发条件，判断是否需要生成告警信息
。
保证了数据访问请求执行过程的正确进行，如果存在异常，则直接定位异常所在的步骤，大大减小了问题处理与故障恢复的时间与人力消耗
。
[0017]在一种可选的实施方式中，在根据执行信息判断是否存在执行超时的步骤之前，方法还包括：
[0018]获取第一预设阈值
、
第一触发条件以及第二触发条件；
[0019]将第一预设阈值
、
第一触发条件以及第二触发条件同步到信息聚合部件，其中，信息聚合部件用于生成第一告警信息
、
第二告警信息以及第三告警信息
。
[0020]在本实施方式中，告警部件获取第一预设阈值
、
第一触发条件以及第二触发条件，并将第一预设阈值
、
第一触发条件以及第二触发条件同步到信息聚合部件
。
信息聚合部件在对执行信息进行解析，得到目标执行链路的告警关联信息的过程中，根据执行信息
、
目标执行链路
、
第一预设阈值
、
第一触发条件以及第二触发条件，判断是否需要生成告警信息
。
保证了数据访问请求执行过程的正确进行，如果存在异常，则直接定位异常所在的步骤，大大减小了问题处理与故障恢复的时间与人力消耗
。
[0021]在一种可选的实施方式中，在得到目标执行链路的告警关联信息之后，方法还包括：
[0022]在生成告警信息之后，将目标执行链路
、
执行信息
、
告警关联信息以及告警信息进行可视化展示，其中，告警信息包括第一告警信息
、
第二告警信息以及第三告警信息
。
[0023]在本实施方式中，将目标执行链路
、
执行信息
、
告警关联信息以及告警信息进行可视化展示，通过可视化的方式直观地展示了复杂的数据访问请求执行过程中的详细经过，并通过展示告警信息，直接定位问题所在的步骤，大大减小了问题处理与故障恢复的时间与人力消耗，满足了大数据实时场景的时效性要求
。
[0024]在一种可选的实施方式中，获取数据访问请求执行过程中每个步骤的执行信息，包括：
[0025]将监控元件嵌入数据访问请求执行模块，其中，数据访问请求执行模块用于进行数据访问请求执行过程，数据访问请求执行模块包括客户端
、
管理节点服务子模块以及工作节点服务子模块，客户端执行数据访问请求执行过程中的第一数量个步骤，管理节点服务子模块执行数据访问请求执行过程中的第二数量个步骤，工作节点服务子模块执行数据访问请求执行过程中的第三数量个步骤；
[0026]在客户端执行第一数量个步骤时，利用监控元件获取第一数量个步骤的执行信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种对数据执行链路监控的方法，其特征在于，所述方法包括：获取数据访问请求执行过程中每个步骤的执行信息；根据所述执行信息中的上下游关系信息，得到所述数据访问请求执行过程的目标执行链路；根据所述执行信息，得到每个所述步骤的执行频次
、
所述数据访问请求执行过程的总执行耗时和异常步骤；将所述执行频次
、
所述总执行耗时以及所述异常步骤进行汇总，得到所述目标执行链路的告警关联信息
。2.
根据权利要求1所述的方法，其特征在于，在所述将所述执行频次
、
所述总执行耗时以及所述异常步骤进行汇总，得到所述目标执行链路的告警关联信息之前，所述方法还包括：根据所述执行信息判断是否存在执行超时的步骤，如果存在所述执行超时的步骤，则生成第一告警信息，其中，所述执行超时的步骤为耗时大于第一预设阈值的步骤；根据所述执行信息判断是否存在满足第一触发条件的步骤，如果存在，则生成第二告警信息，其中，所述第一触发条件用于表征所述步骤的参数出现异常；根据所述目标执行链路和所述执行信息判断是否存在满足第二触发条件的步骤，如果存在，则生成第三告警信息，其中，所述第二触发条件用于表征所述步骤的执行过程出现异常
。3.
根据权利要求2所述的方法，其特征在于，在所述根据所述执行信息判断是否存在执行超时的步骤之前，所述方法还包括：获取所述第一预设阈值
、
所述第一触发条件以及所述第二触发条件；将所述第一预设阈值
、
所述第一触发条件以及所述第二触发条件同步到信息聚合部件，其中，所述信息聚合部件用于生成所述第一告警信息
、
所述第二告警信息以及所述第三告警信息
。4.
根据权利要求2所述的方法，其特征在于，在所述得到所述目标执行链路的告警关联信息之后，所述方法还包括：在生成告警信息之后，将所述目标执行链路
、
所述执行信息
、
所述告警关联信息以及所述告警信息进行可视化展示，其中，所述告警信息包括所述第一告警信息
、
所述第二告警信息以及所述第三告警信息
。5.
根据权利要求1所述的方法，其特征在于，所述获取数据访问请求执行过程中每个步骤的执行信息，包括：将监控元件嵌入数据访问请求执行模块，其中，所述数据访问请求执行模块用于进行所述数据访问请求执行过程，所述数据访问请求执行模块包括客户端
、
管理节点服务子模块以及工作节点服务子模块，所述客户端执行所述数据访问请求执行过程中的第一数量个所述步骤，所述管理节点服务子模块执行所述数据访问请求执行过程中的第二数量个所述步骤，所述工作节...

【专利技术属性】
技术研发人员：和思扬，黄召军，王帅阳，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：