【技术实现步骤摘要】
拨测日志的分析方法及装置,存储介质及电子装置
本专利技术涉及通信领域,具体而言,涉及一种拨测日志的分析方法及装置、存储介质及电子装置。
技术介绍
日志数据处理框架旨在对业务系统产生的日志数据进行采集、处理、分析,以辅助解决业务系统遇到的问题,对业务系统运行状态进行监控的过程中,往往会用到日志采集Flume、日志流转KAFKA、数据存储ES等中间件;但因数据处理框架流转链条长、涉及中间件多、业务日志数据来源不确定等因素,导致数据处理框架不易监控的难题。现在,如何对数据处理框架自身进行监控,在保障其自身的可靠性、稳定性时,进而保障其分析出的数据是有效、可信的,成为大多数据日志处理框架急需解决的难点。针对相关技术,传统的日志数据处理框架因日志来源和产生日志频率不确定等因素,难以通过日志数据处理框架对日志进行分析等问题,目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种拨测日志的分析方法及装置、存储介质及电子装置,以至少解决传统数据处理框架因日志来源和产生日志频率不确定等因素, ...
【技术保护点】
1.一种拨测日志的分析方法,其特征在于,包括:/n确定不同日志类型的日志数据发送到云端服务器所采用的不同通道;/n对于所述不同通道中的任一通道,按照固定频率生成与所述任一通道对应的多个第一拨测日志,其中,所述多个第一拨测日志的数量大于预设阈值;/n将所述多个第一拨测日志均经过多个中间件进行传输,以得到与所述多个第一拨测日志对应的多个第二拨测日志,并将所述多个第二拨测日志传输至数据存储库,以使与所述数据存储库连接的目标应用对所述多个第二拨测日志进行分析。/n
【技术特征摘要】
1.一种拨测日志的分析方法,其特征在于,包括:
确定不同日志类型的日志数据发送到云端服务器所采用的不同通道;
对于所述不同通道中的任一通道,按照固定频率生成与所述任一通道对应的多个第一拨测日志,其中,所述多个第一拨测日志的数量大于预设阈值;
将所述多个第一拨测日志均经过多个中间件进行传输,以得到与所述多个第一拨测日志对应的多个第二拨测日志,并将所述多个第二拨测日志传输至数据存储库,以使与所述数据存储库连接的目标应用对所述多个第二拨测日志进行分析。
2.根据权利要求1所述的方法,其特征在于,对于所述不同通道中的任一通道,按照固定频率生成与所述任一通道对应的多个第一拨测日志,包括:
确定所述任一通道对应的脚本的脚本内容,其中,所述脚本内容至少用于指示以下之一:用于唯一标识第一拨测日志的标识信息,用于唯一标识所述任一通道的标识信息;第一拨测日志的产生时间;所述多个中间件中的每一个中间件接收第一拨测日志的接收时间以及发送所述第一拨测日志的发送时间;
运行所述脚本,以根据所述脚本的脚本内容按照固定频率生成与所述任一通道对应的多个第一拨测日志。
3.根据权利要求2所述的方法,其特征在于,将所述多个第一拨测日志均经过多个中间件进行传输,以得到与所述多个第一拨测日志对应的多个第二拨测日志,包括:
在所述多个第一拨测日志均经过多个中间件的情况下,对于所述多个中间件中的每一中间件,通过所述每一中间件将每一中间件接收第一拨测日志的接收时间和发送所述第一拨测日志的发送时间添加到所述第一拨测日志中,以得到所述第二拨测日志。
4.根据权利要求1所述的方法,其特征在于,将所述多个第二拨测日志传输至数据存储库,以使与所述数据存储库连接的目标应用对所述多个第二拨测日志进行分析,包括:
将所述多个第二拨测日志传输至数据存储库,以使与所述数据存储库连接的目标应用通过以下方式对所述多个第二拨测日志进行分析:
从所述多个第二拨测日志中获取所述每一中间件将每一中间件接收第一拨测日志的接收时间和发送所述第一拨测日志的发送时间;
根据多个中间件中最后一个中间件发送所述第二拨测日志的发送时间以及所述第一拨测日志的产生时间确定所述第一拨测日志的耗时,...
【专利技术属性】
技术研发人员:吴小波,
申请(专利权)人:青岛海尔科技有限公司,海尔智家股份有限公司,
类型:发明
国别省市:山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。