拨测日志的分析方法及装置，存储介质及电子装置制造方法及图纸

本发明专利技术公开了一种拨测日志的分析方法及装置，存储介质及电子装置，其中，上述方法包括：确定不同日志类型的日志数据发送到云端服务器所采用的不同通道；对于不同通道中的任一通道，按照固定频率生成与任一通道对应的多个第一拨测日志，其中，多个第一拨测日志的数量大于预设阈值；将多个第一拨测日志均经过多个中间件进行传输，以得到与所述多个第一拨测日志对应的多个第二拨测日志，并将所述多个第二拨测日志传输至数据存储库，以使与所述数据存储库连接的目标应用对所述多个第二拨测日志进行分析。采用上述技术方案，解决了传统的日志数据处理框架因日志来源和产生日志频率不确定等因素，难以通过日志数据处理框架对日志进行分析等问题。

【技术实现步骤摘要】
拨测日志的分析方法及装置，存储介质及电子装置
本专利技术涉及通信领域，具体而言，涉及一种拨测日志的分析方法及装置、存储介质及电子装置。
技术介绍
日志数据处理框架旨在对业务系统产生的日志数据进行采集、处理、分析，以辅助解决业务系统遇到的问题，对业务系统运行状态进行监控的过程中，往往会用到日志采集Flume、日志流转KAFKA、数据存储ES等中间件；但因数据处理框架流转链条长、涉及中间件多、业务日志数据来源不确定等因素，导致数据处理框架不易监控的难题。现在，如何对数据处理框架自身进行监控，在保障其自身的可靠性、稳定性时，进而保障其分析出的数据是有效、可信的，成为大多数据日志处理框架急需解决的难点。针对相关技术，传统的日志数据处理框架因日志来源和产生日志频率不确定等因素，难以通过日志数据处理框架对日志进行分析等问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种拨测日志的分析方法及装置、存储介质及电子装置，以至少解决传统数据处理框架因日志来源和产生日志频率不确定等因素，难以对数据处理框架的性能进行分析等问题。根据本专利技术实施例的一个方面，一种拨测日志的分析方法，包括：确定不同日志类型的日志数据发送到云端服务器所采用的不同通道；对于所述不同通道中的任一通道，按照固定频率生成与所述任一通道对应的多个第一拨测日志，其中，所述多个第一拨测日志的数量大于预设阈值；将所述多个第一拨测日志均经过多个中间件进行传输，以得到与所述多个第一拨测日志对应的多个第二拨测日志，并将所述多个第二拨测日志传输至数据存储库，以使与所述数据存储库连接的目标应用对所述多个第二拨测日志进行分析。在一个示例性实施例中，对于所述不同通道中的任一通道，按照固定频率生成与所述任一通道对应的多个第一拨测日志，包括：确定所述任一通道对应的脚本的脚本内容，其中，所述脚本内容至少用于指示以下之一：用于唯一标识第一拨测日志的标识信息，用于唯一标识所述任一通道的标识信息；第一拨测日志的产生时间；所述多个中间件中的每一个中间件接收第一拨测日志的接收时间以及发送所述第一拨测日志的发送时间；运行所述脚本，以根据所述脚本的脚本内容按照固定频率生成与所述任一通道对应的多个第一拨测日志。在一个示例性实施例中，将所述多个第一拨测日志均经过多个中间件进行传输，以得到与所述多个第一拨测日志对应的多个第二拨测日志，包括：在所述多个第一拨测日志均经过多个中间件的情况下，对于所述多个中间件中的每一中间件，通过所述每一中间件将每一中间件接收第一拨测日志的接收时间和发送所述第一拨测日志的发送时间添加到所述第一拨测日志中，以得到所述第二拨测日志。在一个示例性实施例中，将所述多个第二拨测日志传输至数据存储库，以使与所述数据存储库连接的目标应用对所述多个第二拨测日志进行分析，包括：将所述多个第二拨测日志传输至数据存储库，以使与所述数据存储库连接的目标应用通过以下方式对所述多个第二拨测日志进行分析：从所述多个第二拨测日志中获取所述每一中间件将每一中间件接收第一拨测日志的接收时间和发送所述第一拨测日志的发送时间；根据多个中间件中最后一个中间件发送所述第二拨测日志的发送时间以及所述第一拨测日志的产生时间确定所述第一拨测日志的耗时，其中，所述多个第一拨测日志中每一个第一拨测日志的耗时用于确定所述任一通道的以下至少之一参数：延迟最大值、延迟最小值、平均耗时、丢包率、中间件平均损耗。在一个示例性实施例中，对于所述不同通道中的任一通道，按照固定频率生成与所述任一通道对应的多个第一拨测日志之后，所述方法还包括：将生成的所述多个第一拨测日志上传至所述任一通道的目标位置，以使所述多个第一拨测日志从所述目标位置经过多个中间件传输至数据存储库。在一个示例性实施例中，所述多个中间件至少包括以下之一：日志采集中间件，日志流转中间件，日志存储中间件。根据本专利技术实施例的另一个方面，还提供了一种拨测日志的分析装置，包括：第一确定模块，用于确定不同日志类型的日志数据发送到云端服务器所采用的不同通道；生成模块，用于对于所述不同通道中的任一通道，按照固定频率生成与所述任一通道对应的多个第一拨测日志，其中，所述多个第一拨测日志的数量大于预设阈值；第二确定模块，用于将所述多个第一拨测日志均经过多个中间件进行传输，以得到与所述多个第一拨测日志对应的多个第二拨测日志，并将所述多个第二拨测日志传输至数据存储库，以使与所述数据存储库连接的目标应用对所述多个第二拨测日志进行分析。在一个示例性实施例中，所述生成模块，还用于确定所述任一通道对应的脚本的脚本内容，其中，所述脚本内容至少用于指示以下之一：用于唯一标识第一拨测日志的标识信息，用于唯一标识所述任一通道的标识信息；第一拨测日志的产生时间；所述多个中间件中的每一个中间件接收第一拨测日志的接收时间以及发送所述第一拨测日志的发送时间；运行所述脚本，以根据所述脚本的脚本内容按照固定频率生成与所述任一通道对应的多个第一拨测日志。根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述拨测日志的分析方法。根据本专利技术实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述拨测日志的分析方法。通过本专利技术，引入一种拨测日志的分析方法，先确定不同日志产生方产生的日志数据发送到云端服务器所采用的不同通道，随后对于不同通道中的任一通道，按照一种固定的频率来产生与之对应的多个第一拨测日志，产生的多个第一拨测日志会经过多个中间件进行传输，得到与所述多个第一拨测日志对应的多个第二拨测日志，将所述多个第二拨测日志传输至数据存储库，让与数据存储库相连接的目标应用对多个第二拨测日志进行分析得到最后的分析结果。采用上述技术方案，解决传统的日志数据处理框架因日志来源和产生日志频率不确定等因素，难以通过日志数据处理框架对日志进行分析等问题。进而对应不同的通道，以一种固定的频率产生对应的拨测日志，从而对日志进行分析。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示例性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术实施例的拨测日志的分析方法的计算机终端的硬件结构框图；图2是根据本专利技术实施例的拨测日志的分析方法的日志数据处理框架整体框架图(一)；图3是根据本专利技术实施例的拨测日志的分析方法的流程图；图4是根据本专利技术实施例的拨测日志的分析方法的日志数据处理框架整体框架图(二)；图5是根据本专利技术实施例的拨测日志的分析方法的日志数据处理框架整体框架图(三)；图6是根据本专利技术实施例的拨测日志的分析装置的结构框图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行本文档来自技高网...

【技术保护点】
1.一种拨测日志的分析方法，其特征在于，包括：/n确定不同日志类型的日志数据发送到云端服务器所采用的不同通道；/n对于所述不同通道中的任一通道，按照固定频率生成与所述任一通道对应的多个第一拨测日志，其中，所述多个第一拨测日志的数量大于预设阈值；/n将所述多个第一拨测日志均经过多个中间件进行传输，以得到与所述多个第一拨测日志对应的多个第二拨测日志，并将所述多个第二拨测日志传输至数据存储库，以使与所述数据存储库连接的目标应用对所述多个第二拨测日志进行分析。/n

【技术特征摘要】
1.一种拨测日志的分析方法，其特征在于，包括：
确定不同日志类型的日志数据发送到云端服务器所采用的不同通道；
对于所述不同通道中的任一通道，按照固定频率生成与所述任一通道对应的多个第一拨测日志，其中，所述多个第一拨测日志的数量大于预设阈值；
将所述多个第一拨测日志均经过多个中间件进行传输，以得到与所述多个第一拨测日志对应的多个第二拨测日志，并将所述多个第二拨测日志传输至数据存储库，以使与所述数据存储库连接的目标应用对所述多个第二拨测日志进行分析。


2.根据权利要求1所述的方法，其特征在于，对于所述不同通道中的任一通道，按照固定频率生成与所述任一通道对应的多个第一拨测日志，包括：
确定所述任一通道对应的脚本的脚本内容，其中，所述脚本内容至少用于指示以下之一：用于唯一标识第一拨测日志的标识信息，用于唯一标识所述任一通道的标识信息；第一拨测日志的产生时间；所述多个中间件中的每一个中间件接收第一拨测日志的接收时间以及发送所述第一拨测日志的发送时间；
运行所述脚本，以根据所述脚本的脚本内容按照固定频率生成与所述任一通道对应的多个第一拨测日志。


3.根据权利要求2所述的方法，其特征在于，将所述多个第一拨测日志均经过多个中间件进行传输，以得到与所述多个第一拨测日志对应的多个第二拨测日志，包括：
在所述多个第一拨测日志均经过多个中间件的情况下，对于所述多个中间件中的每一中间件，通过所述每一中间件将每一中间件接收第一拨测日志的接收时间和发送所述第一拨测日志的发送时间添加到所述第一拨测日志中，以得到所述第二拨测日志。


4.根据权利要求1所述的方法，其特征在于，将所述多个第二拨测日志传输至数据存储库，以使与所述数据存储库连接的目标应用对所述多个第二拨测日志进行分析，包括：
将所述多个第二拨测日志传输至数据存储库，以使与所述数据存储库连接的目标应用通过以下方式对所述多个第二拨测日志进行分析：
从所述多个第二拨测日志中获取所述每一中间件将每一中间件接收第一拨测日志的接收时间和发送所述第一拨测日志的发送时间；
根据多个中间件中最后一个中间件发送所述第二拨测日志的发送时间以及所述第一拨测日志的产生时间确定所述第一拨测日志的耗时，...

【专利技术属性】
技术研发人员：吴小波，
申请(专利权)人：青岛海尔科技有限公司，海尔智家股份有限公司，
类型：发明
国别省市：山东;37