大规模集群部署交付日志的跟踪处理方法及装置制造方法及图纸

本发明专利技术提供了一种大规模集群部署交付日志的跟踪处理方法及装置，其中方法应用于后台服务器，按行读取底层日志文件；对日志行数据进行过滤检索，得到关键信息，所述关键信息包括部署进度信息和日志类型；对日志行数据和所述关键信息进行封装，并将封装后的数据包发送至前端页面进行显示。实现了对大规模集群部署交付日志的自动跟踪处理，便于技术人员及时了解部署进度，并当日志类型为错误或警告时使技术人员及时发现并解决问题，提高了集群部署效率。

Tracking and processing method and device of delivery log in large scale cluster deployment

【技术实现步骤摘要】
大规模集群部署交付日志的跟踪处理方法及装置
本专利技术涉及计算机
，更具体的，涉及一种大规模集群部署交付日志的跟踪处理方法及装置。
技术介绍
在大规模集群部署过程中，技术人员需要通过查看日志文件了解集群部署状态，如是否出现错误，部署进度等。目前，有两种日志查看方式，一种方式为通过下载底层日志文件然后进行手动分析，另一种方式为通过页面端查看底层日志信息。这两种方式都需要技术人员人工分析底层日志，底层日志不易理解，对技术人员的专业性要求较高，且对日志文件进行分析需要一定的时间，影响集群部署进度。
技术实现思路
有鉴于此，本专利技术提供了一种大规模集群部署交付日志的跟踪处理方法及装置，实现了日志的自动化处理，定位部署进度和显示错误或报警日志类型。为了实现上述专利技术目的，本专利技术提供的具体技术方案如下：一种大规模集群部署交付日志的跟踪处理方法，应用于后台服务器，所述方法包括：按行读取底层日志文件；对日志行数据进行过滤检索，得到关键信息，所述关键信息包括部署进度信息和日志类型，日志类型包括调试、信息、警告和错误；对日志行数据和所述关键信息进行封装，并将封装后的数据包发送至前端页面进行显示。可选的，在所述按行读取底层日志文件之前，所述方法还包括：触发执行部署脚本；获取所述部署脚本在执行过程中产生的日志；将获取的日志存储到所述底层日志文件中。可选的，所述按行读取底层日志文件，包括：调用后台服务进程，通过识别所述底层日志文件中的系统换行标识符按行读取所述底层日志文件。可选的，在所述对日志行数据进行过滤检索之前，所述方法还包括：对读取的日志行数据进行格式校验和完整性校验；若日志行数据未通过格式校验或完整性校验时，放弃对日志行数据的过滤检索。可选的，所述对日志行数据进行过滤检索，得到关键信息，包括：将通过格式校验和完整性校验的日志行数据写入管道中，并根据管道中日志行数据的顺序，按照预设规则对管道中的当前日志行数据进行过滤检索，得到表示部署进度信息的任务信息和当前日志行数据的日志类型，其中，任务信息包括任务名称和任务标识。可选的，所述方法还包括：建立与所述前端页面之间的长链接，通过长链接将日志行数据和所述关键信息发送至所述前端页面。可选的，所述方法还包括：当接收到用户的日志下载指令时，按照预设存储路径对所述底层日志文件进行下载。可选的，所述方法还包括：当接收到用户的重新部署指令时，重新触发执行所述部署脚本。可选的，所述方法还包括：当接收到用户的退出部署指令时，停止执行所述部署脚本。一种大规模集群部署交付日志的跟踪处理装置，包括：日志读取单元，用于按行读取底层日志文件；过滤检索单元，用于对日志行数据进行过滤检索，得到关键信息，所述关键信息包括部署进度信息和日志类型，日志类型包括调试、信息、警告和错误；封装发送单元，用于对日志行数据和所述关键信息进行封装，并将封装后的数据包发送至前端页面进行显示。可选的，所述装置还包括：部署脚本触发单元，用于触发执行部署脚本；日志获取单元，用于获取所述部署脚本在执行过程中产生的日志，并将获取的日志存储到所述底层日志文件中。可选的，所述日志读取单元，具体用于调用后台服务进程，通过识别所述底层日志文件中的系统换行标识符按行读取所述底层日志文件。可选的，所述装置还包括：数据校验单元，用于对读取的日志行数据进行格式校验和完整性校验；若日志行数据未通过格式校验或完整性校验时，放弃对日志行数据的过滤检索。可选的，所述过滤检索单元，具体用于将通过格式校验和完整性校验的日志行数据写入管道中，并根据管道中日志行数据的顺序，按照预设规则对管道中的当前日志行数据进行过滤检索，得到表示部署进度信息的任务信息和当前日志行数据的日志类型，其中，任务信息包括任务名称和任务标识。可选的，所述装置还包括：长链接建立单元，用于建立与所述前端页面之间的长链接，通过长链接将日志行数据和所述关键信息发送至所述前端页面。可选的，所述装置还包括：日志下载单元，用于当接收到用户的日志下载指令时，按照预设存储路径对所述底层日志文件进行下载。可选的，所述部署脚本触发单元，还用于当接收到用户的重新部署指令时，重新触发执行所述部署脚本。可选的，所述部署脚本触发单元，还用于当接收到用户的退出部署指令时，停止执行所述部署脚本。相对于现有技术，本专利技术的有益效果如下：本专利技术公开的一种大规模集群交付日志的跟踪处理方法，自动读取底层日志文件，通过对日志行数据进行过滤检索，得到包括部署进度信息和日志类型的关键信息，并通过将日志行数据和关键信息进行封装后发送至前端页面，使前端页面可以显示部署进度信息和日志类型，便于技术人员及时了解部署进度，并当日志类型为错误或警告时使技术人员及时发现并解决问题，提高了集群部署效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例公开的一种大规模集群部署交付日志的跟踪处理方法的流程示意图；图2为本专利技术实施例公开的一种大规模集群部署交付日志的跟踪处理装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本实施例公开了一种大规模集群部署交付日志的跟踪处理方法，应用于后台服务器，请参阅图1，该方法具体包括如下步骤：S101：按行读取底层日志文件；其中，在集群部署过程中需要触发执行部署脚本，部署脚本在运行过程中产生日志，为了便于后续查看处理日志，将部署脚本产生的日志存储到底层日志文件中。具体的，调用后台服务进程，通过识别底层日志文件中的系统换行标识符识别日志行数据，并按行读取底层日志文件。进一步，为了确保后续处理的日志行数据为正常文本类型文件数据，对读取的日志行数据进行格式校验和完整性校验，若日志行数据未通过格式校验或完整性校验时，放弃对日志行数据的过滤检索，若日志行数据通过格式校验和完整性校验时，对日志行数据进行后续的过滤检索操作。其中，格式校验可以通过判断日志行数据的格式是否为预先设定的格式，如判断日志行数据是否为正常的文本类型数据，若为正常的文本类型数据，则判定日志行数据通过格式校验。完整性校验可以判断日志行数据是否包括预先设定的多个类型的数据，本文档来自技高网...

【技术保护点】
1.一种大规模集群部署交付日志的跟踪处理方法，其特征在于，应用于后台服务器，所述方法包括：/n按行读取底层日志文件；/n对日志行数据进行过滤检索，得到关键信息，所述关键信息包括部署进度信息和日志类型，日志类型包括调试、信息、警告和错误；/n对日志行数据和所述关键信息进行封装，并将封装后的数据包发送至前端页面进行显示。/n

【技术特征摘要】
1.一种大规模集群部署交付日志的跟踪处理方法，其特征在于，应用于后台服务器，所述方法包括：
按行读取底层日志文件；
对日志行数据进行过滤检索，得到关键信息，所述关键信息包括部署进度信息和日志类型，日志类型包括调试、信息、警告和错误；
对日志行数据和所述关键信息进行封装，并将封装后的数据包发送至前端页面进行显示。


2.根据权利要求1所述的方法，其特征在于，在所述按行读取底层日志文件之前，所述方法还包括：
触发执行部署脚本；
获取所述部署脚本在执行过程中产生的日志；
将获取的日志存储到所述底层日志文件中。


3.根据权利要求1所述的方法，其特征在于，所述按行读取底层日志文件，包括：
调用后台服务进程，通过识别所述底层日志文件中的系统换行标识符按行读取所述底层日志文件。


4.根据权利要求1所述的方法，其特征在于，在所述对日志行数据进行过滤检索之前，所述方法还包括：
对读取的日志行数据进行格式校验和完整性校验；
若日志行数据未通过格式校验或完整性校验时，放弃对日志行数据的过滤检索。


5.根据权利要求4所述的方法，其特征在于，所述对日志行数据进行过滤检索，得到关键信息，包括：
将通过格式校验和完整性校验的日志行数据写入管道中，并根据...

【专利技术属性】
技术研发人员：黄显宗，刘捷，程然，张娟，
申请(专利权)人：无锡华云数据技术服务有限公司，
类型：发明
国别省市：江苏;32