日志处理方法、介质、系统和计算设备技术方案

本公开的实施方式提供了一种日志处理方法、介质、系统和计算设备。该方法应用于计算集群，所述计算集群包括计算节点，所述计算节点用于运行计算任务，所述计算任务对应至少一个计算进程，所述计算节点包括日志信息输出服务和上传组件，所述方法包括：所述日志信息输出服务将所述计算进程产生的日志以日志文件的形式输出至本地磁盘；所述日志信息输出服务在捕捉到所述计算进程的退出事件时，将所述日志文件的后缀更新为用于指示所述计算进程结束的后缀标识，得到目标日志文件；所述上传组件响应于监听到所述本地磁盘中生成所述目标日志文件，向存储集群上传所述目标日志文件。实现了Spark运行在Kubernetes上时的计算任务日志的收集。志的收集。志的收集。

【技术实现步骤摘要】
日志处理方法、介质、系统和计算设备


[0001]本公开的实施方式涉及计算机
，更具体地，本公开的实施方式涉及一种日志处理方法、介质、系统和计算设备。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]Apache Spark是一种支持大规模数据处理的高效的计算引擎，可以用于构建大型的、低延迟的数据分析应用程序，支持包括文本处理、机器学习等计算的处理。
[0004]当Spark运行在Kubernetes的节点上时，通过Kubernetes的节点的资源可以实现Spark的各个计算任务的处理。由于Kubernetes的节点在任务处理完成后会被删除，计算任务的日志不能进行集中的管理。因此，需要提供一种方案，以实现Spark运行在Kubernetes上时的计算任务日志的收集。

技术实现思路

[0005]本公开提供一种日志处理方法、介质、系统和计算设备，以实现Spark运行在Kubernetes上时的计算任务日志的收集。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志处理方法，应用于计算集群，所述计算集群包括计算节点，所述计算节点用于运行计算任务，所述计算任务对应至少一个计算进程，所述计算节点包括日志信息输出服务和上传组件，所述方法包括：所述日志信息输出服务将所述计算进程产生的日志以日志文件的形式输出至本地磁盘；所述日志信息输出服务在捕捉到所述计算进程的退出事件时，将所述日志文件的后缀更新为用于指示所述计算进程结束的后缀标识，得到目标日志文件；所述上传组件响应于监听到所述本地磁盘中生成所述目标日志文件，向存储集群上传所述目标日志文件。2.根据权利要求1所述的方法，所述日志信息输出服务包括日志输出组件；所述日志信息输出服务将所述计算进程产生的日志以日志文件的形式输出至本地磁盘，包括：所述日志输出组件将所述计算进程产生的日志以日志文件的形式输出至所述本地磁盘。3.根据权利要求2所述的方法，所述日志信息输出服务还包括钩子函数；所述日志信息输出服务在捕捉到所述计算进程的退出事件时，将所述日志文件的后缀更新为用于指示所述计算进程结束的后缀标识，得到目标日志文件，包括：所述钩子函数在捕捉到所述退出事件时，将所述日志文件的后缀更新为用于指示所述计算进程结束的后缀标识，并将后缀更新后的日志文件作为所述目标日志文件。4.根据权利要求1
‑
3任一项所述的方法，所述计算集群还包括下载组件，所述存储集群包括分布式系统节点，所述方法还包括：所述下载组件根据所述目标日志文件的任务标识，将所述目标日志文件归并至所述分布式系统节点中对应的目标日志文件夹中，所述目标日志文件夹的文件夹名称中包括所述目标日志文件的任务标识。5.根据权利要求4所述的方法，所述根据所述目标日志文件的任务标识，将所述目标日志文件归并至所述分布式系统节点中对应的目标日志文件夹中，包括：扫描所述分布式系统节点中存储的日志文件夹列表，所述日志文件夹列表中包括至少一个日志文件夹的文件夹名称，所述日志文件夹列表中的各日志文件夹的文件夹名称根据对应的最后更新时间排列；响应于在所述日志文件夹列表中扫描到所述目标日志文件夹的文件夹名称，将所述目标日志文件归并至所述目标日志文件夹中；响应于在所述日志文件夹列表中...

【专利技术属性】
技术研发人员：杨斌杰，余利华，蒋鸿翔，姚琴，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：