一种基于python的集群日志自动化分析方法技术

本发明专利技术涉及日志分析技术领域，提供一种基于python的集群日志自动化分析方法，包括：在本地windows机器上安装python包，在linux机器上安装jenkins服务和git服务；在git服务上创建日志分析项目，将创建的日志分析项目下载至windows机器上并在创建的日志分析项目下创建python文件和集群账号配置文件，将创建的python文件和集群账号配置文件上传至git服务的日志分析项目中；在jenkins服务上根据日志分析项目创建日志分析任务，对创建的日志分析任务进行配置；通过调用python文件，启动步骤S3创建的日志分析任务，定时对多集群进行日志分析，将日志分析报告保存至jenkins服务。根据本发明专利技术示例性实施例的基于python的集群日志自动化分析方法，可以实现自动化多集群日志分析，提高多集群日志分析的效率。提高多集群日志分析的效率。提高多集群日志分析的效率。

【技术实现步骤摘要】
一种基于python的集群日志自动化分析方法


[0001]本专利技术涉及日志分析
，尤其涉及一种基于python的集群日志自动化分析方法。

技术介绍

[0002]随着现代企业特别是软件公司业务规模的不断扩大，很多业务的使用不再是在单一的服务器或者单一的集群上进行，不同的业务模式往往需要分别部署到不同的集群上，每个集群又有大量的服务器，数量庞大的服务会产生大量的日志。为了查看业务系统的稳定性，用户常常需要通过检查日志中的错误信息来分析集群中服务的稳定性。通过检测到的日志中的错误信息，可以发现并修复系统存在的问题。在实际应用中，由于集群往往部署了大量的服务，通过人工手动的方式对这些服务进行日志分析会花费大量的时间，所以如何将多集群中所有服务的错误日志通过自动化手段分析出来是亟待解决的问题。
[0003]公开号为CN114490164A的中国专利公开了一种日志的收集方法、系统、设备和一种计算机存储介质，该方法应用于客户端，通过获取客户端内部的错误日志并根据预设的规则进行日志的收集。该方法解决了客户端错误日志按照指定规则的收集问题，但是并未涉及到多集群部署业务下的错误日志分析。
[0004]公开号为CN113297051A的中国专利提供一种日志分析处理方法及装置，该方法着重于对中间组件进行异常日志的分析，得到至少一种日志类型的日志信息；对所述至少一种日志类型的日志信息中的错误日志类型的日志信息进行分析处理，得到至少一种异常类型；将所述日志信息的日志类型和所述异常类型中的至少一项输出；基于语义信息将日志分为正常日志与错误日志，进一步基于语义信息检测错误日志中包含的异常类型，并结合日志来源模式对日志进行分析。建立了一个基于语义信息的完整日志分析模型，此专利技术解决了中间组件的日志收集归类，同样未涉及到多集群部署业务下的错误日志分析。
[0005]因此，如何提供一种高效的多集群业务模式下错误日志的分析方法，成为亟待解决的技术问题。

技术实现思路

[0006]有鉴于此，本专利技术主要解决的是提供一种高效的多集群业务模式下错误日志的分析方法，提高用户在多集群业务模式下的错误日志分析的效率，减少相应的资源占用。
[0007]本专利技术提供一种基于python的集群日志自动化分析方法，包括：
[0008]步骤S1：在本地windows机器上安装python包，在linux机器上安装jenkins服务和git服务；
[0009]步骤S2：在git服务上创建日志分析项目，将创建的日志分析项目下载至windows机器上并在创建的日志分析项目下创建python文件和集群账号配置文件，将创建的python文件和集群账号配置文件上传至git服务的日志分析项目中；
[0010]步骤S3：在jenkins服务上根据日志分析项目创建日志分析任务，对创建的日志分
析任务进行配置；
[0011]步骤S4：通过调用python文件，启动步骤S3创建的日志分析任务，定时对多集群进行日志分析，将日志分析报告保存至jenkins服务。
[0012]进一步地，本专利技术基于python的集群日志自动化分析方法的步骤S2，包括：
[0013]步骤S21：在git服务上创建日志分析项目，将创建的日志分析项目通过git clone命令下载至windows机器上；
[0014]步骤S22：进入日志分析项目目录，创建集群账号配置文件，所述集群账号配置文件以键值对的形式存储集群信息，其中，键为集群英文缩写，值为对应集群的用户信息，所述用户信息包括ip、用户名、密码和端口；
[0015]步骤S23：进入日志分析项目目录，创建python文件，编写待分析日志的集群列表ip_list入参和任务执行时长run_time入参，创建parse_config、multi_connect、ssh_login和log_analysis函数。
[0016]步骤S24：将创建的python文件和集群账号配置文件上传至git服务的日志分析项目中。
[0017]进一步地，本专利技术基于python的集群日志自动化分析方法的步骤S3，包括：
[0018]步骤S31：在jenkins服务上根据日志分析项目创建日志分析任务；
[0019]步骤S32：将python文件中的集群列表ip_list入参配置为集群账号配置文件中的集群英文缩写，将python文件中的任务执行时长run_time入参配置为24小时；
[0020]步骤S33：为日志分析任务配置触发器、源码管理、执行shell命令以及报告归档目录。
[0021]进一步地，本专利技术基于python的集群日志自动化分析方法的步骤S33，包括：将触发器的触发事件配置为每日0点。
[0022]进一步地，本专利技术基于python的集群日志自动化分析方法的步骤S33，还包括：通过输入日志分析项目在git服务上的url和鉴权信息配置日志分析任务的源码管理。
[0023]进一步地，本专利技术基于python的集群日志自动化分析方法的步骤S4，包括：
[0024]步骤S41：通过在jenkins服务上勾选集群列表ip_list中待分析日志集群的集群英文缩写以及所述待分析日志集群对应的任务执行时长run_time入参，启动日志分析任务；
[0025]步骤S42：解析集群账号配置文件，根据解析获得的用户信息登录对应的集群；
[0026]步骤S43：通过执行kubectl命令获取集群中所有的服务名称，根据服务名称遍历每个服务，通过log_anlysis函数查询过去1小时内服务中包含错误信息关键字的日志，将所述日志以服务名称命名保存在报告归档目录的错误日志文件夹中；
[0027]步骤S44：通过比较当前任务的已执行时长与任务执行时长run_time入参，根据比较结果结束或继续执行日志分析任务。
[0028]进一步地，本专利技术基于python的集群日志自动化分析方法的步骤S42，包括：
[0029]步骤S421：通过Parse_config函数解析集群账号配置文件，根据集群英文缩写获取待分析日志集群对应的用户信息；
[0030]步骤S422：通过Multi_connect函数根据集群列表ip_list中集群的数量启用相应数量的线程；
[0031]步骤S423：分别通过Ssh_login函数根据用户信息远程登录对应的集群。
[0032]进一步地，本专利技术基于python的集群日志自动化分析方法的步骤S43中的错误信息关键字包括，包括：ERROR、Exception、error和Error。
[0033]进一步地，本专利技术基于python的集群日志自动化分析方法的步骤S44，包括：
[0034]如果当前任务的已执行时长小于任务执行时长run_time入参，继续执行步骤S42和步骤S43；
[0035]如果当前任务的已执行时长大于等于任务执行时长run_time入参，结束日志分析任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于python的集群日志自动化分析方法，其特征在于，所述方法，包括：步骤S1：在本地windows机器上安装python包，在linux机器上安装jenkins服务和git服务；步骤S2：在git服务上创建日志分析项目，将创建的日志分析项目下载至windows机器上并在创建的日志分析项目下创建python文件和集群账号配置文件，将创建的python文件和集群账号配置文件上传至git服务的日志分析项目中；步骤S3：在jenkins服务上根据日志分析项目创建日志分析任务，对创建的日志分析任务进行配置；步骤S4：通过调用python文件，启动步骤S3创建的日志分析任务，定时对多集群进行日志分析，将日志分析报告保存至jenkins服务。2.根据权利要求1所述的基于python的集群日志自动化分析方法，其特征在于，步骤S2，包括：步骤S21：在git服务上创建日志分析项目，将创建的日志分析项目通过git clone命令下载至windows机器上；步骤S22：进入日志分析项目目录，创建集群账号配置文件，所述集群账号配置文件以键值对的形式存储集群信息，其中，键为集群英文缩写，值为对应集群的用户信息，所述用户信息包括ip、用户名、密码和端口；步骤S23：进入日志分析项目目录，创建python文件，编写待分析日志的集群列表ip_list入参和任务执行时长run_time入参，创建parse_config、multi_connect、ssh_login和log_analysis函数；步骤S24：将创建的python文件和集群账号配置文件上传至git服务的日志分析项目中。3.根据权利要求1所述的基于python的集群日志自动化分析方法，其特征在于，步骤S3，包括：步骤S31：在jenkins服务上根据日志分析项目创建日志分析任务；步骤S32：将python文件中的集群列表ip_list入参配置为集群账号配置文件中的集群英文缩写，将python文件中的任务执行时长run_time入参配置为24小时；步骤S33：为日志分析任务配置触发器、源码管理、执行shell命令以及报告归档目录。4.根据权利要求3所述的基于python的集群日志自动化分析方法，其特征在于，步骤S33，包括：将触发器的触发事件配...

【专利技术属性】
技术研发人员：张杭，傅俪婕，贾景松，
申请(专利权)人：中电云数智科技有限公司，
类型：发明
国别省市：