日志检索方法、系统、终端及计算机可读存储介质技术方案

本发明专利技术提供一种日志检索方法、系统、终端及计算机可读存储介质。所述日志检索方法包括：将ELK日志系统中的指定日志数据从ES集群备份存储至一分布式文件系统；创建一Kubernetes集群，所述Kubernetes集群独立于所述ES集群及所述分布式文件系统；接收针对存储至所述分布式文件系统的指定日志数据的查询请求，并调用所述Kubernetes集群创建一临时ES集群；及将所述分布式文件系统存储的指定日志数据导入所述临时ES集群，以通过所述临时ES集群执行所述查询请求。本发明专利技术基于分布式部署将指定日志数据存储至HDFS，通过创建并利用临时ES集群进行日志数据检索操作，且在监测到用户检索操作完成后，释放创建的临时ES集群，不占用系统资源。

【技术实现步骤摘要】
日志检索方法、系统、终端及计算机可读存储介质
本专利技术涉及日志数据处理领域，尤其涉及一种日志检索方法、系统、终端及计算机可读存储介质。
技术介绍
本部分旨在为权利要求书及具体实施方式中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。目前企业的日志系统大多数都是基于ELK(Elasticsearch、Logstash及Kibana的简称)开发的，针对某些重要的日志数据，用户会选择将这部分重要的数据从ELK的Elasticsearch(ES)集群中备份至分布式文件系统(HadoopDistributedFileSystem、HDFS)，在需要查询的时候再将HDFS中的数据导回ES集群，但是ES集群的负载通常都比较高，并且存储的空间有限，一旦进行数据的导入，很大程度上会对平台上的其它用户造成影响，严重时会导致整个服务不可用。
技术实现思路
鉴于上述，本专利技术提供一种日志检索方法、系统、终端及计算机可读存储介质，其可实现在日志数据导入过程中对原有的ES集群无影响，保证了ELK系统的稳定性。本申请一实施方式提供一种日志检索方法，所述方法包括：将ELK本文档来自技高网...

【技术保护点】
1.一种日志检索方法，其特征在于，所述方法包括：将ELK日志系统中的指定日志数据从ES集群备份存储至一分布式文件系统；创建一Kubernetes集群，其中所述Kubernetes集群独立于所述ELK日志系统的ES集群及所述分布式文件系统；接收针对存储至所述分布式文件系统的指定日志数据的查询请求，并调用所述Kubernetes集群创建一临时ES集群；及将所述分布式文件系统存储的指定日志数据导入所述临时ES集群，以通过所述临时ES集群执行所述查询请求。

【技术特征摘要】
1.一种日志检索方法，其特征在于，所述方法包括：将ELK日志系统中的指定日志数据从ES集群备份存储至一分布式文件系统；创建一Kubernetes集群，其中所述Kubernetes集群独立于所述ELK日志系统的ES集群及所述分布式文件系统；接收针对存储至所述分布式文件系统的指定日志数据的查询请求，并调用所述Kubernetes集群创建一临时ES集群；及将所述分布式文件系统存储的指定日志数据导入所述临时ES集群，以通过所述临时ES集群执行所述查询请求。2.如权利要求1所述的日志检索方法，其特征在于，所述将ELK日志系统中的指定日志数据从ES集群备份存储至一分布式文件系统的步骤包括：利用快照迁移算法将所述ELK日志系统中的指定日志数据从所述ES集群备份存储至所述分布式文件系统；或建立一ES-Hadoop框架，并利用所述ES-Hadoop框架将所述ELK日志系统中的指定日志数据从所述ES集群备份存储至所述分布式文件系统。3.如权利要求1所述的日志检索方法，其特征在于，所述临时ES集群独立于所述ELK日志系统中的ES集群。4.如权利要求1-3任意一项所述的日志检索方法，其特征在于，所述调用所述Kubernetes集群创建一临时ES集群的步骤包括：获取存储至所述分布式文件系统的指定日志数据的数据量大小；及根据所述指定日志数据的数据量大小创建包含对应节点数量的临时ES集群；其中，所述临时ES集群包括至少一ES-Client节点、至少一ES-Data节点及至少一ES-Master节点。5.如权利要求1所述的日志检索方法，其特征在于，所述将所述分布式文件系统存储的指定日志数据导入所述临时ES集群的步骤包括：建立一ES-Hadoop框架，并利用所述ES-Hadoop框架将所述分布式文件系统存储的指定日志数据导入所述...

【专利技术属性】
技术研发人员：石晓龙，黄望，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44