日志库扩容方法、系统、计算机装置及可读存储介质制造方法及图纸

本发明专利技术提供一种日志库扩容方法、系统、计算机装置及计算机可读存储介质。所述日志库扩容方法包括：创建一Kubernetes集群；根据预设流量统计算法来获取所述ELK日志系统的当前日志流量；判断所述获取得到的当前日志流量是否大于预设流量；及当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES‑Data节点，并将创建的ES‑Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力。本发明专利技术基于云监测技术来实时监测日志系统的日志流量，并根据所述日志流量大小来动态对日志系统进行扩容，扩容服务稳定，可靠性高，提升用户使用体验。

Log Library Expansion Method, System, Computer Device and Readable Storage Media

The invention provides a log library expansion method, a system, a computer device and a computer readable storage medium. The log library expansion method includes: creating a Kubernetes cluster; obtaining the current log traffic of the ELK log system according to the preset traffic statistics algorithm; judging whether the current log traffic obtained is larger than the preset traffic; and calling the Kubernetes cluster to create ES_Data nodes when the current log traffic obtained is larger than the preset traffic, and The ES_Data node created is added to the ES cluster to increase the throughput capacity of the ES cluster. The invention is based on cloud monitoring technology to monitor the log flow of the log system in real time, and dynamically expands the log system according to the log flow size, so that the expansion service is stable, the reliability is high and the user experience is improved.

【技术实现步骤摘要】
日志库扩容方法、系统、计算机装置及可读存储介质
本专利技术涉及日志数据处理领域，尤其涉及一种日志库扩容方法、系统、计算机装置及计算机可读存储介质。
技术介绍
目前企业的日志系统大多数都是基于ELK(Elasticsearch、Logstash及Kibana的简称)开发的，现有ELK日志系统在扩容时需要手动操作，在操作上存在很大的限制，操作不方便，扩容期间往往有很多的不可见因素可能会导致日志系统扩容后出现一系列问题，一旦出现问题，若想要恢复至之前的状态，往往需要一定的时间，严重影响用户体验。
技术实现思路
鉴于上述，本专利技术提供一种日志库扩容方法、系统、计算机装置及计算机可读存储介质，其可实现自动扩容，扩容服务稳定。本申请一实施方式提供一种日志库扩容方法，所述方法包括：创建一Kubernetes集群，其中所述Kubernetes集群独立于ELK日志系统的ES集群；根据预设流量统计算法来获取所述ELK日志系统的当前日志流量；判断所述获取得到的当前日志流量是否大于预设流量；及当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点，并将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力。优选地，所述根据预设流量统计算法来获取所述ELK日志系统的当前日志流量的步骤包括：获取ELK日志系统的日志数据，并将所述日志数据进行解析与转换成统一的日志格式；及利用SQL语句提取以时间、IP地址为主字段的日志数据，并通过时间序列分析算法统计得到所述ELK日志系统的当前日志流量。优选地，所述当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点的步骤包括：获取所述ES集群中的每一ES-Data节点所占用的物理资源，其中所述物理资源包括CPU资源、内存资源及I/O资源；及当所述ES集群中存在一ES-Data节点所占用的物理资源超过预设资源时和/或当所述获取得到的当前日志流量大于所述预设流量时，调用所述Kubernetes集群创建ES-Data节点。优选地，所述当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点的步骤包括：当所述获取得到的当前日志流量大于所述预设流量时，计算所述当前日志流量与所述预设流量的差值流量；及根据所述差值流量调用所述Kubernetes集群创建一个或多个ES-Data节点，其中所述创建的ES-Data节点的个数与所述差值流量的大小匹配。优选地，所述将创建的ES-Data节点添加至所述ES集群中的步骤包括：在所述ES集群中建立Zen发现机制，并通过所述Zen发现机制将所述Kubernetes集群创建的ES-Data节点添加至所述ES集群中。优选地，所述将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力的步骤之后还包括；监测所述ELK日志系统的当前日志流量是否小于所述预设流量；及当所述ELK日志系统的当前日志流量小于所述预设流量时，将所述Kubernetes集群创建的ES-Data节点上的数据同步至所述ES集群，并在完成数据同步后释放所述Kubernetes集群创建的ES-Data节点。优选地，所述将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力的步骤之后还包括：监测所述ELK日志系统的当前日志流量是否小于所述预设流量且持续时间是否大于一预设时间；及当所述ELK日志系统的当前日志流量小于所述预设流量且持续时间大于所述预设时间时，将所述Kubernetes集群创建的ES-Data节点上的数据同步至所述ES集群，并在完成数据同步后释放所述Kubernetes集群创建的ES-Data节点。本申请一实施方式提供一种日志库扩容系统，所述系统包括：创建模块，用于创建一Kubernetes集群，其中所述Kubernetes集群独立于ELK日志系统的ES集群；获取模块，用于根据预设流量统计算法来获取所述ELK日志系统的当前日志流量；判断模块，用于判断所述获取得到的当前日志流量是否大于预设流量；及扩容模块，用于在所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点，并将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力。本申请一实施方式提供一种计算机装置，所述计算机装置包括处理器及存储器，所述存储器上存储有若干计算机程序，所述处理器用于执行存储器中存储的计算机程序时实现如前面所述的日志库扩容方法的步骤。本申请一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前面所述的日志库扩容方法的步骤。上述日志库扩容方法、系统、计算机装置及计算机可读存储介质，通过创建独立于ES集群的Kubernetes集群，来实现根据当前日志流量的大小动态地扩容ES集群，一旦侦测到流量超过预设流量时，调用Kubernetes创建ES-Data节点，从而增大ES集群的吞吐能力，在流量恢复正常后，还可以将Kubernetes动态创建出的ES-Data节点上的数据同步至ES集群，并释放Kubernetes动态创建出的ES-Data节点，使得ELK日志系统还可自动恢复至原来状态，扩容服务稳定，可靠性高，提升用户使用体验。附图说明为了更清楚地说明本专利技术实施方式的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中日志库扩容方法的步骤流程图。图2是本专利技术另一实施例中日志库扩容方法的步骤流程图。图3为本专利技术一实施例中日志库扩容系统的功能模块图。图4为本专利技术一实施例中计算机装置示意图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，所描述的实施方式仅仅是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本专利技术。优选地，本专利技术的日志库扩容方法应用在一个或者多个计算机装置中。所述计算机装置是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、可编程门阵列(Field－ProgrammableGateArray，FPGA)、数字处理器(DigitalSignalProcessor，DSP)、嵌入式设备等。所述计算机装置可以是桌上型计算机、笔记本电脑、平板电脑、本文档来自技高网...

【技术保护点】
1.一种日志库扩容方法，其特征在于，所述方法包括：创建一Kubernetes集群，其中所述Kubernetes集群独立于ELK日志系统的ES集群；根据预设流量统计算法来获取所述ELK日志系统的当前日志流量；判断所述获取得到的当前日志流量是否大于预设流量；及当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES‑Data节点，并将创建的ES‑Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力。

【技术特征摘要】
1.一种日志库扩容方法，其特征在于，所述方法包括：创建一Kubernetes集群，其中所述Kubernetes集群独立于ELK日志系统的ES集群；根据预设流量统计算法来获取所述ELK日志系统的当前日志流量；判断所述获取得到的当前日志流量是否大于预设流量；及当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点，并将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力。2.如权利要求1所述的日志库扩容方法，其特征在于，所述根据预设流量统计算法来获取所述ELK日志系统的当前日志流量的步骤包括：获取ELK日志系统的日志数据，并将所述日志数据进行解析与转换成统一的日志格式；及利用SQL语句提取以时间、IP地址为主字段的日志数据，并通过时间序列分析算法统计得到所述ELK日志系统的当前日志流量。3.如权利要求1所述的日志库扩容方法，其特征在于，所述当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点的步骤包括：获取所述ES集群中的每一ES-Data节点所占用的物理资源，其中所述物理资源包括CPU资源、内存资源及I/O资源；及当所述ES集群中存在一ES-Data节点所占用的物理资源超过预设资源时和/或当所述获取得到的当前日志流量大于所述预设流量时，调用所述Kubernetes集群创建ES-Data节点。4.如权利要求1所述的日志库扩容方法，其特征在于，所述当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点的步骤包括：当所述获取得到的当前日志流量大于所述预设流量时，计算所述当前日志流量与所述预设流量的差值流量；及根据所述差值流量调用所述Kubernetes集群创建一个或多个ES-Data节点，其中所述创建的ES-Data节点的个数与所述差值流量的大小匹配。5.如权利要求1-4任意一项所述的日志库扩容方法，其特征在于，所述将创建的ES-Data节点添加至所述ES集群中的步骤包括：在所述ES集群中建立Zen发现机制，并通过所述Zen发现机制将所述...

【专利技术属性】
技术研发人员：石晓龙，饶鑫，黄望，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44