本申请提供了一种日志文件清理方法、系统及存储介质，根据日志类型将日志划分为多种日志，相应的生成多种日志索引文件；计算每一种日志索引文件的存储占比值以及所有日志索引文件的存储占比总值；当所有日志索引文件的存储占比总值大于或等于存储阈值时，将多种日志索引文件，根据清理优先级以及各自的存储占比值进行排序，得到排序的多种日志索引文件；顺序依次清理排序的多种日志索引文件，直至清理后的日志索引文件的存储占比总值小于存储阈值。本申请在现有日志索引清理基础上，增加通过分析日志索引存储百分比清理日志索引，解决了现在方案日志索引占用存储资源过大导致服务器异常的问题。务器异常的问题。务器异常的问题。
【技术实现步骤摘要】
日志文件清理方法、系统、装置及存储介质
[0001]本申请属于计算机
，具体地，涉及一种日志文件清理方法、系统、装置及存储介质。
技术介绍
[0002]当前云计算平台在使用微服务架构时，为了观察业务运行状态以及定位异常问题，每个微服务运行时会不断输出运行日志文件。而这些日志分布于每个微服务中，因此需要一个日志平台进行统一管理。但微服务产生的日志汇总到日志平台后，会大量占用存储空间和资源，因此，需要一种策略定时清理存储的旧日志数据。
[0003]具体的，日志采集时，一般使用日志采集工具，例如filebeat，Filebeat是本地文件的日志数据采集器，作为服务器上的代理安装，Filebeat监视日志目录或特定日志文件；然后通过转发工具，例如logstash转发给日志索引搜索工具，例如elasticsearch，elasticsearch是一个基于Lucene的搜索服务器。当日志被采集到索引后，由搜索服务器对外提供日志搜索服务。为了清理旧日志数据，会在搜索服务器中汇总每日收集的日志在同一个索引文件中，并在索引的命名中增加日期，以便按索引文件名中的日期来删除索引文件，以释放存储空间。
[0004]但现有的日志索引清理策略中，只考虑按日期清理日志索引，但每日产生的日志不是线性均匀的，若某日大量使用一些业务时，会产生远超平日的日志量。这种情况下，当日的日志索引会大量增长，若不能及时清理这些日志，存储资源会被大量占用，甚至超过存储资源容量，进而导致日志索引服务器异常，无法对外提供服务进行正常工作。
技术实现思路
[0005]本专利技术提出了一种日志文件清理方法、系统、装置及存储介质，旨在解决现有技术日志清理时不能及时日志文件，导致的资源浪费以及服务器异常的问题。
[0006]根据本申请实施例的第一个方面，提供了一种日志文件清理方法，包括以下步骤：
[0007]根据日志类型将日志划分为多种日志，相应的生成多种日志索引文件；
[0008]计算每一种日志索引文件的存储占比值以及所有日志索引文件的存储占比总值；
[0009]当所有日志索引文件的存储占比总值大于或等于存储阈值时，将多种日志索引文件，根据清理优先级以及各自的存储占比值进行排序，得到排序的多种日志索引文件；顺序依次清理排序的多种日志索引文件，直至清理后的日志索引文件的存储占比总值小于存储阈值。
[0010]在本申请一些实施方式中，当所有日志索引文件的存储占比总值小于存储阈值时，比较所有日志索引文件各自的记录日期，根据清理时限清理日志索引文件。
[0011]在本申请一些实施方式中，比较所有日志索引文件各自的记录日期，根据清理时限清理日志索引文件，具体包括：
[0012]比较所有日志索引文件各自的记录日期，当记录日期在清理时限内，则记录对应
的日志索引文件，得到待清理的日志索引文件；
[0013]通过文件清理工具清理待清理的日志索引文件。
[0014]在本申请一些实施方式中，通过文件清理工具清理待清理的日志索引文件，具体包括：
[0015]将待清理的日志索引文件，根据清理优先级进行排序，得到排序的待清理日志索引文件；
[0016]顺序依次清理排序的待清理日志索引文件。
[0017]在本申请一些实施方式中，将多种日志索引文件，根据清理优先级以及各自的存储占比值进行排序，得到排序的多种日志索引文件，具体包括：
[0018]获取每一种日志索引文件的清理优先级值；其中，日志索引文件的清理优先级越高，清理优先级值越大；
[0019]将每一种日志索引文件的存储占比值乘以各自的清理优先级值，得到每一种日志索引文件的排序值；
[0020]根据每一种日志索引文件的排序值将多种日志索引文件进行排序，得到排序的多种日志索引文件。
[0021]在本申请一些实施方式中，根据日志类型将日志划分为多种日志，相应的生成多种日志索引文件之后，还包括：
[0022]设定定时器；
[0023]根据定时器定时计算每一种日志索引文件的存储占比值以及所有日志索引文件的存储占比总值，并进行后续日志索引文件的清理。
[0024]在本申请一些实施方式中，根据日志类型将日志划分为多种日志，相应的生成多种原始日志索引文件，具体包括：
[0025]根据日志类型将日志划分为系统日志、诊断日志、普通日志以及剩余日志；
[0026]根据日志转发规则将系统日志、诊断日志、普通日志以及剩余日志生成系统日志索引文件、诊断日志索引文件、普通日志索引文件以及剩余日志索引文件。
[0027]根据本申请实施例的第二个方面，提供了一种日志文件清理系统，具体包括：
[0028]日志索引模块：用于根据日志类型将日志划分为多种日志，相应的生成多种日志索引文件；
[0029]存储占比值计算模块：用于计算每一种日志索引文件的存储占比值以及所有日志索引文件的存储占比总值；
[0030]第一清理模块：用于当所有日志索引文件的存储占比总值大于或等于存储阈值时，将多种日志索引文件，根据清理优先级以及各自的存储占比值进行排序，得到排序的多种日志索引文件；顺序依次清理排序的多种日志索引文件，直至清理后的日志索引文件的存储占比总值小于存储阈值。
[0031]根据本申请实施例的第三个方面，提供了一种日志文件清理设备，包括：存储器：用于存储可执行指令；以及处理器：用于与存储器连接以执行可执行指令从而完成日志文件清理方法。
[0032]根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现日志文件清理方法。
[0033]采用本申请实施例中的日志文件清理方法、系统及存储介质，根据日志类型将日志划分为多种日志，相应的生成多种日志索引文件；计算每一种日志索引文件的存储占比值以及所有日志索引文件的存储占比总值；当所有日志索引文件的存储占比总值大于或等于存储阈值时，将多种日志索引文件，根据清理优先级以及各自的存储占比值进行排序，得到排序的多种日志索引文件；顺序依次清理排序的多种日志索引文件，直至清理后的日志索引文件的存储占比总值小于存储阈值。本申请在现有日志索引清理基础上，增加通过分析日志索引存储百分比清理日志索引，解决了现在方案日志索引占用存储资源过大导致服务器异常的问题。
附图说明
[0034]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0035]图1中示出了根据本申请实施例的一种日志文件清理方法的步骤示意图；
[0036]图2中示出了根据本申请实施例的一种日志文件清理方法的流程示意图；
[0037]图3中示出了根据本申请实施例的一种日志文件清理系统的结构示意图；
[0038]图4中示出了根据本申请实施例的日志文件清理设备结构示意图。
具体实施方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种日志文件清理方法，其特征在于，包括以下步骤：根据日志类型将日志划分为多种日志，相应的生成多种日志索引文件；计算每一种所述日志索引文件的存储占比值以及所有日志索引文件的存储占比总值；当所有日志索引文件的存储占比总值大于或等于存储阈值时，将所述多种日志索引文件，根据清理优先级以及各自的存储占比值进行排序，得到排序的多种日志索引文件；顺序依次清理所述排序的多种日志索引文件，直至清理后的日志索引文件的存储占比总值小于存储阈值。2.根据权利要求1所述的日志文件清理方法，其特征在于，还包括：当所有日志索引文件的存储占比总值小于存储阈值时，比较所有日志索引文件各自的记录日期，根据清理时限清理日志索引文件。3.根据权利要求2所述的日志文件清理方法，其特征在于，所述比较所有日志索引文件各自的记录日期，根据清理时限清理日志索引文件，具体包括：比较所有日志索引文件各自的记录日期，当记录日期在清理时限内，则记录对应的日志索引文件，得到待清理的日志索引文件；通过文件清理工具清理所述待清理的日志索引文件。4.根据权利要求3所述的日志文件清理方法，其特征在于，所述通过文件清理工具清理所述待清理的日志索引文件，具体包括：将待清理的日志索引文件，根据清理优先级进行排序，得到排序的待清理日志索引文件；顺序依次清理所述排序的待清理日志索引文件。5.根据权利要求1所述的日志文件清理方法，其特征在于，所述将所述多种日志索引文件，根据清理优先级以及各自的存储占比值进行排序，得到排序的多种日志索引文件，具体包括：获取每一种日志索引文件的清理优先级值；其中，日志索引文件的清理优先级越高，日志索引文件的清理优先级值越大；将每一种日志索引文件的存储占比值乘以各自的清理优先级值，得到每一种日志索引文件的排序值；根据每一种日志索引文件的排序值将所述多种日志索引文件进...
【专利技术属性】
技术研发人员：吴雷，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。