一种基于大数据的日志优化模型与方法技术

本申请提供一种基于大数据的日志优化模型与方法，涉及日志管理技术领域。该方法包括获取同类型存储数据库的历史参考日志数据，对历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库；结合日志编号检索表，将历史日志内容信息进行编号组合，形成历史日志内容记录库；获取历史日志处理信息，并对历史日志处理信息进行简化编号，形成日志处理检索表和历史日志处理内容库；结合日志处理检索表，形成历史日志记录及处理库；获取实时日志数据，并在历史日志记录及处理库中进行记录。该方法能够对日志数据进行合理的优化，以使其降低对存储空间的占有率，同时能够使日志数据记录更加高效。数据记录更加高效。数据记录更加高效。

【技术实现步骤摘要】
一种基于大数据的日志优化模型与方法


[0001]本申请涉及日志管理
，具体而言，涉及一种基于大数据的日志优化方法。

技术介绍

[0002]应用程序在运行的过程中会对自身的运行进行监控，并记录下实时运行状况下的各种事件。一方面便于利用日志对当时发生的状况进行数据的追溯，了解程序运行的具体情况，另一方面也能够形成应用程序的运行分析数据，便于对运行程序的优化和开发提供数据支持。
[0003]但当下对运行程序的日志记录主要还是直接进行程序事件的描述，其所产生的日志数据并没有进行整理和简化，致使随着日志记录越来越多，日志记录所占用的存储空间越来越大，反而成为应用程序运行的负担，大大降低程序运行的效率，也极大的浪费了存储空间。
[0004]因此，设计一种基于大数据的日志优化模型与方法能够对日志数据进行合理的优化，以使其降低对存储空间的占有率，同时能够使日志数据记录更加高效，是目前亟待解决的问题。

技术实现思路

[0005]本申请的目的在于提供一种基于大数据的日志优化方法，通过获取同类型存储数据库的日志数据，对日志数据的日志内容进行合理的编号化，进而简化日志记录的数据量，大大降低日志记录的存储量，有效节约数据存储的空间。对于日志内容一方面在基于记录时间的基础上形成时间维度上的内容记录库，另一方面也将编号对应的日志内容进行合理的统计整理后形成用于检索的编号索引表和内容库，这样就能够完整的保存日志内容的记录信息，在为日志记录提供简单有效的记录形式的前提下，也为记录内容进行了合理的整理归纳，便于进行对日志内容的分析时提供更加合理且有效的基础数据。另外，将日志处理信息也基于时间维度进行编号，并与内容记录库中日志内容的编号进行对应，形成完整的日志记录数据。对于后续实时获取的日志记录，则基于新建立的编号模型进行编号记录，保证日志记录能够实时进行优化。由于日志优化是基于大数据进行的，实时获取的日志记录基本上都是重复性的对比确认编号工作，所以也能够大大提高日志记录的效率。
[0006]本申请的目的还在于提供一种基于大数据的日志优化模型，通过不同的功能单元完成对日志的编号优化和对实时日志数据的高效记录，使日志记录得到合理的优化提升，同时保证了日志记录数据的完整性。
[0007]第一方面，本申请提供一种基于大数据的日志优化方法，包括获取同类型存储数据库的历史日志数据形成历史参考日志数据，并建立基于日志内容的编号简化模型，对历史参考日志数据中的历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库；结合日志编号检索表，将历史日志内容信息根据历史参考日志数据中的历史日志时间信息进行基于时间维度的编号组合，形成历史日志内容记录库；获取历史参考日志数据
中的历史日志处理信息，并建立基于处理信息的编号简化模型，对历史日志处理信息进行简化编号，形成日志处理检索表和历史日志处理内容库；结合日志处理检索表，并根据历史参考日志数据中的历史日志处理时间信息，对历史日志内容记录库进行处理信息的丰富，形成历史日志记录及处理库；获取实时日志数据，并根据实时日志数据在历史日志记录及处理库中进行记录。
[0008]在本申请中，该方法通过获取同类型存储数据库的日志数据，对日志数据的日志内容进行合理的编号化，进而简化日志记录的数据量，大大降低日志记录的存储量，有效节约数据存储的空间。对于日志内容一方面在基于记录时间的基础上形成时间维度上的内容记录库，另一方面也将编号对应的日志内容进行合理的统计整理后形成用于检索的编号索引表和内容库，这样就能够完整的保存日志内容的记录信息，在为日志记录提供简单有效的记录形式的前提下，也为记录内容进行了合理的整理归纳，便于进行对日志内容的分析时提供更加合理且有效的基础数据。另外，将日志处理信息也基于时间维度进行编号，并与内容记录库中日志内容的编号进行对应，形成完整的日志记录数据。对于后续实时获取的日志记录，则基于新建立的编号模型进行编号记录，保证日志记录能够实时进行优化。由于日志优化是基于大数据进行的，实时获取的日志记录基本上都是重复性的对比确认编号工作，所以也能够大大提高日志记录的效率。
[0009]作为一种可能的实现方式，获取同类型存储数据库的历史日志数据形成历史参考日志数据，并建立基于日志内容的编号简化模型，对历史参考日志数据中的历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库，包括：获取历史日志内容信息，并对历史日志内容信息中的每条日志内容进行碎片化以及变量与非变量的划分，形成初始单元日志内容组；对所有初始单元日志内容组进行基于记录对象的逻辑分析，形成结果单元日志内容组，结合所有结果单元日志内容组，形成结果单元日志内容组集；提取结果单元日志内容组集中所有结果单元日志内容组中的非变量，对非变量进行数量占比分析，并根据数量占比结果分析对非变量进行顺序排列，形成历史日志内容库；根据历史日志内容库中非变量的排列顺序进行编号，并根据所进行的基于记录对象的逻辑分析结果，确定不同编号的非变量下对应的变量取值，形成日志编号检索表。
[0010]在本申请中，在进行日志内容的优化时，考虑通常日志内容较为冗杂，为了更加简洁的反应所记录事件的情况，首先对日志内容进行碎片化，去除冗杂的记录描述，诸如分隔不同对象的分隔符号、不同代码之间的区分字符等。这样可以一定程度上降低后续所形成日志内容库的存储量。对于碎片化后的日志内容进行基于事件对象的分组，形成初始的单元日志内容组。再对初始单元日志内容组进行非变量的同类合并，进而将合并后形成结果单元日志内容组进行整理归纳形成历史日志内容库。这里，对非变量进行编号进而形成日志标号检索表主要考虑非变量为事件记录中最基础的固定参量，能够准确的表达具体的事件情况，而对于变量来说只是对非变量的程度描述，因而将非变量作为编号化的基础参量能够保留对事件具体情况的记录。另外，对于初始单元日志内容组的确定是根据每条日志记录内容中不同的记录对象来进行的。可以知道，在某一记录时间点上，可能会针对不同的对象进行同时记录，并一起存储形成这个记录时间点上的日志记录内容。而由于记录对象的不同所反映出的非变量和变量也完全不同，并且这些非变量和变量之间并不存在绝对的关联性，因此基于记录对象进行划分形成初始单元日志内容可以将具有高度关联性的参数
进行合理的归类，为后续的数据分析和编号检索提供便利。
[0011]作为一种可能的实现方式，对所有初始单元日志内容组进行基于记录对象的逻辑分析，形成结果单元日志内容组，包括：对初始单元日志内容组进行以下逻辑分析，并将同时满足以下逻辑分析条件的不同初始单元日志内容组进行合并：不同初始单元日志内容组中非变量的记录对象相同；不同初始单元日志内容组中非变量记录的事件相同；不同初始单元日志内容组中非变量对应的变量反应相同的事件状态；将合并后形成的单元日志内容组以及不需要进行合并的初始单元日志内容组确定为结果单元日志内容组。
[0012]在本申请中，为了保证所形成的历史日志内容记录库中不会出现相同的记录内容，在获取初始单元日志内容组后基于对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的日志优化方法，其特征在于，包括：获取同类型存储数据库的历史日志数据形成历史参考日志数据，并建立基于日志内容的编号简化模型，对所述历史参考日志数据中的历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库；结合所述日志编号检索表，将所述历史日志内容信息根据所述历史参考日志数据中的历史日志时间信息进行基于时间维度的编号组合，形成历史日志内容记录库；获取所述历史参考日志数据中的历史日志处理信息，并建立基于处理信息的编号简化模型，对所述历史日志处理信息进行简化编号，形成日志处理检索表和历史日志处理内容库；结合所述日志处理检索表，并根据所述历史参考日志数据中的历史日志处理时间信息，对所述历史日志内容记录库进行处理信息的丰富，形成历史日志记录及处理库；获取实时日志数据，并根据所述实时日志数据在所述历史日志记录及处理库中进行记录。2.根据权利要求1所述的基于大数据的日志优化方法，其特征在于，所述获取同类型存储数据库的历史日志数据形成历史参考日志数据，并建立基于日志内容的编号简化模型，对所述历史参考日志数据中的历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库，包括：获取所述历史日志内容信息，并对所述历史日志内容信息中的每条日志内容进行碎片化以及变量与非变量的划分，形成初始单元日志内容组；对所有所述初始单元日志内容组进行基于记录对象的逻辑分析，形成结果单元日志内容组，结合所有所述结果单元日志内容组，形成结果单元日志内容组集；提取所述结果单元日志内容组集中所有所述结果单元日志内容组中的非变量，对非变量进行数量占比分析，并根据数量占比结果分析对非变量进行顺序排列，形成所述历史日志内容库；根据所述历史日志内容库中非变量的排列顺序进行编号，并根据所进行的基于记录对象的逻辑分析结果，确定不同编号的非变量下对应的变量取值，形成所述日志编号检索表。3.根据权利要求2所述的基于大数据的日志优化方法，其特征在于，所述对所有所述初始单元日志内容组进行基于记录对象的逻辑分析，形成结果单元日志内容组，包括：对所述初始单元日志内容组进行以下逻辑分析，并将同时满足以下逻辑分析条件的不同所述初始单元日志内容组进行合并：不同所述初始单元日志内容组中所述非变量的记录对象相同；不同所述初始单元日志内容组中所述非变量记录的事件相同；不同所述初始单元日志内容组中所述非变量对应的变量反应相同的事件状态；将合并后形成的单元日志内容组以及不需要进行合并的所述初始单元日志内容组确定为所述结果单元日志内容组。4.根据权利要求3所述的基于大数据的日志优化方法，其特征在于，所述根据所述历史日志内容库中非变量的排列顺序进行编号，并根据所进行的基于记录对象的逻辑分析结果，确定不同编号的非变量下对应的变量取值，形成所述日志编号检索表，包括：遍历所述历史日志内容库中非变量的总数，根据总数确定编号位数，并对非变量按顺
序进行编号，且编号为非连续编号；对于进行合并形成的所述结果单元日志内容组，将合并前的多个所述初始单元日志内容组中的变量确定为所述结果单元日志内容组中非变量对应的变量的选择项；结合非变量、非变量对应的变量以及非变量对应的编号，形成所述日志编号检索表。5.根据权利要求4所述的基于大数据的日志优化方法，其特征在于，所述结合所述日志编号检索表，将所述历史日志内容信息根据所述历史参考日志数据中的历史日志时间信息进行基于时间维度的编号组合，形成历史日志内容记录库，包括：获取所述历史日志时间信息，确定每个日志记录时间点上包含的所述结果单元日志内容组，并结合所述日志编号检索表按照时间顺序确定每个所述日志记录时间点上的编号组合信息：，其中，t为按照时间顺序所确定的所述日志记录时间点的顺序号，t为非零自然数，A
n
表示在所述日志记录时间点上记录的第n个非变量编号，B
n

【专利技术属性】
技术研发人员：陈丽园，
申请(专利权)人：汇链通产业供应链数字科技厦门有限公司，
类型：发明
国别省市：