日志数据的处理方法及装置制造方法及图纸

本发明专利技术实施例提供了一种日志数据的处理方法及装置，该方法包括：获取每条日志信息的标识码和参数数据，日志信息包括格式化数据和参数数据，标识码为原始日志数据中的每条日志信息对应的唯一日志生成标识；将各个日志信息的标识码、参数数据以及标识码与参数数据之间的对应关系生成日志文件，存储日志文件；在进行日志解析时，获取与日志文件对应的格式文件，格式文件包括原始日志数据中的每条日志信息的标识码、格式化数据以及标识码与格式化数据之间的对应关系；根据标识码对日志文件和格式文件进行解析，得到对应的日志信息。本发明专利技术能够极大减少日志数据占用的存储空间，提升写日志的性能，降低由于明文日志打印而导致泄密的风险。

Method and device for processing log data

The embodiment of the invention provides a processing method and apparatus for log data, the method comprises: acquiring each log information identification code and parameter data, log information including formatting data and parameter data, only log generation identification code for each log information of the original log data in the corresponding relation between log files; among the various log data and parameter identification code, identification code and data storage, log file; in log analysis, get the corresponding log file format file, the corresponding relationship between files including the original log data in each log information formatted data and identification code, identification code and data format according to the identification code; on the log file and the file format analysis, get the corresponding log information. The invention can greatly reduce the storage space occupied by the log data, improve the performance of the writing log, and reduce the risk of leakage caused by the print of the plaintext.

【技术实现步骤摘要】
日志数据的处理方法及装置
本专利技术涉及数据处理
，尤其涉及一种日志数据的处理方法及装置。
技术介绍
日志数据是通信系统中定位问题的重要数据。例如：某移动用户投诉，他在三天前某地方信号不好，打电话总是掉线。我们不能让客户重新回到原来的地方再打一次电话，只能通过后台存储的日志数据对问题进行分析定位。同时，系统后台可存储的日志数据量，对问题分析定位来说同样很重要。例如：一个通信系统后台只能存储1000MByte的日志数据，而每天会产生500MByte的日志数据，那么，此系统最多只能存储两天的日志数据，对于三天前出现的问题就无法定位，进而导致无法解决用户所投诉的三天以前出现的问题。而且，由于通信系统要求具备高实时性，日志的处理性能对通信系统的影响是非常大的。在实现本专利技术过程中专利技术人专利技术现有日志数据处理方法中至少存在以下问题：日志数据占用大量存储空间，进而影响系统性能；而且明文日志数据的打印也会导致泄密的风险。因此，如何提供一种能够安全、高效地存储更详细的日志数据，又不影响通信系统整体性能的日志数据处理方法具有重要意义。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的日志数据的处理方法及装置。本专利技术的一个方面，提供了一种日志数据的处理方法，该方法包括:获取每条日志信息的标识码和参数数据，所述日志信息包括格式化数据和参数数据，所述标识码为原始日志数据中的每条日志信息对应的唯一日志生成标识；将各个日志信息的标识码、参数数据以及标识码与参数数据之间的对应关系生成日志文件，存储所述日志文件；在进行日志解析时，获取与所述日志文件对应的格式文件，所述格式文件包括所述原始日志数据中的每条日志信息的标识码、格式化数据以及标识码与格式化数据之间的对应关系；根据所述标识码对所述日志文件和所述格式文件进行解析，得到对应的日志信息。其中，所述根据所述标识码对所述日志文件和所述格式文件进行解析，包括：将所述日志文件和所述格式文件中具有相同标识码的参数数据和格式化数据按照指定规则进行组合。其中，在所述获取每条日志信息的标识码和参数数据之前，还包括：读取所述原始日志数据，对所述原始日志数据中的每条日志信息进行编号，将对应编号作为所述日志信息的标识码；对所述原始日志数据进行解析，提取所述原始日志数据的每条日志信息中重复出现的格式化数据，将每条日志信息的格式化数据、标识码以及标识码与格式化数据之间的对应关系生成所述格式文件。其中，所述读取所述原始日志数据，对所述原始日志数据中的每条日志信息进行编号，包括：根据日志打印接口关键字从所述原始日志数据中读取日志信息，依次对读取的日志信息进行编号。其中，在所述根据所述标识码对所述日志文件和所述格式文件进行解析之后，所述方法还包括：将解析出的日志信息输出到指定文件。本专利技术的另一个方面，提供了一种日志数据的处理装置，该装置包括日志存储单元和日志解析单元，所述日志存储单元包括提取模块和第一生成模块，所述日志解析单元包括获取模块和解析模块:提取模块，用于提取每条日志信息的标识码和参数数据，所述日志信息包括格式化数据和参数数据，所述标识码为原始日志数据中的每条日志信息对应的唯一日志生成标识；第一生成模块，用于将各个日志信息的标识码、参数数据以及标识码与参数数据之间的对应关系生成日志文件，存储所述日志文件；获取模块，用于在进行日志解析时，获取与所述日志文件对应的格式文件，所述格式文件包括所述原始日志数据中的每条日志信息的标识码、格式化数据以及标识码与格式化数据之间的对应关系；解析模块，用于根据所述标识码对所述日志文件和所述格式文件进行解析，得到对应的日志信息。其中，所述解析模块，具体用于将所述日志文件和所述格式文件中具有相同标识码的参数数据和格式化数据按照指定规则进行组合，得到对应的日志信息。其中，所述装置还包括日志预处理单元，所述日志预处理单元包括标识模块和第二生成模块：标识模块，用于读取所述原始日志数据，对所述原始日志数据中的每条日志信息进行编号，将对应编号作为所述日志信息的标识码；第二生成模块，用于对所述原始日志数据进行解析，提取所述原始日志数据的每条日志信息中重复出现的格式化数据，将每条日志信息的格式化数据、标识码以及标识码与格式化数据之间的对应关系生成所述格式文件。此外，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。此外，本专利技术还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。本专利技术实施例提供的日志数据的处理方法及装置，针对现有日志数据处理方法中存在的问题，能够在不影响后期阅读的前提下，极大减少日志数据占用的存储空间，提升写日志的性能，降低由于明文日志打印而导致泄密的风险。本专利技术不仅安全、高效地存储更详细的日志数据，而且不会对通信系统的整体性能造成影响。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本专利技术实施例的一种日志数据的处理方法的流程图；图2为本专利技术另一实施例的一种日志数据的处理方法的流程图；图3为本专利技术另一实施例的一种日志数据的处理方法的具体实现流程；图4为本专利技术实施例的一种日志数据的处理装置的结构示意图；图5为本专利技术另一实施例的一种日志数据的处理装置的结构示意图；图6为本专利技术实施例的计算机设备的示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。本专利技术的目的在于，在不影响后期日志阅读的前提下，减少日志数据占用的存储空间，提升写日志的性能，降低由于明文日志打印而泄密的风险，为实现本专利技术的所述目的，本专利技术实施例提供了一种日志数据的处理方法。图1示意性示出了本专利技术一个实施例的日志数据的处理方法的流程图。参照图1，本专利技术实施例的日志数据的处理方法具体包括以下步骤：S11、获取每条日志信息的标识码和参数数据，所述日志信息包括格式化数据和参数数据，所述标识码为原始日志数据中的每条日志信息对应的唯一日志生成标识。其中，所述标识码可以为编号、标识等具有标识作用的字符。本实施例中的原始日志数据是指系统源代码，系统源代码中包本文档来自技高网...

【技术保护点】
一种日志数据的处理方法，其特征在于，包括:获取每条日志信息的标识码和参数数据，所述日志信息包括格式化数据和参数数据，所述标识码为原始日志数据中的每条日志信息对应的唯一日志生成标识；将各个日志信息的标识码、参数数据以及标识码与参数数据之间的对应关系生成日志文件，存储所述日志文件；在进行日志解析时，获取与所述日志文件对应的格式文件，所述格式文件包括所述原始日志数据中的每条日志信息的标识码、格式化数据以及标识码与格式化数据之间的对应关系；根据所述标识码对所述日志文件和所述格式文件进行解析，得到对应的日志信息。

【技术特征摘要】
1.一种日志数据的处理方法，其特征在于，包括:获取每条日志信息的标识码和参数数据，所述日志信息包括格式化数据和参数数据，所述标识码为原始日志数据中的每条日志信息对应的唯一日志生成标识；将各个日志信息的标识码、参数数据以及标识码与参数数据之间的对应关系生成日志文件，存储所述日志文件；在进行日志解析时，获取与所述日志文件对应的格式文件，所述格式文件包括所述原始日志数据中的每条日志信息的标识码、格式化数据以及标识码与格式化数据之间的对应关系；根据所述标识码对所述日志文件和所述格式文件进行解析，得到对应的日志信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述标识码对所述日志文件和所述格式文件进行解析，包括：将所述日志文件和所述格式文件中具有相同标识码的参数数据和格式化数据按照指定规则进行组合。3.根据权利要求1所述的方法，其特征在于，在所述获取每条日志信息的标识码和参数数据之前，还包括：读取所述原始日志数据，对所述原始日志数据中的每条日志信息进行编号，将对应编号作为所述日志信息的标识码；对所述原始日志数据进行解析，提取所述原始日志数据的每条日志信息中重复出现的格式化数据，将每条日志信息的格式化数据、标识码以及标识码与格式化数据之间的对应关系生成所述格式文件。4.根据权利要求2所述的方法，其特征在于，所述读取所述原始日志数据，对所述原始日志数据中的每条日志信息进行编号，包括：根据日志打印接口关键字从所述原始日志数据中读取日志信息，依次对读取的日志信息进行编号。5.根据权利要求1-4任一项所述的方法，其特征在于，在所述根据所述标识码对所述日志文件和所述格式文件进行解析之后，所述方法还包括：将解析出的日志信息输出到指定文件。6.一种日志数据的处理装置，其特征在于，包括日志存储单元和日志解析单...

【专利技术属性】
技术研发人员：孔令龙，
申请(专利权)人：京信通信系统中国有限公司，京信通信系统广州有限公司，京信通信技术广州有限公司，天津京信通信系统有限公司，
类型：发明
国别省市：广东,44