一种日志报文数据格式识别方法及系统技术方案

本申请公开了一种日志报文数据格式识别方法及系统，涉及日志报文格式识别技术领域，公开了5个步骤，步骤1对日志报文解析规则的统计分析，基于其能解析的日志报文格式的特征，匹配第一标识信息，在步骤2中确定第一标识信息相对所述解析规则调用库的映射关系，步骤3基于过往的日志报文的接收过程中的特征，生成第一调用信息，结合日志报文需求进行联合分析，得到解析规则判断模型，步骤4基于解析规则判断模型生成初始解析规则策略，通过对初始解析规则策略中日志报文解析规则对应的第一标识信息进行需求满足能力评估，根据评估结果，对存在同时运行的日志解析规则进行资源分配，进而避免了日志报文的解析拥塞，提升系统对日志报文解析的效能。志报文解析的效能。志报文解析的效能。

【技术实现步骤摘要】
一种日志报文数据格式识别方法及系统


[0001]本专利技术涉及日志报文格式识别
，尤其是涉及一种日志报文数据格式识别方法及系统。

技术介绍

[0002]为了提升工作的效率，现有的各类生产单位均运用有各类辅助工作的工作系统，其中由于有些工作任务的完成需要多设备共同协调运行，为了实现多设备的共同协调运行，设备需要相互发送和接收各类日志报文，以了解不同端之间的运行情况，但是由于不同的设备对于日志报文的格式应用不同，所以不同设备端会事先存储有各类的日志报文解析规则，以实现对其他设备日志报文的读取和应用，常规的日志报文的读取方法是，首先对日志报文的特征进行确定，然后调用相对应的日志报文解析规则对其进行解析，但是，随着设备间对日志报文的发送与接收的体量的增多，对日志报文特征的识别以及日志报文解析规则的调用均要消耗过多的系统资源，进而造成日志报文的解析拥塞，为了避免这一问题，亟需改进日志报文格式的识别方法。

技术实现思路

[0003]本专利技术的目的是提供一种日志报文数据格式识别方法，包括：步骤1，对所有设备的日志报文解析规则进行统计分析，并基于所述日志报文解析规则所能解析的日志报文的特征匹配第一标识信息；步骤2，基于所有设备的日志报文解析规则，建立解析规则调用库，并基于所述第一标识信息，确定所述第一标识信息与所述解析规则调用库的映射关系；步骤3，基于过往日志报文接收的时间特征和来源设备，生成第一调用信息，并结合日志报文需求进行联合分析，得到用于确定初始解析规则策略的解析规则判断模型；步骤4，基于所述解析规则判断模型确定出初始解析规则策略，将所述初始解析规则策略中的日志报文解析规则对应的第一标识信息按照需求满足能力评估，并根据评估结果，对存在同时运行的日志解析规则进行资源分配，得到最终解析规则策略；步骤5，基于所述最终解析规则策略，确定在不同时间点调用日志报文解析规则、调用所述日志报文解析规则的时长和对每个日志报文解析规则的资源分配。
[0004]上述技术方案的优点在于，通过步骤1实现对日志报文解析规则的统计分析，并基于其所能解析的日志报文格式的特征，匹配第一标识信息，在步骤2中确定出第一标识信息相对所述解析规则调用库的映射关系，步骤3基于过往的日志报文的接收过程中的特征，生成第一调用信息，并结合日志报文需求进行联合分析，得到解析规则判断模型，步骤4基于解析规则判断模型生成初始解析规则策略，并通过对初始解析规则策略中日志报文解析规则对应的第一标识信息进行需求满足能力评估，并根据评估结果，对存在同时运行的日志解析规则进行资源分配，进而避免了日志报文的解析拥塞，提升系统对日志报文解析的效能。
[0005]在本申请的一些实施例中，为了能够区分日志报文，对方法做了如下完善，基于所述日志报文解析规则所能解析的日志报文的特征匹配第一标识信息，包括：基于日志报文的报文头，对对应的所述日志报文解析规则匹配第一标识元素；基于日志报文的优先级，对对应的所述日志报文解析规则匹配第二标识元素；基于日志报文的消息内容的字符数量所处区间，对对应的所述日志报文解析规则匹配第三标识元素。
[0006]在本申请的一些实施例中，为了能够在所述解析规则调用库内确定出对应的日志报文解析规则，确定所述第一标识信息与所述解析规则调用库的映射关系，包括：基于所述日志报文解析规则相对所述解析规则调用库内的存储位置，建立存储位置阵列{a1，a2，a3，
…
an}，其中，所述a1为第一存储位置，a2为第二存储位置，a3为第三存储位置，an为第n存储位置；基于第一标识信息和日志报文解析规则匹配关系，建立第一标识信息
‑
存储位置映射集{a1
‑
b1，a2
‑
b2，a3
‑
b3，
…
，an
‑
bn}，其中，a1
‑
b1为第一存储位置和位于第一存储位置的报文解析规则所对应的第一标识信息的映射关系组，a2
‑
b2为第二存储位置和位于第二存储位置的报文解析规则所对应的第一标识信息的映射关系组，a3
‑
b3为第三存储位置和位于第三存储位置的报文解析规则所对应的第一标识信息的映射关系组，an
‑
bn为第n存储位置和位于第n存储位置的报文解析规则所对应的第一标识信息的映射关系组。
[0007]在本申请的一些实施例中，为了能够得到初始解析规则策略，公开了一种生成解析规则判断模型的方法，得到用于确定初始解析规则策略的解析规则判断模型，包括：监控记录日志报文的接收时间点、接收时长以及来源设备，生成第一日志报文接收记录线，所述第一日志报文接收记录线跟随时间逐步演进；基于日志报文的接收时间点，在所述第一日志报文接收记录线的对应时间点设定第一标签；针对所述第一标签，配置有对应日志报文的接收时长以及来源设备；针对所述日志报文需求，在所述第一日志报文接收记录线上标记有第二标签，所述第二标签配置有所需发送日志报文的设备标识和所需的日志报文标识；监控记录日志报文解析规则应用的应用时间点和应用时长，生成第一日志报文解析规则应用记录线，所述第一日志报文解析规则应用记录线跟随时间逐步演进；针对日志报文解析规则，在所述第一日志报文解析规则应用记录线上标记第三标签，所述第三标签配置有日志报文解析规则的应用时长；对齐所述第一日志报文接收记录线和第一日志报文解析规则应用记录线，并根据所述第一日志报文接收记录线和第一日志报文解析规则应用记录线的关系特征，确定得到解析规则判断模型。
[0008]在本申请的一些实施例中，对得到解析规则判断模型的方法做了进一步公开，根据所述第一日志报文接收记录线和第一日志报文解析规则应用记录线的关系特征，确定得到解析规则判断模型，包括：将所述第一日志报文接收记录线的第一标签和第二标签的存在位置以及匹配内容进行特征参数化，得到第一输入参数组；将所述第一日志报文解析规则应用记录线的第三标签的存在位置以及匹配的内
容进行特征参数化，得到第一输出参数组；将所述第一输入参数组为输入参数，将所述第一输出参数组为输出参数，利用神经网络学习算法训练得到所述解析规则判断模型。
[0009]在本申请的一些实施例中，提，将所述初始解析规则策略中的日志报文解析规则的第一标识信息按照需求满足能力评估，包括：基于所述第一标识信息，确定不同日志报文解析规则所解析的日志报文的消息特征；基于不同的所述日志报文需求，对对应的日志报文配置第一需求权重因子；基于所述日志报文的消息特征，对对应的日志报文配置第一消息长度因子；基于所述第一需求权重因子和第一消息长度因子，确定单一日志报文对应的日志报文解析规则的满足能力值；确定日志报文解析规则的满足能力值的表达式为：；
[0010]其中，为第i个日志报文解析规则的满足能力值，为第i个日志报文解析规则所解析的日志报文的第n个第一需求权重因子，为第i个日志报文解析规则所解析的日志报文的第一消息长度因子的调整系数，为第i个日志报文解析规则所解析的日志报文的第一消息长度因本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志报文数据格式识别方法，其特征在于，包括：步骤1，对所有设备的日志报文解析规则进行统计分析，并基于所述日志报文解析规则所能解析的日志报文的特征匹配第一标识信息；步骤2，基于所有设备的日志报文解析规则，建立解析规则调用库，并基于所述第一标识信息，确定所述第一标识信息与所述解析规则调用库的映射关系；步骤3，基于过往日志报文接收的时间特征和来源设备，生成第一调用信息，并结合日志报文需求进行联合分析，得到用于确定初始解析规则策略的解析规则判断模型；步骤4，基于所述解析规则判断模型确定出初始解析规则策略，将所述初始解析规则策略中的日志报文解析规则对应的第一标识信息按照需求满足能力评估，并根据评估结果，对存在同时运行的日志解析规则进行资源分配，得到最终解析规则策略；步骤5，基于所述最终解析规则策略，确定在不同时间点调用日志报文解析规则、调用所述日志报文解析规则的时长和对每个日志报文解析规则的资源分配。2.根据权利要求1所述的一种日志报文数据格式识别方法，其特征在于，基于所述日志报文解析规则所能解析的日志报文的特征匹配第一标识信息，包括：基于日志报文的报文头，对对应的所述日志报文解析规则匹配第一标识元素；基于日志报文的优先级，对对应的所述日志报文解析规则匹配第二标识元素；基于日志报文的消息内容的字符数量所处区间，对对应的所述日志报文解析规则匹配第三标识元素。3.根据权利要求2所述的一种日志报文数据格式识别方法，其特征在于，确定所述第一标识信息与所述解析规则调用库的映射关系，包括：基于所述日志报文解析规则相对所述解析规则调用库内的存储位置，建立存储位置阵列{a1，a2，a3，
…
an}，其中，所述a1为第一存储位置，a2为第二存储位置，a3为第三存储位置，an为第n存储位置；基于第一标识信息和日志报文解析规则匹配关系，建立第一标识信息
‑
存储位置映射集{a1
‑
b1，a2
‑
b2，a3
‑
b3，
…
，an
‑
bn}，其中，a1
‑
b1为第一存储位置和位于第一存储位置的报文解析规则所对应的第一标识信息的映射关系组，a2
‑
b2为第二存储位置和位于第二存储位置的报文解析规则所对应的第一标识信息的映射关系组，a3
‑
b3为第三存储位置和位于第三存储位置的报文解析规则所对应的第一标识信息的映射关系组，an
‑
bn为第n存储位置和位于第n存储位置的报文解析规则所对应的第一标识信息的映射关系组。4.根据权利要求1所述的一种日志报文数据格式识别方法，其特征在于，得到用于确定初始解析规则策略的解析规则判断模型，包括：监控记录日志报文的接收时间点、接收时长以及来源设备，生成第一日志报文接收记录线，所述第一日志报文接收记录线跟随时间逐步演进；基于日志报文的接收时间点，在所述第一日志报文接收记录线的对应时间点设定第一标签；针对所述第一标签，配置有对应日志报文的接收时长以及来源设备；针对所述日志报文需求，在所述第一日志报文接收记录线上标记有第二标签，所述第二标签配置有所需发送日志报文的设备标识和所需的日志报文...

【专利技术属性】
技术研发人员：韩硕，戚红建，王宇飞，徐蕾，秦绪帅，朱梦迪，袁阳，潘中英，李亚楠，师凤瑞，
申请(专利权)人：中国华能集团有限公司北京招标分公司，
类型：发明
国别省市：