一种数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置，可以按照预定义的报文采集规则，采集目标组件的至少一条日志报文；从各日志报文中，将存在有预设关键词的至少一条日志报文确定为目标日志报文；在目标日志报文中，分别统计各日志报文的预设关键词的关键词信息；从目标日志报文中，确定出关键词信息满足预定义告警规则的至少一条日志报文；分别针对关键词信息满足预定义告警规则的各日志报文，输出报文告警信息。本发明专利技术可以在确定目标组件处于异常状态或者即将进入异常状态时，输出报文告警信息进行告警，有效实现对目标组件的异常状态的告警，使得技术人员可以发现目标组件的异常状态，以快速的进行排障处理，保障业务处理效率。保障业务处理效率。保障业务处理效率。

【技术实现步骤摘要】
一种数据处理方法及装置


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法及装置。

技术介绍

[0002]随着计算机科学技术的发展，数据处理技术不断提高。
[0003]在大型互联网企业中，开展有多种交易系统。交易系统中可以包括有多个交易子系统，交易子系统中可以包括多个用于进行业务处理的组件，且交易子系统可以分布在多个部署单元中。而一个部署单元下可以设置有多台主机。
[0004]其中，组件在进行业务处理的过程中，可能会由于自身或者其他原因而处于处理速度慢、超时甚至是故障等异常状态。对此，现有技术需要及时对其异常状态进行告警，以快速进行排障处理，重新恢复对业务的正常处理能力，保障业务处理效率。
[0005]但是，现有技术无法有效的对组件的异常状态进行告警。

技术实现思路

[0006]鉴于上述问题，本专利技术提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法及装置，技术方案如下：
[0007]一种数据处理方法，包括：
[0008]按照预定义的报文采集规则，采集目标组件的至少一条日志报文；
[0009]从各所述日志报文中，将存在有预设关键词的至少一条所述日志报文确定为目标日志报文；
[0010]在所述目标日志报文中，分别统计各所述日志报文的所述预设关键词的关键词信息；
[0011]从所述目标日志报文中，确定出关键词信息满足预定义告警规则的至少一条所述日志报文；
[0012]分别针对关键词信息满足预定义告警规则的各所述日志报文，输出报文告警信息。
[0013]可选的，所述按照预定义的报文采集规则，采集目标组件的至少一条日志报文，包括：
[0014]从所述预定义的报文采集规则中，确定所述目标组件的报文采集信息和报文采集方式，所述报文采集信息中包括主机标识、日志文件路径和日志文件名称；
[0015]在所述主机标识对应的主机上，按照所述日志文件路径查找到所述日志文件名称对应的目标日志文件；
[0016]按照所述报文采集方式，从所述目标日志文件中采集所述目标组件的各所述日志报文。
[0017]可选的，在所述将存在有预设关键词的至少一条所述日志报文确定为目标日志报文之后，所述方法还包括：
[0018]在多个信息维度下，对所述存在有预设关键词的各所述日志报文进行分类，生成分类信息表；其中，所述多个信息维度包括：子系统、部署单元、主机、日志文件和/或关键字。
[0019]可选的，所述关键词信息包括第一关键词的数量；所述从所述目标日志报文中，确定出关键词信息满足预定义告警规则的至少一条所述日志报文，包括：
[0020]从所述目标日志报文中，将第一关键词的数量位于预定义区间内的各所述日志报文均确定为满足预定义告警规则的所述日志报文。
[0021]可选的，所述预定义告警规则包括次要告警规则和主要告警规则；所述从所述目标日志报文中，将第一关键词的数量位于预定义区间内的各所述日志报文均确定为满足预定义告警规则的所述日志报文，包括：
[0022]从所述目标日志报文中，将所述第一关键词的数量位于第一区间内的各所述日志报文均确定为满足所述次要告警规则的日志报文，将所述第一关键词的数量位于第二区间内的各所述日志报文均确定为满足所述主要告警规则的日志报文；所述第一区间为不小于第一数值而不大于第二数值的区间，第二区间为大于所述第二数值而不大于第三数值的区间。
[0023]可选的，所述方法还包括：
[0024]分别统计满足所述次要告警规则和所述主要告警规则的所述日志报文的数量。
[0025]可选的，在所述将存在有预设关键词的至少一条所述日志报文确定为目标日志报文之后，所述方法还包括：
[0026]统计在采集所述目标组件的日志报文的过程中已采集到的日志文件总数、日志报文总数和日志流量总数。
[0027]一种数据处理装置，包括：第一采集单元、第一确定单元、第一统计单元、第二确定单元和输出单元；其中：
[0028]所述第一采集单元，用于按照预定义的报文采集规则，采集目标组件的至少一条日志报文；
[0029]所述第一确定单元，用于从各所述日志报文中，将存在有预设关键词的至少一条所述日志报文确定为目标日志报文；
[0030]所述第一统计单元，用于在所述目标日志报文中，分别统计各所述日志报文的所述预设关键词的关键词信息；
[0031]所述第二确定单元，用于从所述目标日志报文中，确定出关键词信息满足预定义告警规则的至少一条所述日志报文；
[0032]所述输出单元，用于分别针对关键词信息满足预定义告警规则的各所述日志报文，输出报文告警信息。
[0033]可选的，所述第一采集单元包括：第三确定单元、查找单元和第二采集单元；
[0034]所述第三确定单元，用于从所述预定义的报文采集规则中，确定所述目标组件的报文采集信息和报文采集方式，所述报文采集信息中包括主机标识、日志文件路径和日志文件名称；
[0035]所述查找单元，用于在所述主机标识对应的主机上，按照所述日志文件路径查找到所述日志文件名称对应的目标日志文件；
[0036]所述第二采集单元，用于按照所述报文采集方式，从所述目标日志文件中采集所述目标组件的各所述日志报文。
[0037]可选的，所述装置还包括：分类单元；
[0038]所述分类单元，用于在所述将存在有预设关键词的至少一条所述日志报文确定为目标日志报文之后，在多个信息维度下，对所述存在有预设关键词的各所述日志报文进行分类，生成分类信息表；其中，所述多个信息维度包括：子系统、部署单元、主机、日志文件和/或关键字。
[0039]可选的，所述关键词信息包括第一关键词的数量；所述第二确定单元，用于从所述目标日志报文中，将第一关键词的数量位于预定义区间内的各所述日志报文均确定为满足预定义告警规则的所述日志报文。
[0040]可选的，所述预定义告警规则包括次要告警规则和主要告警规则；所述第二确定单元，用于从所述目标日志报文中，将所述第一关键词的数量位于第一区间内的各所述日志报文均确定为满足所述次要告警规则的日志报文，将所述第一关键词的数量位于第二区间内的各所述日志报文均确定为满足所述主要告警规则的日志报文；所述第一区间为不小于第一数值而不大于第二数值的区间，第二区间为大于所述第二数值而不大于第三数值的区间。
[0041]可选的，所述装置还包括：第二统计单元；
[0042]所述第二统计单元，用于分别统计满足所述次要告警规则和所述主要告警规则的所述日志报文的数量。
[0043]可选的，所述装置还包括：第三统计单元；
[0044]所述第三统计单元，用于在所述将存在有预设关键词的至少一条所述日志报文确定为目标日志报文之后，统计在采集所述目标组件的日志报文的过程中已采集到的日志文件总数、日志报文总数和日志流量总数。
[0045]本实施例提出的数据处理方法及装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：按照预定义的报文采集规则，采集目标组件的至少一条日志报文；从各所述日志报文中，将存在有预设关键词的至少一条所述日志报文确定为目标日志报文；在所述目标日志报文中，分别统计各所述日志报文的所述预设关键词的关键词信息；从所述目标日志报文中，确定出关键词信息满足预定义告警规则的至少一条所述日志报文；分别针对关键词信息满足预定义告警规则的各所述日志报文，输出报文告警信息。2.根据权利要求1所述的数据处理方法，其特征在于，所述按照预定义的报文采集规则，采集目标组件的至少一条日志报文，包括：从所述预定义的报文采集规则中，确定所述目标组件的报文采集信息和报文采集方式，所述报文采集信息中包括主机标识、日志文件路径和日志文件名称；在所述主机标识对应的主机上，按照所述日志文件路径查找到所述日志文件名称对应的目标日志文件；按照所述报文采集方式，从所述目标日志文件中采集所述目标组件的各所述日志报文。3.根据权利要求1所述的数据处理方法，其特征在于，在所述将存在有预设关键词的至少一条所述日志报文确定为目标日志报文之后，所述方法还包括：在多个信息维度下，对所述存在有预设关键词的各所述日志报文进行分类，生成分类信息表；其中，所述多个信息维度包括：子系统、部署单元、主机、日志文件和/或关键字。4.根据权利要求1所述的数据处理方法，其特征在于，所述关键词信息包括第一关键词的数量；所述从所述目标日志报文中，确定出关键词信息满足预定义告警规则的至少一条所述日志报文，包括：从所述目标日志报文中，将第一关键词的数量位于预定义区间内的各所述日志报文均确定为满足预定义告警规则的所述日志报文。5.根据权利要求4所述的数据处理方法，其特征在于，所述预定义告警规则包括次要告警规则和主要告警规则；所述从所述目标日志报文中，将第一关键词的数量位于预定义区间内的各所述日志报文均确定为满足预定义告警规则的所述日志报文，包括：从所述目标日志报文中，将所述第一关键词的数量位于第一区间内的各所述日志报文均确定为满足所述次要告警规则的日志报文，将所述第一关键词的数量位于第二区间内的各所述日志报文均确定为满足所述主要告警规则的日志报文；所述第一...

【专利技术属性】
技术研发人员：刘伯松，杨晓勤，李世宁，孙永敬，张明，李琪，李小波，高昊阳，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：