一种数据处理方法、装置、设备及存储介质制造方法及图纸

本申请涉及一种数据处理方法、装置、设备及存储介质，该方法包括：获取预设格式的待分析数据集合；获取规则集合；根据映射关系将待分析数据集合与规则集合进行匹配，得到匹配数据集合；映射关系包括待分析数据集合中每个待分析数据的标识和每个待分析数据的标识对应的规则的标识；匹配数据集合包括每个待分析数据和每个待分析数据对应的规则的类型；基于每个待分析数据对应的规则的类型，对匹配数据集合进行聚合处理，得到告警数据；告警数据中每个待分析数据对应的规则的类型为告警类型；基于告警数据生成告警提示信息。通过上述步骤对日志数据进行合理的分析处理，可以提高日志数据处理过程的有效性。据处理过程的有效性。据处理过程的有效性。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质


[0001]本申请涉及计算机
，特别涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]在企业级的业务运维和运营场景中，日志正扮演着越来越重要的角色。业务日志的简单本地化存储，很难挖掘日志背后真正的数据价值，因此，企业都是将所有服务器上的日志收集汇总，进行集中化的日志管理。
[0003]而将日志存储到集中的服务端后，如何将其处理成指导运维和指导运营的指标，成为企业日益迫切的需求。
[0004]目前，传统的日志统计和分析系统已经不能满足企业用户的核心需求，如何高效地处理和使用日志数据是亟需要解决的问题。

技术实现思路

[0005]本申请实施例提供了一种数据处理方法、装置、设备及存储介质，通过对日志数据进行合理的分析处理，可以提高日志数据处理过程的有效性。
[0006]一方面，本申请实施例提供了一种数据处理方法，包括：
[0007]获取预设格式的待分析数据集合；
[0008]获取规则集合；规则集合包括多个规则和多个规则中每个规则的标识、类型；
[0009]根据映射关系将待分析数据集合与规则集合进行匹配，得到匹配数据集合；映射关系包括待分析数据集合中每个待分析数据的标识和每个待分析数据的标识对应的规则的标识；匹配数据集合包括每个待分析数据和每个待分析数据对应的规则的类型；
[0010]基于每个待分析数据对应的规则的类型，对匹配数据集合进行聚合处理，得到告警数据；告警数据中每个待分析数据对应的规则的类型为告警类型；
[0011]基于告警数据生成告警提示信息。
[0012]可选的，获取预设格式的待分析数据，包括：
[0013]从消息中间件中获取指标类型对应的日志数据；
[0014]对日志数据进行解析，得到预设格式的待分析数据。
[0015]可选的，获取规则集合，包括：
[0016]获取来自预设存储区域的广播信息；广播信息包括规则集合；
[0017]其中，预设存储区域包括Mysql数据库或者Elasticsearch数据库。
[0018]可选的，每个待分析数据的标识包括应用标识和数据标识；
[0019]根据映射关系将待分析数据集合与规则集合进行匹配，得到匹配数据集合，包括：
[0020]针对待分析数据集合中每个待分析数据：根据每个待分析数据的应用标识和数据标识，从映射关系中确定每个待分析数据对应的规则的标识；
[0021]根据每个待分析数据对应的规则的标识，从规则集合中获取每个待分析数据对应
的规则，将每个待分析数据对应的规则与每个待分析数据进行组装，得到匹配数据集合。
[0022]可选的，基于每个待分析数据对应的规则的类型，对匹配数据集合进行聚合处理，得到告警数据，包括：
[0023]针对每个待分析数据：若待分析数据对应的规则的类型为告警类型，将待分析数据确定为待判断的告警数据，得到待判断的告警数据集合；
[0024]根据待判断的告警数据集合中每个待判断的告警数据对应的告警类型，进行第一次聚合处理，得到多个待判断的告警数据子集合；其中，多个待判断的告警数据子集合中每个待判断的告警数据子集合对应不同的告警类型；每个待判断的告警数据子集合中每个待判断的告警数据对应相同的告警类型；
[0025]针对每个待判断的告警数据子集合：进行第二次聚合处理，得到待判断的告警数据子集合对应的告警数据。
[0026]可选的，基于告警数据生成告警提示信息，包括：
[0027]获取历史参考数据；
[0028]根据告警数据和历史参考数据确定变化率；
[0029]若变化率不满足预设范围，生成对应的告警提示信息。
[0030]可选的，基于每个待分析数据对应的规则的类型，对匹配数据集合进行聚合处理，还包括：
[0031]针对每个待分析数据：若待分析数据对应的规则的类型为统计类型，将待分析数据确定为待统计数据，得到待统计数据集合；
[0032]对待统计数据集合进行聚合处理；
[0033]将聚合后的待统计数据发送至预设存储区域进行存储。
[0034]另一方面，本申请实施例提供了一种数据处理装置，包括：
[0035]第一获取模块，用于获取预设格式的待分析数据集合；
[0036]第二获取模块，用于获取规则集合；规则集合包括多个规则和多个规则中每个规则的标识、类型；
[0037]第一确定模块，用于根据映射关系将待分析数据集合与规则集合进行匹配，得到匹配数据集合；映射关系包括待分析数据集合中每个待分析数据的标识和每个待分析数据的标识对应的规则的标识；匹配数据集合包括每个待分析数据和每个待分析数据对应的规则的类型；
[0038]第二确定模块，用于基于每个待分析数据对应的规则的类型，对匹配数据集合进行聚合处理，得到告警数据；告警数据中每个待分析数据对应的规则的类型为告警类型；
[0039]生成模块，用于基于告警数据生成告警提示信息。
[0040]另一方面，本申请实施例提供了一种设备，设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行上述数据处理方法。
[0041]另一方面，本申请实施例提供了一种计算机存储介质，存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现上述数据处理方法。
[0042]本申请实施例提供的一种数据处理方法、装置、设备及存储介质具有如下有益效
果：
[0043]通过获取预设格式的待分析数据集合；获取规则集合；规则集合包括多个规则和多个规则中每个规则的标识、类型；根据映射关系将待分析数据集合与规则集合进行匹配，得到匹配数据集合；映射关系包括待分析数据集合中每个待分析数据的标识和每个待分析数据的标识对应的规则的标识；匹配数据集合包括每个待分析数据和每个待分析数据对应的规则的类型；基于每个待分析数据对应的规则的类型，对匹配数据集合进行聚合处理，得到告警数据；告警数据中每个待分析数据对应的规则的类型为告警类型；基于告警数据生成告警提示信息。通过上述步骤对日志数据进行合理的分析处理，可以提高日志数据处理过程的有效性。
附图说明
[0044]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]图1是本申请实施例提供的一种数据处理方法的流程示意图；
[0046]图2是本申请实施例提供的一种获取预设格式的待分析数据集合的流程示意图；
[0047]图3是本申请实施例提供的一种数据处理框架的示意图；
[0048]图4是本申请实施例提供的一种关于如何得到匹配数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取预设格式的待分析数据集合；获取规则集合；所述规则集合包括多个规则和所述多个规则中每个规则的标识、类型；根据映射关系将所述待分析数据集合与所述规则集合进行匹配，得到匹配数据集合；所述映射关系包括所述待分析数据集合中每个待分析数据的标识和所述每个待分析数据的标识对应的规则的标识；所述匹配数据集合包括所述每个待分析数据和所述每个待分析数据对应的规则的类型；基于所述每个待分析数据对应的规则的类型，对所述匹配数据集合进行聚合处理，得到告警数据；所述告警数据中每个待分析数据对应的规则的类型为告警类型；基于所述告警数据生成告警提示信息。2.根据权利要求1所述的方法，其特征在于，所述获取预设格式的待分析数据，包括：从消息中间件中获取指标类型对应的日志数据；对所述日志数据进行解析，得到所述预设格式的待分析数据。3.根据权利要求1所述的方法，其特征在于，所述获取规则集合，包括：获取来自预设存储区域的广播信息；所述广播信息包括所述规则集合；其中，所述预设存储区域包括Mysql数据库或者Elasticsearch数据库。4.根据权利要求1所述的方法，其特征在于，所述每个待分析数据的标识包括应用标识和数据标识；所述根据映射关系将所述待分析数据集合与所述规则集合进行匹配，得到匹配数据集合，包括：针对所述待分析数据集合中每个待分析数据：根据所述每个待分析数据的应用标识和数据标识，从所述映射关系中确定所述每个待分析数据对应的规则的标识；根据所述每个待分析数据对应的规则的标识，从所述规则集合中获取所述每个待分析数据对应的规则，将所述每个待分析数据对应的规则与所述每个待分析数据进行组装，得到所述匹配数据集合。5.根据权利要求1所述的方法，其特征在于，所述基于所述每个待分析数据对应的规则的类型，对所述匹配数据集合进行聚合处理，得到告警数据，包括：针对所述每个待分析数据：若所述待分析数据对应的规则的类型为告警类型，将所述待分析数据确定为待判断的告警数据，得到待判断的告警数据集合；根据所述待判断的告警数据集合中每个待判断的告警数据对应的告警类型，进行第一次聚合处理，得到多个待判断的告警数据子集合；其中，所述多个待判断的告警数据子集合中每...

【专利技术属性】
技术研发人员：诸葛晓亚，
申请(专利权)人：杭州优行科技有限公司，
类型：发明
国别省市：