数据处理方法及装置制造方法及图纸

本发明专利技术提供一种数据处理方法及装置，涉及数据处理技术领域，其中方法包括：获取待处理数据；获取用户对所述待处理数据配置的数据处理规则；基于所述数据处理规则对所述待处理数据进行处理。本发明专利技术在获取到待处理数据时，获取用户对待处理数据配置的数据处理规则，基于数据处理规则对待处理数据进行处理。可知，本发明专利技术是用户基于待处理数据配置对应的数据处理规则，实现了数据的灵活处理。实现了数据的灵活处理。实现了数据的灵活处理。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法及装置。

技术介绍

[0002]在业务开发过程中，不同用户在相同或类似的业务场景中有不同的数据处理需求，例如，用户A需要将自己的上下文数据及所有业务数据通过kafka外发给自己，用户B需要将有告警的业务数据通过syslog外发等。
[0003]相关技术中，通常是根据用户的需求，首先为每个用户定制一套数据处理流程，然后通过预先定制的数据处理流程处理每个用户需要处理的数据。
[0004]但上述相关技术中，若用户的需求发生改变或者增多，就需要不断对数据处理流程进行重新定制，从而降低了数据的处理灵活性。

技术实现思路

[0005]针对现有技术中的问题，本专利技术提供一种数据处理方法及装置。
[0006]本专利技术提供一种数据处理方法，包括：
[0007]获取待处理数据；
[0008]获取用户对所述待处理数据配置的数据处理规则；
[0009]基于所述数据处理规则对所述待处理数据进行处理。
[0010]根据本专利技术提供的一种数据处理方法，所述数据处理规则包括以下至少之一：数据解析规则、数据存储规则和数据发送规则。
[0011]根据本专利技术提供的一种数据处理方法，所述数据解析规则用于指示所述待处理数据的格式标识和待解析数据的第一标识；
[0012]所述基于所述数据处理规则对所述待处理数据进行处理，包括：
[0013]在所述数据处理规则包括所述数据解析规则时，基于所述待处理数据的格式标识确定目标解析器；
[0014]通过所述目标解析器从所述待处理数据中解析与所述第一标识匹配的数据，得到解析数据。
[0015]根据本专利技术提供的一种数据处理方法，所述数据存储规则用于指示待存储数据的第二标识；
[0016]所述基于所述数据处理规则对所述待处理数据进行处理，包括：
[0017]在所述数据处理规则包括所述数据存储规则、且所述待处理数据包括上下文数据时，从解析数据中确定与所述第二标识匹配的待存储数据；所述解析数据为从所述待处理数据中解析得到的数据；
[0018]在所述数据处理规则包括所述数据存储规则，且所述待处理数据包括非上下文数据时，从所述待处理数据中确定与所述第二标识匹配的待存储数据；
[0019]将所述待存储数据进行存储。
[0020]根据本专利技术提供的一种数据处理方法，所述数据发送规则用于指示待发送数据的第三标识；
[0021]所述基于所述数据处理规则对所述待处理数据进行处理，包括：
[0022]在所述数据处理规则包括所述数据发送规则、且所述待处理数据包括上下文数据时，从解析数据中确定与所述第三标识匹配的待发送数据；所述解析数据为从所述待处理数据中解析得到的数据；
[0023]在所述数据处理规则包括所述数据发送规则，且所述待处理数据包括非上下文数据时，从所述待处理数据中确定与所述第三标识匹配的待发送数据；
[0024]将所述待发送数据进行发送。
[0025]根据本专利技术提供的一种数据处理方法，所述数据发送规则还用于指示发送通道标识；
[0026]所述将所述待发送数据进行发送，包括：
[0027]基于所述发送通道标识确定目标发送通道；
[0028]将所述待发送数据通过所述目标发送通道进行发送。
[0029]根据本专利技术提供的一种数据处理方法，所述数据发送规则还用于指示待发送数据的格式标识；
[0030]所述将所述待发送数据进行发送，包括：
[0031]基于所述待发送数据的格式标识将所述待发送数据进行格式转换，得到第一目标发送数据；
[0032]将所述第一目标发送数据进行发送。
[0033]根据本专利技术提供的一种数据处理方法，所述数据发送规则还用于指示待发送数据的重组信息；
[0034]所述将所述待发送数据进行发送，包括：
[0035]基于所述待发送数据的重组信息将所述待发送数据的内容进行重组，得到第二目标发送数据；
[0036]将所述第二目标发送数据进行发送。
[0037]本专利技术还提供一种数据处理装置，包括：
[0038]第一获取单元，用于获取待处理数据；
[0039]第二获取单元，用于获取用户对所述待处理数据配置的数据处理规则；
[0040]处理单元，用于基于所述数据处理规则对所述待处理数据进行处理。
[0041]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据处理方法。
[0042]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据处理方法。
[0043]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据处理方法。
[0044]本专利技术提供的数据处理方法及装置，在获取到待处理数据时，获取用户对待处理数据配置的数据处理规则，基于数据处理规则对待处理数据进行处理。可知，本专利技术是用户
基于待处理数据配置对应的数据处理规则，实现了数据的灵活处理。
附图说明
[0045]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0046]图1是本专利技术实施例提供的数据处理方法的流程示意图之一；
[0047]图2是本专利技术实施例提供的数据处理方法的流程示意图之二；
[0048]图3是本专利技术实施例提供的解析流程示意图；
[0049]图4是本专利技术实施例提供的数据处理方法的流程示意图之三；
[0050]图5是本专利技术实施例提供的数据处理方法的流程示意图之四；
[0051]图6是本专利技术实施例提供的数据处理流程示意图之一；
[0052]图7是本专利技术实施例提供的数据处理流程示意图之二；
[0053]图8是本专利技术实施例提供的数据处理装置的结构示意图；
[0054]图9是本专利技术提供的电子设备的实体结构示意图。
具体实施方式
[0055]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0056]下面结合图1
‑
图7描述本专利技术的数据处理方法。
[0057]图1是本专利技术实施例提供的数据处理方法的流程示意图之一，如图1所示，该数据处理方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理数据；获取用户对所述待处理数据配置的数据处理规则；基于所述数据处理规则对所述待处理数据进行处理。2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理规则包括以下至少之一：数据解析规则、数据存储规则和数据发送规则。3.根据权利要求2所述的数据处理方法，其特征在于，所述数据解析规则用于指示所述待处理数据的格式标识和待解析数据的第一标识；所述基于所述数据处理规则对所述待处理数据进行处理，包括：在所述数据处理规则包括所述数据解析规则时，基于所述待处理数据的格式标识确定目标解析器；通过所述目标解析器从所述待处理数据中解析与所述第一标识匹配的数据，得到解析数据。4.根据权利要求2所述的数据处理方法，其特征在于，所述数据存储规则用于指示待存储数据的第二标识；所述基于所述数据处理规则对所述待处理数据进行处理，包括：在所述数据处理规则包括所述数据存储规则、且所述待处理数据包括上下文数据时，从解析数据中确定与所述第二标识匹配的待存储数据；所述解析数据为从所述待处理数据中解析得到的数据；在所述数据处理规则包括所述数据存储规则，且所述待处理数据包括非上下文数据时，从所述待处理数据中确定与所述第二标识匹配的待存储数据；将所述待存储数据进行存储。5.根据权利要求2所述的数据处理方法，其特征在于，所述数据发送规则用于指示待发送数据的第三标识；所述基于所述数据处理规则对所述待处理数据进行处理，包括：在所述数据处理规则包括所述数据发送规则、且所述待处理数据包括上下文数据时，从解析数据中确定与所述第三标识匹配的待发送数据；所述解析数据为从所述待处理数据中解析得到的数据；在所述数据处理规则包括所述数据发送规则，且所述待处理数...

【专利技术属性】
技术研发人员：魏恩军，袁瑞峰，
申请(专利权)人：奇安信科技集团股份有限公司，
类型：发明
国别省市：