一种数据处理方法及装置制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法及装置，所述数据处理方法包括：采集器管理器确定第一业务数据的数据类型，第一业务数据是采集器通过预设端口采集得到的；采集器管理器根据数据类型，确定采集器处理第一业务数据所需的各类资源的资源量，资源包括CPU资源、内存资源或者输入输出端口IO资源；采集器管理器根据采集器所需的资源量，向采集器分配资源。采用本发明专利技术实施例，可有效提高采集器的数据处理效率。

Data processing method and device

The embodiment of the invention discloses a method and a device for processing data, the data processing method includes: acquisition manager to determine the first business data types, the first business data is collected by the collector through the preset port; the collector manager according to the data type, determine the collector to deal with all kinds of resources required for the first business the data resources, including CPU resource and memory resource input or output port of the IO resource manager according to the amount of resources; collector collector is required, to allocate resources. By adopting the embodiment of the invention, the data processing efficiency of the collector can be effectively improved.

【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术涉及计算机应用
，尤其涉及一种数据处理方法及装置。
技术介绍
随着互联网的发展，计算机需要处理的数据与日俱增，例如网络日志，通过路由器或者防火墙等配置的配置信息，登录或者支付等过程中的认证信息等。以网络日志为例，网络日志的数据量越来越大，对日志系统的日志采集能力的要求也就越来越高。传统的日志系统通过增加日志采集器的数量的方式提高日志采集能力，日志采集器用于对采集到的网络日志进行结构解析，并将结构解析得到的网络日志进行IO存储或者数据上报。但是，增加日志采集器的数量，将增加终端运营成本，并且无法有效提升日志采集器的日志采集能力。
技术实现思路
本申请提供一种数据处理方法及装置，用以提高采集器的数据处理效率。第一方面提供了一种数据处理方法，包括：采集器管理器确定第一业务数据的数据类型，所述第一业务数据是采集器通过预设端口采集得到的；所述采集器管理器根据所述数据类型，确定所述采集器处理所述第一业务数据所需的各类资源的资源量，所述资源包括CPU资源、内存资源或者IO资源；所述采集器管理器根据所述采集器所需的资源量，向所述采集器分配所述资源。在第一种可能的实现方式中，所述采集器管理器根据所述数据类型，确定所述采集器处理所述第一业务数据所需的各类资源的资源量，包括：所述采集器管理器确定所述第一业务数据的数据量与所述采集器当前需要处理的所有业务数据的数据量之间的比值；所述采集器管理器根据所述第一业务数据的数据类型，从预先存储的数据类型与资源耗费指数的对应关系中，获取所述采集器处理所述第一业务数据时的耗费指数，所述资源耗费指数包括至少两个维度，每个维度对应一类资源且与其他维度对应的资源不同，所述资源耗费指数中每个维度的值是通过预先比较所述采集器在处理相同数量的不同数据类型的业务数据时，所消耗的该维度对应资源的相对量而确定的；所述采集器管理器将所述采集器处理所述第一业务数据时的耗费指数与所述比值相乘，得到需要给所述采集器分配的所述资源的资源量。结合第一方面或者第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述采集器通过至少两个业务进程分阶段地顺序处理所述第一业务数据，每个业务进程分别对应一个处理阶段；所述采集器管理器根据所述采集器所需的资源量，向所述采集器分配所述资源，包括：针对每个业务进程，所述采集器管理器根据所述第一业务数据的数据类型，从预先存储的业务进程与资源权值的对应关系中，获取所述业务进程处理所述第一业务数据时所需各类资源的权值，所述资源权值包括至少两个维度，每个维度对应一类资源且与其他维度对应的资源不同；所述采集器管理器将所述业务进程处理所述第一业务数据时所需资源的权值与所述采集器所需的所述资源的资源量相乘，得到所述业务进程处理所述第一业务数据所需的所述资源的资源量；所述采集器管理器根据所述业务进程所需的资源量，向所述业务进程分配所述资源。结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述采集器管理器根据所述业务进程所需的资源量，向所述业务进程分配所述资源之后，还包括：所述采集器管理器监测所述业务进程对所述资源的资源使用量；当所述业务进程对所述资源的资源使用量与分配给所述业务进程的所述资源的资源量之间的差值大于预设阈值时，所述采集器管理器调整分配给所述业务进程的所述资源的资源量。结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述采集器管理器调整分配给所述业务进程的所述资源的资源量，包括：如果所述业务进程对所述资源的资源使用量大于分配给所述业务进程的所述资源的资源量，所述采集器管理器增加分配给所述业务进程的所述资源的资源量；如果所述业务进程所使用的所述资源的资源量小于分配给所述业务进程的所述资源的资源量，所述采集器管理器减少分配给所述业务进程的所述资源的资源量。结合第一方面或者第一方面的第一种至第四种中任一种可能的实现方式，在第五种可能的实现方式中，所述业务数据为网络日志，所述网络日志的数据类型包括syslog、sessionlog、netflow或者dataflow。结合第一方面的第二种至第四种中任一种可能的实现方式，在第六种可能的实现方式中，所述至少两个业务进程包括：用于执行日志接收和结构化处理的第一业务进程，用于IO存储的第二业务进程和用于数据上报的第三业务进程。第二方面提供一种数据处理方法，其特征在于，包括：采集器通过预设端口采集第一业务数据；所述采集器获取采集器管理器根据所述采集器处理所述第一业务数据时所需的各类资源的资源量分配的所述资源，所述采集器所需的资源量是所述采集器管理器根据所述第一业务数据的数据类型确定得到的，所述资源包括CPU资源、内存资源或者IO资源；所述采集器使用所述资源处理所述第一业务数据。在第二方面的第一种可能的实现方式中，所述采集器通过至少两个业务进程分阶段地顺序处理所述第一业务数据，每个业务进程分别对应一个处理阶段；所述采集器获取采集器管理器根据所述采集器处理所述第一业务数据时所需的各类资源的资源量分配的所述资源，包括：所述采集器通过各个所述业务进程获取所述采集器管理器根据所述业务进程处理所述第一业务数据时所需各类资源的资源量分配的所述资源；所述采集器使用所述资源处理所述第一业务数据，包括：所述采集器通过各个所述业务进程使用所述资源处理所述第一业务数据。结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述第一业务数据为网络日志，所述网络日志的数据类型包括syslog、sessionlog、netflow或者dataflow；所述至少两个业务进程包括：用于执行日志接收和结构化处理的第一业务进程，用于IO存储的第二业务进程和用于数据上报的第三业务进程。结合第二方面的第一种或者第二种可能的实现方式，在第三种可能的实现方式中，所述第一业务进程，用于将所述网络日志存储到所述第一业务进程的第一内存中，对所述第一内存中的网络日志进行结构解析，并将结构解析得到的网络日志存储到第二内存中，所述第二内存包括至少一个结构解析得到的网络日志；所述第二业务进程，用于对所述第二内存中结构解析得到的网络日志进行IO存储；所述第三业务进程，用于对所述第二内存中结构解析得到的网络日志进行数据上报。结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述采集器通过至少两个业务进程分阶段地顺序处理所述第一业务数据之后，还包括：所述采集器监测所述第二业务进程进行IO存储时读取所述结构解析得到的网络日志的第一数据量；所述采集器监测所述第三业务进程进行数据上报时读取所述结构解析得到的网络日志的第二数据量；所述采集器在所述第一数据量和第二数据量中确定最小数据量；所述采集器从所述第二内存中删除所述结构解析得到的网络日志中满足所述最小数据量的数据。第三方面提供了一种数据处理装置，包括：数据类型确定单元，用于确定第一业务数据的数据类型，所述第一业务数据是采集器通过预设端口采集得到的；资源量确定单元，用于根据所述数据类型确定单元确定得到的数据类型，确定所述采集器处理所述第一业务数据所需的各类资源的资源量，所述资源包括CPU资源、内存资源或者IO资源；资源分配单元，用于根据所述资源量确定单元确定得到的所本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：采集器管理器确定第一业务数据的数据类型，所述第一业务数据是采集器通过预设端口采集得到的；所述采集器管理器根据所述数据类型，确定所述采集器处理所述第一业务数据所需的各类资源的资源量，所述资源包括CPU资源、内存资源或者输入输出端口IO资源；所述采集器管理器根据所述采集器所需的资源量，向所述采集器分配所述资源。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：采集器管理器确定第一业务数据的数据类型，所述第一业务数据是采集器通过预设端口采集得到的；所述采集器管理器根据所述数据类型，确定所述采集器处理所述第一业务数据所需的各类资源的资源量，所述资源包括CPU资源、内存资源或者输入输出端口IO资源；所述采集器管理器根据所述采集器所需的资源量，向所述采集器分配所述资源。2.如权利要求1所述的方法，其特征在于，所述采集器管理器根据所述数据类型，确定所述采集器处理所述第一业务数据所需的各类资源的资源量，包括：所述采集器管理器确定所述第一业务数据的数据量与所述采集器当前需要处理的所有业务数据的数据量之间的比值；所述采集器管理器根据所述第一业务数据的数据类型，从预先存储的数据类型与资源耗费指数的对应关系中，获取所述采集器处理所述第一业务数据时的耗费指数，所述资源耗费指数包括至少两个维度，每个维度对应一类资源且与其他维度对应的资源不同，所述资源耗费指数中每个维度的值是通过预先比较所述采集器在处理相同数量的不同数据类型的业务数据时，所消耗的该维度对应资源的相对量而确定的；所述采集器管理器将所述采集器处理所述第一业务数据时的耗费指数与所述比值相乘，得到需要给所述采集器分配的所述资源的资源量。3.如权利要求1或者2所述的方法，其特征在于，所述采集器通过至少两个业务进程分阶段地顺序处理所述第一业务数据，每个业务进程分别对应一个处理阶段；所述采集器管理器根据所述采集器所需的资源量，向所述采集器分配所述资源，包括：针对每个业务进程，所述采集器管理器根据所述第一业务数据的数据类型，从预先存储的业务进程与资源权值的对应关系中，获取所述业务进程处理所述第一业务数据时所需各类资源的权值，所述资源权值包括至少两个维度，每个维度对应一类资源且与其他维度对应的资源不同；所述采集器管理器将所述业务进程处理所述第一业务数据时所需资源的权值与所述采集器所需的所述资源的资源量相乘，得到所述业务进程处理所述第一业务数据所需的所述资源的资源量；所述采集器管理器根据所述业务进程所需的资源量，向所述业务进程分配所述资源。4.如权利要求3所述的方法，其特征在于，所述采集器管理器根据所述业务进程所需的资源量，向所述业务进程分配所述资源之后，还包括：所述采集器管理器监测所述业务进程对所述资源的资源使用量；当所述业务进程对所述资源的资源使用量与分配给所述业务进程的所述资源的资源量之间的差值大于预设阈值时，所述采集器管理器调整分配给所述业务进程的所述资源的资源量。5.如权利要求4所述的方法，其特征在于，所述采集器管理器调整分配给所述业务进程的所述资源的资源量，包括：如果所述业务进程对所述资源的资源使用量大于分配给所述业务进程的所述资源的资源量，所述采集器管理器增加分配给所述业务进程的所述资源的资源量；如果所述业务进程所使用的所述资源的资源量小于分配给所述业务进程的所述资源的资源量，所述采集器管理器减少分配给所述业务进程的所述资源的资源量。6.如权利要求1～5任一项所述的方法，其特征在于，所述业务数据为网络日志，所述网络日志的数据类型包括系统日志syslog、会话日志sessionlog、网络流量日志netflow或者数据流日志dataflow。7.如权利要求3～5任一所述的方法，其特征在于，所述至少两个业务进程包括：用于执行日志接收和结构化处理的第一业务进程，用于IO存储的第二业务进程和用于数据上报的第三业务进程。8.一种数据处理方法，其特征在于，包括：采集器通过预设端口采集第一业务数据；所述采集器获取采集器管理器根据所述采集器处理所述第一业务数据时所需的各类资源的资源量分配的所述资源，所述采集器所需的资源量是所述采集器管理器根据所述第一业务数据的数据类型确定得到的，所述资源包括CPU资源、内存资源或者IO资源；所述采集器使用所述资源处理所述第一业务数据。9.如权利要求8所述的方法，其特征在于，所述采集器通过至少两个业务进程分阶段地顺序处理所述第一业务数据，每个业务进程分别对应一个处理阶段；所述采集器获取采集器管理器根据所述采集器处理所述第一业务数据时所需的各类资源的资源量分配的所述资源，包括：所述采集器通过各个所述业务进程获取所述采集器管理器根据所述业务进程处理所述第一业务数据时所需各类资源的资源量分配的所述资源；所述采集器使用所述资源处理所述第一业务数据，包括：所述采集器通过各个所述业务进程使用所述资源处理所述第一业务数据。10.如权利要求9所述的方法，其特征在于，所述第一业务数据为网络日志，所述网络日志的数据类型包括syslog、sessionlog、netflow或者dataflow；所述至少两个业务进程包括：用于执行日志接收和结构化处理的第一业务进程，用于IO存储的第二业务进程和用于数据上报的第三业务进程。11.如权利要求9或者10所述的方法，其特征在于，所述第一业务进程，用于将所述网络日志存储到所述第一业务进程的第一内存中，对所述第一内存中的网络日志进行结构解析，并将结构解析得到的网络日志存储到第二内存中，所述第二内存包括至少一个结构解析得到的网络日志；所述第二业务进程，用于对所述第二内存中结构解析得到的网络日志进行IO存储；所述第三业务进程，用于对所述第二内存...

【专利技术属性】
技术研发人员：顾传彪，
申请(专利权)人：杭州华为企业通信技术有限公司，
类型：发明
国别省市：浙江,33