数据处理方法、数据采集系统、电子设备和存储介质技术方案

本申请公开了一种数据处理方法、数据处理系统、电子设备和存储介质。本申请实施方式的数据处理方法包括：获取多个目标节点和多个抓取节点；基于数据库类型，对多个目标节点和多个抓取节点进行分类；对同类别的多个抓取节点进行负载排序；根据排序结果为抓取节点分配同类别的目标节点，以使多个抓取节点之间的负载均衡。本申请中的数据处理方法，对获取到的多个目标节点和抓取节点，按照数据库类型，将生成同一数据库的指标数据的目标节点分为一类、将抓取同一数据库的指标数据的抓取节点分为一类，并对同类别的多个抓取节点进行负载排序，然后按照排序结果为抓取节点分配同类别的目标节点，保证抓取节点的负载均衡，提高抓取数据的稳定性。数据的稳定性。数据的稳定性。

【技术实现步骤摘要】
数据处理方法、数据采集系统、电子设备和存储介质


[0001]本申请涉及信息
，尤其涉及一种数据处理方法、数据采集系统、电子设备和存储介质。

技术介绍

[0002]监控作为底层基础设置的一环，是保证线上业务服务正常运行中必不可少的一环，通过设置的监控系统，服务开发和运维人员能够及时有效地发现服务运行的异常，而线上问题从发现到定位再到解决，都离不开作为监控基础功能之一的数据采集过程。然而，当现有的监控系统存在海量时序数据的监控节点需要抓取时，进行采集数据任务的抓取节点的任务分配会出现不均衡的状态。

技术实现思路

[0003]本申请实施方式提供一种数据处理方法、数据采集系统、电子设备和存储介质。
[0004]本申请实施方式的数据处理方法用于数据采集系统，所述数据处理方法包括：
[0005]获取多个目标节点和多个抓取节点；
[0006]基于数据库类型，对多个所述目标节点与多个所述抓取节点进行分类，所述目标节点能够提供对应所述数据库类型的时序数据，所述抓取节点能够抓取对应所述数据库类型的所述目标节点提供的时序数据；
[0007]对同类别的多个所述抓取节点进行负载排序；
[0008]根据排序结果为所述抓取节点分配同类别的所述目标节点，以使多个所述抓取节点之间的负载均衡。
[0009]本申请中的数据处理方法，对获取到的多个目标节点和抓取节点，按照数据库类型，将生成同一数据库的指标数据的目标节点分为一类、将抓取同一数据库的指标数据的抓取节点分为一类，并对同类别的多个抓取节点进行负载排序，然后按照排序结果为抓取节点分配同类别的目标节点，使得保证抓取节点的负载均衡，从而提高抓取数据的持久性和稳定性。
[0010]本申请实施方式中提供一种数据采集系统，所述数据采集系统包括：
[0011]目标节点；
[0012]抓取节点，用于抓取所述目标节点提供的时序数据；
[0013]调度节点，用于执行上述实施方式中的数据处理方法。
[0014]本申请实施方式提供一种电子设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以实现上述任一实施方式所述的数据处理方法。
[0015]本申请实施方式提供一种计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行以上任一实施方式所述的数据处理方法。
[0016]本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0017]本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
[0018]图1是本申请实施方式中的数据处理方法的流程示意图；
[0019]图2是本申请实施方式中的数据采集系统的结构示意图；
[0020]图3是本申请实施方式中的电子设备的结构示意图；
[0021]图4是本申请实施方式中的数据处理方法的流程示意图；
[0022]图5是本申请实施方式中的数据处理方法的流程示意图；
[0023]图6是本申请实施方式中的数据处理方法的流程示意图；
[0024]图7是本申请实施方式中的计算第一哈希值与第二哈希值的场景示意图；
[0025]图8是本申请实施方式中的数据处理方法的流程示意图；
[0026]图9是本申请实施方式中的计算第三哈希值与第四哈希值的场景示意图；
[0027]图10是本申请实施方式中的数据处理方法的流程示意图；
[0028]图11是本申请实施方式中的数据处理方法的流程示意图；
[0029]图12是本申请实施方式中的数据采集系统中调度节点的部署示意图。
[0030]主要元件符号说明：
[0031]数据采集系统100、目标节点11、抓取节点12、调度节点13、注册中心14、快照文件15、电子设备200、存储器21、处理器22。
具体实施方式
[0032]下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
[0033]下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
[0034]请参阅图1，本申请实施方式提供一种数据处理方法，数据处理方法包括：
[0035]步骤S10：获取多个目标节点11和多个抓取节点12；
[0036]步骤S20：基于数据库类型，对多个目标节点11与多个抓取节点12进行分类，目标节点11能够提供对应数据库类型的时序数据，抓取节点12能够抓取对应数据库类型的目标节点11提供的时序数据；
[0037]步骤S30：对同类别的多个抓取节点12进行负载排序；
[0038]步骤S40：根据排序结果为抓取节点12分配同类别的目标节点11，以使多个抓取节
点12之间的负载均衡。
[0039]请参阅图2，本申请实施方式提供一种数据采集系统100，数据采集系统100包括目标节点11、抓取节点12、调度节点13和注册中心14。其中，抓取节点12可以用于抓取目标节点11提供的时序数据，调度节点13可以实现本申请实施方式中的数据处理方法，目标节点11、抓取节点12和调度节点13能够与注册中心14进行信息交互。
[0040]本申请实施方式中的数据处理方法可以由本申请实施方式的数据采集系统100实现。例如，步骤S10、步骤S20、步骤S30与步骤S40可由数据采集系统100的调度节点13(schduler)实现。或者说，调度节点13用于获取多个目标节点11和多个抓取节点12，及用于基于数据库类型，对多个目标节点11与多个抓取节点12进行分类，目标节点11能够提供对应数据库类型的时序数据，抓取节点12能够抓取对应数据库类型的目标节点11提供的时序数据，及用于对同类别的多个抓取节点12进行负载排序，以及用于根据排序结果为抓取节点12分配同类别的目标节点11，以使多个抓取节点12之间的负载均衡。
[0041]请参阅图3，本申请还提供了一种电子设备200。其中，电子设备200包括存储器21和处理器22，存储器21用于存储计算机程序，处理器22可以执行计算机程序以实现本申请中的数据处理方法。处理器22与存储器21可以通过总线或者其他方式连接。
[0042]本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，用于数据采集系统，其特征在于，所述数据处理方法包括：获取多个目标节点和多个抓取节点；基于数据库类型，对多个所述目标节点与多个所述抓取节点进行分类，所述目标节点能够提供对应所述数据库类型的时序数据，所述抓取节点能够抓取对应所述数据库类型的所述目标节点提供的时序数据；对同类别的多个所述抓取节点进行负载排序；根据排序结果为所述抓取节点分配同类别的所述目标节点，以使多个所述抓取节点之间的负载均衡。2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：向注册中心发送分配完成的所述抓取节点与所述目标节点的对应关系，以使所述抓取节点能够从所述注册中心获取所述对应关系，并根据所述对应关系抓取对应的所述目标节点的时序数据。3.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：重新获取多个目标节点和多个抓取节点；在所述目标节点和所述抓取节点中的至少一个发生变化的情况下，更新所述抓取节点与所述目标节点的所述对应关系；在所述目标节点和所述抓取节点均未发生变化的情况下，维持原有的所述对应关系。4.根据权利要求3所述的数据处理方法，其特征在于，所述数据处理方法包括：获取上次计算同类别的所有所述目标节点的信息获得的第一哈希值，所述目标节点的信息包括节点地址、节点类型和所述数据库类型；计算当前的同类别的所有所述目标节点的信息并得到第二哈希值；在所述第一哈希值与所述第二哈希值不同的情况下，确认所述目标节点发生变化。5.根据权利要求3所述的数据处理方法，其特征在于，所述数据处理方法包括：。获取上次计算同类别的所有所述抓取节点的信息获得的第三哈希值，所述抓取节点的信息包括节点地址、节点类型和所述数据库类型；计算当前的同类别的所有所述抓取节点的信息并得到第四哈希值；在所述...

【专利技术属性】
技术研发人员：夏舰波，谢朝山，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：