本发明专利技术公开了一种复杂网络的数据分布式采集方法和装置，方法包括：遍历复杂网络中的所有采集器和所有交换机，以获取每个采集器和每个交换机在复杂网络中的链路拓扑结构；基于链路拓扑结构将复杂网络中的所有采集器和所有交换机划分到多个网络层级中；在第一采集器所在的网络层级中确定一个距离第一采集器最近的第二采集器来执行第一采集器的采集任务；在连接到第一采集器的第一交换机所在的网络层级中确定一个距离第一交换机最近的第二交换机。本发明专利技术能够对网络拓扑结构保持敏感，根据网络拓扑结构和数据输入输出要求来适应性地调整采集任务的分配。地调整采集任务的分配。地调整采集任务的分配。
【技术实现步骤摘要】
一种复杂网络的数据分布式采集方法和装置
[0001]本专利技术涉及数据采集领域，更具体地，特别是指一种复杂网络的数据分布式采集方法和装置。
技术介绍
[0002]目前复杂网络的采集器有两种功能：一是采集基础设施的带外带内信息上报给复杂网络；二是作为一个负载均衡器。如果当前网络中有数个采集器，则这些采集器会均摊这些设备。如果有采集器服务出现异常，则复杂网络会自动把该采集器上绑定的资源自动绑定到其他采集器。
[0003]现有技术通常随机或选用一个负载较低的采集器绑定上资源。对于复杂网络来说采集器是IO(输入输出)密集型而不是计算密集型，所以对系统负载要求要小于对IO的要求。现有技术方案的问题是对于网络环境不敏感，各个采集器之间无法感知到其他采集器的网络层级，因此无法根据网络拓扑调整采集任务的分配。
[0004]针对现有技术的采集器无法根据网络拓扑调整采集任务的分配的问题，目前尚无有效的解决方案。
技术实现思路
[0005]有鉴于此，本专利技术实施例的目的在于提出一种复杂网络的数据分布式采集方法和装置，能够对网络拓扑结构保持敏感，根据网络拓扑结构和数据输入输出要求来适应性地调整采集任务的分配。
[0006]基于上述目的，本专利技术实施例的第一方面提供了一种复杂网络的数据分布式采集方法，包括执行以下步骤：
[0007]遍历复杂网络中的所有采集器和所有交换机，以获取每个采集器和每个交换机在复杂网络中的链路拓扑结构；
[0008]基于链路拓扑结构将复杂网络中的所有采集器和所有交换机划分到多个网络层级中；
[0009]响应于确定第一采集器离线，而在第一采集器所在的网络层级中确定一个距离第一采集器最近的第二采集器来执行第一采集器的采集任务；
[0010]响应于未能确定第二采集器，而在连接到第一采集器的第一交换机所在的网络层级中确定一个距离第一交换机最近的第二交换机，并确定一个连接到第二交换机并且距离第二交换机最近的第三采集器来执行第一采集器的采集任务。
[0011]在一些实施方式中，每个采集器均连接到多个基础设施；执行采集任务为从基础设施采集并向上一网络层级输出带内和带外数据信息，其中基础设施包括服务器、存储设备、网络设备、和防火墙。
[0012]在一些实施方式中，获取每个采集器和每个交换机在复杂网络中的链路拓扑结构包括：获取每个采集器和每个交换机在复杂网络中的每一条链路以及物理传输速度。
[0013]在一些实施方式中，确定一个距离第一采集器最近的第二采集器包括：响应于同时存在多个距离第一采集器最近的采集器，而选择到第一采集器的物理传输速度最大的链路的采集器作为第二采集器。
[0014]在一些实施方式中，确定一个距离第一交换机最近的第二交换机包括：响应于同时存在多个距离第一交换机最近的交换机，而选择到第一交换机的物理传输速度最大的链路的交换机作为第二交换机；
[0015]确定一个连接到第二交换机并且距离第二交换机最近的第三采集器包括：响应于同时存在多个距离第二交换机最近的采集器，而选择到第二交换机的物理传输速度最大的链路的采集器作为第三采集器。
[0016]在一些实施方式中，确定第一采集器离线包括：
[0017]持续监听第一采集器的心跳信号，并响应于第一采集器的心跳信号停止而检测第一采集器的连通性；
[0018]响应于检测到第一采集器的不连通次数达到预定阈值而确定第一采集器离线。
[0019]在一些实施方式中，方法还包括：响应于未能确定第三采集器，而在连接到第一采集器的第一交换机所在的网络层级中重新确定一个第二交换机，并确定一个连接到第二交换机并且距离第二交换机最近的第三采集器来执行第一采集器的采集任务。
[0020]本专利技术实施例的第二方面提供了一种复杂网络的数据分布式采集装置，包括：
[0021]处理器；和
[0022]存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：
[0023]遍历复杂网络中的所有采集器和所有交换机，以获取每个采集器和每个交换机在复杂网络中的链路拓扑结构；
[0024]基于链路拓扑结构将复杂网络中的所有采集器和所有交换机划分到多个网络层级中；
[0025]响应于确定第一采集器离线，而在第一采集器所在的网络层级中确定一个距离第一采集器最近的第二采集器来执行第一采集器的采集任务；
[0026]响应于未能确定第二采集器，而在连接到第一采集器的第一交换机所在的网络层级中确定一个距离第一交换机最近的第二交换机，并确定一个连接到第二交换机并且距离第二交换机最近的第三采集器来执行第一采集器的采集任务。
[0027]在一些实施方式中，每个采集器均连接到多个基础设施；执行采集任务为从基础设施采集并向上一网络层级输出带内和带外数据信息，其中基础设施包括服务器、存储设备、网络设备、和防火墙。
[0028]在一些实施方式中，获取每个采集器和每个交换机在复杂网络中的链路拓扑结构包括：获取每个采集器和每个交换机在复杂网络中的每一条链路以及物理传输速度。
[0029]本专利技术具有以下有益技术效果：本专利技术实施例提供的复杂网络的数据分布式采集方法和装置，通过遍历复杂网络中的所有采集器和所有交换机，以获取每个采集器和每个交换机在复杂网络中的链路拓扑结构；基于链路拓扑结构将复杂网络中的所有采集器和所有交换机划分到多个网络层级中；响应于确定第一采集器离线，而在第一采集器所在的网络层级中确定一个距离第一采集器最近的第二采集器来执行第一采集器的采集任务；响应于未能确定第二采集器，而在连接到第一采集器的第一交换机所在的网络层级中确定一个
距离第一交换机最近的第二交换机，并确定一个连接到第二交换机并且距离第二交换机最近的第三采集器来执行第一采集器的采集任务的技术方案，能够对网络拓扑结构保持敏感，根据网络拓扑结构和数据输入输出要求来适应性地调整采集任务的分配。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本专利技术提供的复杂网络的数据分布式采集方法的流程示意图；
[0032]图2为本专利技术提供的复杂网络的数据分布式采集方法的多层网络结构示意图。
具体实施方式
[0033]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0034]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。
[0035]基于上述目的，本专利技术实施例的第一个方面本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种复杂网络的数据分布式采集方法，其特征在于，包括执行以下步骤：遍历复杂网络中的所有采集器和所有交换机，以获取每个所述采集器和每个所述交换机在复杂网络中的链路拓扑结构；基于所述链路拓扑结构将复杂网络中的所有所述采集器和所有所述交换机划分到多个网络层级中；响应于确定第一采集器离线，而在所述第一采集器所在的网络层级中确定一个距离所述第一采集器最近的第二采集器来执行所述第一采集器的采集任务；响应于未能确定所述第二采集器，而在连接到所述第一采集器的第一交换机所在的网络层级中确定一个距离所述第一交换机最近的第二交换机，并确定一个连接到所述第二交换机并且距离所述第二交换机最近的第三采集器来执行所述第一采集器的采集任务。2.根据权利要求1所述的方法，其特征在于，每个所述采集器均连接到多个基础设施；执行所述采集任务为从所述基础设施采集并向上一网络层级输出带内和带外数据信息，其中基础设施包括服务器、存储设备、网络设备、和防火墙。3.根据权利要求1所述的方法，其特征在于，获取每个所述采集器和每个所述交换机在复杂网络中的链路拓扑结构包括：获取每个所述采集器和每个所述交换机在复杂网络中的每一条链路以及物理传输速度。4.根据权利要求3所述的方法，其特征在于，确定一个距离所述第一采集器最近的第二采集器包括：响应于同时存在多个距离所述第一采集器最近的采集器，而选择到所述第一采集器的物理传输速度最大的链路的采集器作为所述第二采集器。5.根据权利要求3所述的方法，其特征在于，确定一个距离所述第一交换机最近的第二交换机包括：响应于同时存在多个距离所述第一交换机最近的交换机，而选择到所述第一交换机的物理传输速度最大的链路的交换机作为所述第二交换机；确定一个连接到所述第二交换机并且距离所述第二交换机最近的第三采集器包括：响应于同时存在多个距离所述第二交换机最近的采集器，而选择到所述第二交换机的物理传输速度最大的链路的采集器作为所述...
【专利技术属性】
技术研发人员：张典，马骏峰，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。