一种大规模分布式集群节点信息快速获取方法技术

本发明专利技术一种大规模分布式集群节点信息快速获取方法，包括：对集群中所有节点时间同步更新；采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息；主节点将采集到的节点资源信息和数据发送时间存入数据库，并周期性分析数据库中集群资源状态，包括：节点与主节点的连通状态、节点资源信息；及将分析得到的集群资源状态更新至数据库；查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。本发明专利技术大大节省了大规模分布式集群节点信息的获取时间，使得分析集群状态时间的缩短，提升任务调度响应时间，提高调度整体效率。

A Fast Information Acquisition Method for Large-scale Distributed Cluster Nodes

The invention provides a fast acquisition method of large-scale distributed cluster node information, which includes: synchronizing and updating all nodes in the cluster; collecting node resource information, and periodically sending the collected node resource information to the master node in the way of message middleware; the master node stores the collected node resource information and data transmission time into the database, and periodically analyzes the data. Cluster resource status in the database includes: connection status between nodes and primary node, node resource information; update the status of cluster resource to database; query the status of cluster resource in the database of primary node, and schedule tasks with load balancing algorithm. The invention greatly saves the acquisition time of large-scale distributed cluster node information, shortens the analysis time of cluster state, improves the response time of task scheduling, and improves the overall efficiency of scheduling.

【技术实现步骤摘要】
一种大规模分布式集群节点信息快速获取方法
本专利技术属于遥感卫星通信
，涉及一种大规模分布式集群节点信息快速获取方法。
技术介绍
随着信息技术的发展和网络规模的扩大，遥感卫星数据处理由单节点处理转变为分布式集群处理。在遥感卫星地面站数据处理过程中，因获取集群节点信息慢，导致任务调度系统作业过程中使某些要求实时性高的模块丢失数据，从而直接影响了整个调度系统的功能与性能。目前节点资源信息获取主要有两种方式，主节点主动轮询与和心跳检测。1、主节点主动轮询方式此方式通过集群中主节点周期性主动轮询方式采集子节点资源信息。该方式最大的缺点就是需要定时不断的轮询集群各个子节点，系统开销较大；若间隔时间太长的话，集群节点敏感度较低，获取的节点状态信息很可能是过时的信息；如果间隔时间过短则需要反复创建大量socket连接，在集群节点数量较大时，需要对每个节点创建对应的socket连接，不断的创建、删除socket连接对整个系统冲击较大、占用主节点系统资源。2、心跳检测心跳检测与轮询的结果一样但实现方式有差别，心跳需要主节点发布通信接口，以webservice或者socket的方式实现主节点与子节点的连接，虽然这种方式相比于轮询方式减轻了主节点的压力，但是webservice与socket需要通信握手，如果其中一方因为某种原因宕机，数据就会在tcp层面超时，需要尝试重连，当多次无果后才会断开连接，这个过程需要耗费一定的时间，如果宕机节点多这种方式也会存在效率低下，获取节点信息时间相对较长。
技术实现思路
专利技术所要解决的课题是，解决遥感地面站卫星数据处理过程中调度整体效率低下，且某些要求实时性高的模块丢失数据问题。用于解决课题的技术手段是，本专利技术提出一种大规模分布式集群节点信息快速获取方法，包括如下步骤：步骤1、对集群中所有节点时间同步更新；步骤2、采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息；步骤3、主节点将采集到的节点资源信息和数据发送时间存入数据库，并周期性分析数据库中集群资源状态，包括：节点与主节点的连通状态、节点资源信息；及将分析得到的集群资源状态更新至数据库；步骤4、查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。进一步地，作为本专利技术的一种优选技术方案：所述步骤2中按照资源信息模板自动采集节点资源信息。进一步地，作为本专利技术的一种优选技术方案：所述步骤3中主节点将采集到的节点信息存入数据库，并且将下一次接收的节点资源信息覆盖前一次存入的节点资源信息。进一步地，作为本专利技术的一种优选技术方案：所述步骤3中分析节点与主节点的连通状态，包括：进一步地，作为本专利技术的一种优选技术方案：根据预先设定的节点连通状态阈值判断，如果最近一次数据发送时间小于阈值，则将节点连通状态判断为可用，否则将节点连通状态判断为不可用。进一步地，作为本专利技术的一种优选技术方案：所述步骤3中分析节点资源信息包括分析节点CPU、内存及使用率。专利技术效果为：本专利技术的大规模分布式集群节点信息快速获取方法，集群内节点资源信息的自动获取，大大节省了大规模分布式集群节点信息的获取时间，可通过分析快速获取整个集群状态，提升了任务调度的响应时间。使得分析集群状态时间的缩短，提升任务调度响应时间，提高调度整体效率。实现了集群节点信息的快速获取，提高了在遥感地面站数据处理过程中调度整体效率，圆满解决了某些依赖实时性高的模块丢数据问题。附图说明图1为本专利技术大规模分布式集群节点信息快速获取方法的流程示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术一种大规模分布式集群节点信息快速过去方法进一步详细说明，此处所描述的具体实施仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，本专利技术设计一种大规模分布式集群节点信息快速获取方法，包括如下步骤：步骤1、使用软件对集群中所有节点时间同步更新，保证每一过程时间同步。步骤2、系统自定义需要采集节点资源模板，采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息。步骤3、主节点将采集到的节点资源信息和数据发送时间存入数据库，可将下一次接收的节点资源信息覆盖前一次存入的节点资源信息并且，周期性分析数据库中集群资源状态，包括：分析节点与主节点的连通状态、分析节点资源信息。分析节点与主节点的连通状态，包括：根据预先设定的节点连通状态阈值判断，如果最近一次数据发送时间小于阈值，则将节点连通状态判断为可用，否则将节点连通状态判断为不可用。分析节点资源信息包括分析可用节点的CPU、内存及使用率等。然后，将分析得到的集群资源状态包括节点状连通状况与节点资源信息更新至数据库。步骤4、查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。在调度作业过程，调度程序查询数据库中的节点资源信息分析结果并结合负载均衡方法进行任务调度作业，如按照节点与主节点的连通状态分析结果,将可用节点资源量使用率低的节点优先选取为任务调度节点,由该节点进行任务接收和执行。任务调度系统按照以上过程进行遥感数据处理的自动化调度作业，实现任务调度。综上，本专利技术实现了集群内节点资源信息的自动获取，大大节省了时间，可通过分析快速获取整个集群状态，提升了任务调度的响应时间。分析集群状态时间的缩短，提升任务调度响应时间，提高调度整体效率。需要说明的是，以上说明仅是本专利技术的优选实施方式，应当理解，对于本领域技术人员来说，在不脱离本专利技术技术构思的前提下还可以做出若干改变和改进，这些都包括在本专利技术的保护范围内。本文档来自技高网...

【技术保护点】
1.一种大规模分布式集群节点信息快速获取方法，其特征在于，包括如下步骤：步骤1、对集群中所有节点时间同步更新；步骤2、采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息；步骤3、主节点将采集到的节点资源信息和数据发送时间存入数据库，并周期性分析数据库中集群资源状态，包括：节点与主节点的连通状态、节点资源信息；及将分析得到的集群资源状态更新至数据库；步骤4、查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。

【技术特征摘要】
1.一种大规模分布式集群节点信息快速获取方法，其特征在于，包括如下步骤：步骤1、对集群中所有节点时间同步更新；步骤2、采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息；步骤3、主节点将采集到的节点资源信息和数据发送时间存入数据库，并周期性分析数据库中集群资源状态，包括：节点与主节点的连通状态、节点资源信息；及将分析得到的集群资源状态更新至数据库；步骤4、查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。2.根据权利要求1所述的大规模分布式集群节点信息快速获取方法，其特征在于，所述步骤2中按照资源信息模板自动采集节点资源信息...

【专利技术属性】
技术研发人员：郝旗，丁火平，田维，黄森，何志伟，陈丰琪，卜锋，顾晓伟，张燕，邱杨，杨志才，
申请(专利权)人：航天恒星科技有限公司，
类型：发明
国别省市：北京,11