一种大规模分布式集群节点信息快速获取方法技术

本发明专利技术一种大规模分布式集群节点信息快速获取方法，包括：对集群中所有节点时间同步更新；采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息；主节点将采集到的节点资源信息和数据发送时间存入数据库，并周期性分析数据库中集群资源状态，包括：节点与主节点的连通状态、节点资源信息；及将分析得到的集群资源状态更新至数据库；查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。本发明专利技术大大节省了大规模分布式集群节点信息的获取时间，使得分析集群状态时间的缩短，提升任务调度响应时间，提高调度整体效率。

A Fast Information Acquisition Method for Large-scale Distributed Cluster Nodes

The invention provides a fast acquisition method of large-scale distributed cluster node information, which includes: synchronizing and updating all nodes in the cluster; collecting node resource information, and periodically sending the collected node resource information to the master node in the way of message middleware; the master node stores the collected node resource information and data transmission time into the database, and periodically analyzes the data. Cluster resource status in the database includes: connection status between nodes and primary node, node resource information; update the status of cluster resource to database; query the status of cluster resource in the database of primary node, and schedule tasks with load balancing algorithm. The invention greatly saves the acquisition time of large-scale distributed cluster node information, shortens the analysis time of cluster state, improves the response time of task scheduling, and improves the overall efficiency of scheduling.

【技术实现步骤摘要】
一种大规模分布式集群节点信息快速获取方法
本专利技术属于遥感卫星通信
，涉及一种大规模分布式集群节点信息快速获取方法。
技术介绍
随着信息技术的发展和网络规模的扩大，遥感卫星数据处理由单节点处理转变为分布式集群处理。在遥感卫星地面站数据处理过程中，因获取集群节点信息慢，导致任务调度系统作业过程中使某些要求实时性高的模块丢失数据，从而直接影响了整个调度系统的功能与性能。目前节点资源信息获取主要有两种方式，主节点主动轮询与和心跳检测。1、主节点主动轮询方式此方式通过集群中主节点周期性主动轮询方式采集子节点资源信息。该方式最大的缺点就是需要定时不断的轮询集群各个子节点，系统开销较大；若间隔时间太长的话，集群节点敏感度较低，获取的节点状态信息很可能是过时的信息；如果间隔时间过短则需要反复创建大量socket连接，在集群节点数量较大时，需要对每个节点创建对应的socket连接，不断的创建、删除socket连接对整个系统冲击较大、占用主节点系统资源。2、心跳检测心跳检测与轮询的结果一样但实现方式有差别，心跳需要主节点发布通信接口，以webservice或者socket的方式实现主节点与子节本文档来自技高网...

【技术保护点】
1.一种大规模分布式集群节点信息快速获取方法，其特征在于，包括如下步骤：步骤1、对集群中所有节点时间同步更新；步骤2、采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息；步骤3、主节点将采集到的节点资源信息和数据发送时间存入数据库，并周期性分析数据库中集群资源状态，包括：节点与主节点的连通状态、节点资源信息；及将分析得到的集群资源状态更新至数据库；步骤4、查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。

【技术特征摘要】
1.一种大规模分布式集群节点信息快速获取方法，其特征在于，包括如下步骤：步骤1、对集群中所有节点时间同步更新；步骤2、采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息；步骤3、主节点将采集到的节点资源信息和数据发送时间存入数据库，并周期性分析数据库中集群资源状态，包括：节点与主节点的连通状态、节点资源信息；及将分析得到的集群资源状态更新至数据库；步骤4、查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。2.根据权利要求1所述的大规模分布式集群节点信息快速获取方法，其特征在于，所述步骤2中按照资源信息模板自动采集节点资源信息...

【专利技术属性】
技术研发人员：郝旗，丁火平，田维，黄森，何志伟，陈丰琪，卜锋，顾晓伟，张燕，邱杨，杨志才，
申请(专利权)人：航天恒星科技有限公司，
类型：发明
国别省市：北京,11