一种分布式节点信息监测方法、系统及应用技术方案

本发明专利技术实现了一种分布式节点信息监测方法、系统及应用，属于数据传输技术领域。所述方法包括：将主节点和各子节点的时间同步；各子节点按照预设周期采集各自资源信息，并将采集到的所述资源信息以消息中间件的方式发送给所述主节点；所述主节点将所述各子节点发送的所述资源信息存储在资源数据库中，并周期性监测所述资源数据库中各所述子节点及其对应的资源信息。通过本发明专利技术，能够大幅缩短监测大规模分布式集群节点信息的时间，提高任务调度响应时间，提升调度效率。

A Distributed Node Information Monitoring Method, System and Application

The invention realizes a distributed node information monitoring method, system and application, which belongs to the technical field of data transmission. The method includes: synchronizing the time of the main node and each sub-node; collecting the resource information of each sub-node according to the preset period, and sending the collected resource information to the main node in the way of message middleware; the main node stores the resource information sent by the sub-nodes in the resource database, and periodically monitors the resource database. Each of the sub-nodes and its corresponding resource information. The invention can greatly shorten the time of monitoring large-scale distributed cluster node information, improve the response time of task scheduling and improve the scheduling efficiency.

【技术实现步骤摘要】
一种分布式节点信息监测方法、系统及应用
本专利技术涉及一种大规模分布式集群节点状态信息监测方法，属于数据传输

技术介绍
随着信息技术的发展和网络规模的扩大，遥感卫星数据处理由单节点处理转变为分布式集群处理。在遥感卫星地面站数据处理过程中，因获取集群节点信息慢，导致任务调度系统作业过程中使某些要求实时性高的模块丢失数据，从而直接影响了整个调度系统的功能与性能。目前节点资源信息获取主要有两种方式，主节点主动轮询与和心跳检测。1、主节点主动轮询方式此方式通过集群中主节点周期性主动轮询方式采集子节点资源信息。该方式最大的缺点就是需要定时不断的轮询集群各个子节点，系统开销较大；若间隔时间太长的话，集群节点敏感度较低，获取的节点状态信息很可能是过时的信息；如果间隔时间过短则需要反复创建大量socket连接，在集群节点数量较大时，需要对每个节点创建对应的socket连接，不断的创建、删除socket连接对整个系统冲击较大、占用主节点系统资源。2、心跳检测心跳检测与轮询的结果一样但实现方式有差别，心跳需要主节点发布通信接口，以webservice或者socket的方式实现主节点与子节点的连本文档来自技高网...

【技术保护点】
1.一种分布式节点信息监测方法，其特征在于，包括：将主节点和各子节点的时间同步；各子节点按照预设周期采集各自资源信息，并将采集到的所述资源信息以消息中间件的方式发送给所述主节点；所述主节点将所述各子节点发送的所述资源信息存储在资源数据库中，并周期性监测所述资源数据库中各所述子节点及其对应的资源信息。

【技术特征摘要】
1.一种分布式节点信息监测方法，其特征在于，包括：将主节点和各子节点的时间同步；各子节点按照预设周期采集各自资源信息，并将采集到的所述资源信息以消息中间件的方式发送给所述主节点；所述主节点将所述各子节点发送的所述资源信息存储在资源数据库中，并周期性监测所述资源数据库中各所述子节点及其对应的资源信息。2.根据权利要求1所述的分布式节点信息监测方法，其特征在于，所述主节点将所述各子节点发送的所述资源信息存储在资源数据库中，包括：所述主节点将所述各子节点发送的所述资源信息存储在所述资源数据库中，且存储时用当前周期的所述资源信息覆盖上一周期的资源信息。3.根据权利要求2所述的分布式节点信息监测方法，其特征在于，所述周期性监测所述资源数据库中各所述子节点及其对应的资源信息之后，还包括：根据监测到的所述资源信息，确定各所述子节点的连通状态，并将所述连通状态和对应的所述资源信息一同存储，得到更新后的资源信息。4.根据权利要求3所述的分布式节点信息监测方法，其特征在于，所述根据监测到的所述资源信息，确定各所述子节点的连通状态，包括：判断检测到的各所述资源信息是否在预设时间内发送；若是则确定发送所述资源信息的子节点状态为可用；根据可用的所述子节点的资源信息分析可用的所述子节点的CPU及内存使用率；根据所述CPU及内存使用率，确定可用的所述子节点的连通状态。5.根据权利要求3所述的分布式节点信息监测方法，其特征在于，还包括：查询所述更新后的资源信息，根据负载均衡策略确定可调度的子节点；根据确定的可调度的子节点进行任务调度作业...

【专利技术属性】
技术研发人员：郝旗，丁火平，田维，卜锋，张燕，顾晓伟，孙宝华，何志伟，韩皎，邱杨，
申请(专利权)人：航天恒星科技有限公司，
类型：发明
国别省市：北京,11