Spark Streaming程序的运行系统及方法技术方案

本发明专利技术公开了一种Spark Streaming程序的运行系统及方法，其中，该系统包括：多个节点，多个节点处于候选节点队列中，每个节点上安装有Spark Streaming程序；在多个节点中确定一个协调节点；在候选节点队列中选取第一节点运行Spark Streaming程序；接收候选节点队列中各个节点发送的状态信息，确定故障节点；将故障节点从候选节点队列中删除，得到目标候选节点队列；当运行Spark Streaming程序的节点故障时，在目标候选节点队列中选取第二节点运行Spark Streaming程序，本发明专利技术可以实现Spark Streaming程序的稳定运行。

The running system and method of spark streaming program

【技术实现步骤摘要】
SparkStreaming程序的运行系统及方法
本专利技术涉及计算机领域，特别涉及一种SparkStreaming程序的运行系统及方法。
技术介绍
Spark是基于内存计算的大数据并行计算框架，能够大大提高大数据环境下数据处理的实时性。SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。SparkStreaming需要持续的处理实时数据流，因此运行SparkStreaming程序的主机作为常驻进程需要保证持续稳定运行，在出现主机宕机、GC(垃圾回收)导致内存溢出、数据源的瞬时峰值导致内存不足、SparkStreaming程序的Driver进程异常、上游数据源瞬时故障等情况时会导致SparkStreaming程序退出，难以保证SparkStreaming程序的稳定运行。
技术实现思路
本专利技术实施例提供一种SparkStreaming程序的运行系统，用以保证SparkStreaming程序的稳定运行，该系统包括：多个节点，多个节点处于候选节点队列本文档来自技高网...

【技术保护点】
1.一种Spark Streaming程序的运行系统，其特征在于，包括：多个节点，所述多个节点处于候选节点队列中，每个节点上安装有Spark Streaming程序；在所述多个节点中确定一个协调节点；/n其中，所述协调节点用于：在所述候选节点队列中选取第一节点运行Spark Streaming程序，并将所述第一节点从所述候选节点队列中删除；/n接收所述候选节点队列中各个节点发送的状态信息，根据所述状态信息，确定故障节点；将所述故障节点从所述候选节点队列中删除，得到目标候选节点队列；/n当运行Spark Streaming程序的节点故障时，在所述目标候选节点队列中选取第二节点运行Spark St...

【技术特征摘要】
1.一种SparkStreaming程序的运行系统，其特征在于，包括：多个节点，所述多个节点处于候选节点队列中，每个节点上安装有SparkStreaming程序；在所述多个节点中确定一个协调节点；
其中，所述协调节点用于：在所述候选节点队列中选取第一节点运行SparkStreaming程序，并将所述第一节点从所述候选节点队列中删除；
接收所述候选节点队列中各个节点发送的状态信息，根据所述状态信息，确定故障节点；将所述故障节点从所述候选节点队列中删除，得到目标候选节点队列；
当运行SparkStreaming程序的节点故障时，在所述目标候选节点队列中选取第二节点运行SparkStreaming程序，并将所述第二节点从所述目标候选节点队列中删除。


2.如权利要求1所述的系统，其特征在于，根据所述状态信息，确定故障节点，包括：
将各个节点的状态信息与预设状态信息进行比较，根据比较结果，确定故障节点。


3.如权利要求1所述的系统，其特征在于，根据所述状态信息，确定故障节点，包括：
当存在预设时长内未接收到状态信息的节点时，确定该节点为故障节点。


4.如权利要求1所述的系统，其特征在于，还包括：
接收所述故障节点发送的状态信息，将故障节点的状态信息与预设状态信息进行比较；
在根据比较结果确定所述故障节点的故障排除时，将该故障排除的节点加入所述目标候选节点队列。


5.如权利要求1所述的系统，其特征在于，在所述协调节点故障时，除所述协调节点之外的其他节点还用于：
在数据库表中获得故障协调节点版本值；其中，所述数据库表中包括全局表，所述全局表用于保存正在运行的协调节点版本值；
根据所述故障协调节点版本值，向...

【专利技术属性】
技术研发人员：周朝卫，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：北京;11