一种storm数据流反压方法以及节点技术

本发明专利技术公开了一种storm数据流反压方法和节点，其中，所述方法包括：节点设置接收队列和发送队列，接收队列用于保存上游节点发送的Tuple，发送队列用于保存并向下游节点发送本节点已处理完毕的Tuple；节点接收到来自下游节点的过载消息后，根据下游节点接收队列的大小自适应减小自身的发送队列大小；以及根据减小后的发送队列大小自适应减小自身的接收队列大小；节点接收到来自上游节点的过载消息后，根据上游节点发送队列大小自适应减小自身的接收队列大小，以及根据减小后的接收队列大小自适应减小自身的发送队列大小。本发明专利技术避免了storm数据流处于震荡状态。

【技术实现步骤摘要】
一种storm数据流反压方法以及节点
本专利技术涉及storm数据流反压技术，尤指一种storm数据流反压方法以及节点。
技术介绍
分布式实时大数据处理组件ApacheStorm由于其强大的实时计算能力被广泛应用于实时搜索、高频交易和社交网络等场景，受到业界一致好评。然而，分布式实时大数据流式框架Storm在大数据库流式计算环境中，由于读取数据源的Spout节点及数据处理Bolt节点之间对数据处理能力差异明显，导致大量数据流元组Tuple被丢弃。针对Storm在突发性数据流中存在的Tuple处理超时而失败的问题，业界与学术界开展了一系列的研究工作。Storm提出了一种机制，当输入的数据流元组无法被及时处理或者元组的到达速率超过其被处理速率时，发送者会简单地丢弃这些Tuple，触发限流控制，从Spout处暂停数据源的发送，这一机制称为反压机制。当下游出现过载时，上游停止发送，下游消除过载后，上游开始放流。然后下游过载，上游又停止发送数据，如此反复，可能导致整个数据流一直处在震荡状态，必然影响整个ApacheStorm集群计算效率。因此，反压机制的高稳定性、有效性成为Storm计算框架亟本文档来自技高网...

【技术保护点】
1.一种storm数据流反压方法，其特征在于，包括：；节点设置接收队列和发送队列，所述节点包括数据源读取节点Spout和数据处理节点Bolt，所述接收队列用于保存上游节点发送的数据流元组Tuple，所述发送队列用于保存并向下游节点发送本节点已处理完毕的数据流元组Tuple；节点接收到来自下游节点的过载消息后，根据下游节点接收队列的大小自适应减小自身的发送队列大小；以及根据减小后的发送队列大小自适应减小自身的接收队列大小；节点接收到来自上游节点的过载消息后，根据上游节点发送队列大小自适应减小自身的接收队列大小，以及根据减小后的接收队列大小自适应减小自身的发送队列大小。

【技术特征摘要】
1.一种storm数据流反压方法，其特征在于，包括：；节点设置接收队列和发送队列，所述节点包括数据源读取节点Spout和数据处理节点Bolt，所述接收队列用于保存上游节点发送的数据流元组Tuple，所述发送队列用于保存并向下游节点发送本节点已处理完毕的数据流元组Tuple；节点接收到来自下游节点的过载消息后，根据下游节点接收队列的大小自适应减小自身的发送队列大小；以及根据减小后的发送队列大小自适应减小自身的接收队列大小；节点接收到来自上游节点的过载消息后，根据上游节点发送队列大小自适应减小自身的接收队列大小，以及根据减小后的接收队列大小自适应减小自身的发送队列大小。2.根据权利要求1所述的基于可变队列的storm数据流反压方法，其特征在于，还包括：节点接收到过载解除的消息后，线性增加自身的队列大小。3.根据权利要求1或2所述的基于可变队列的storm数据流反压方法，其特征在于，还包括：节点若从未接收到过载消息，指数增加自身的队列大小。4.根据权利要求1所述的基于可变队列的storm数据流反压方法，其特征在于，节点接收到来自下游节点的过载消息后，根据下游节点接收队列的大小自适应减小自身的发送队列大小；以及根据减小后的发送队列大小自适应减小自身的接收队列大小；节点接收到来自上游节点的过载消息后，根据上游节点发送队列大小自适应减小自身的接收队列大小，以及根据减小后的接收队列大小自适应减小自身的发送队列大小，包括：节点接收到来自下游节点的过载消息后，将自身的发送队列大小设置为当前发送队列大小的一半，以及将自身的接收队列大小设置为当前接收队列大小的一半；节点接收到来自上游节点的过载消息后，将自身的接收队列大小设置为当前接收队列大小的一半，以及将自身的发送队列大小设置为当前发送队列大小的一半。5.一种s...

【专利技术属性】
技术研发人员：王文庆，杜彦魁，关坤龙，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41