一种分布式海量实时数据流灾难恢复系统及方法技术方案
A distributed mass real-time data stream disaster recovery system and method
The present invention discloses a distributed mass real time data stream disaster recovery system and method. By adopting the upstream backup strategy. Two windows are maintained in each of the computing nodes, one is the sub window of the current sliding window and the other is a backup window. At the same time, a resource pool and a monitoring node are set up, and the operation of the computing nodes is monitored by monitoring nodes. The problem of system failure due to the failure of computing nodes in the distributed real-time data stream processing system is solved. The application of sliding window backup strategy solves the problem that data loss can not be recovered in computing nodes, and effectively solves the problem of disaster recovery in distributed massive real-time data stream system.
【技术实现步骤摘要】
一种分布式海量实时数据流灾难恢复系统及方法
本专利技术属于计算机软件开发及大数据处理领域，具体涉及一种分布式海量实时数据流灾难恢复系统及方法。
技术介绍
随着Web2.0时代的到来和云计算、物联网、移动互联网的快速发展，实时性应用(如智能传输系统、交通管理系统、网络流管理系统等)系统都会产生海量的流数据。传统集中式环境下的数据流实时处理系统在应对大数据流时，首先要先对进入到系统的数据记录进行储存，而后再根据业务逻辑需求对这些数据进行处理来获取系统所需信息，随着网络技术的提升，数据传输的速度也飞速增长，进入数据流模型中的数据记录的规模越发巨大，且数据到达系统的速度越来越快，导致传统的海量数据流处理技术难以达到系统对实时性的需求。Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以通过分布式实时处理海量数据。在Storm中可以通过一种信息确认机制保证数据流在节点处理单元bolt以及节点之间可靠传输。但在数据流连接中，滑动窗口中的元素都保存在内存中，当某个节点失效时保存在该节...
【技术保护点】
一种分布式海量实时数据流灾难恢复系统及方法，其特征在于：滑动窗口，元组网络延迟，滑动窗口划分，上游备份策略，设置资源池和监控节点。
【技术特征摘要】
1.一种分布式海量实时数据流灾难恢复系统及方法，其特征在于：滑动窗口，元组网络延迟，滑动窗口划分，上游备份策略，设置资源池和监控节点。2.根据权利要求1所述的滑动窗口，其特征在于，将滑动窗口每次滑动的区间设为N，该区间只包括数据流中最近到来的那部分数据，随着新数据的到来，窗口向前移动，用最新的数据替换最旧的数据。3.根据权利要求1所述的元组网络延迟，其特征在于，采用三层握手机制进行校正。4.根据权利要求1所述的滑动窗口划分，其特征在于，将滑动滑动窗口划分为多个子窗口，并依次分配到各个相邻的计算节点上。5.根...
【专利技术属性】
技术研发人员：贾春朴，孙玉林，陈守森，王晓卉，
申请(专利权)人：山东商务职业学院，
类型：发明
国别省市：山东,37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。