一种实时数据容错处理方法及系统技术方案

本发明专利技术实施例公开了一种实时数据容错处理方法及系统。通过为业务在系统中部署至少两个实例，每个实例分配对应的物理资源，每个实例中的每个节点在其它实例中具有对等节点，当系统中的节点处理业务的实时数据发生故障时，根据节点对应的物理资源确定节点所在的实例，在确定的实例中，将故障拉起节点替换发生故障的节点，在联结信息表中更新发生故障的节点为故障拉起节点，根据联结信息表中的对等节点信息，将发生故障的节点的对等节点的缓存数据发送给故障拉起节点，以使故障拉起节点恢复数据处理，该系统可以统一管理实时数据处理，且能保证节点发生故障时，恢复该节点宕机前的状态，快速地重新接入系统。

Real time data fault tolerance processing method and system

The embodiment of the invention discloses a real-time data fault tolerance processing method and system. The business in the system to deploy at least two instances, each instance of the corresponding physical resource allocation, each node in each instance with peers in other instances, real-time data processing system in the business when the node failure, according to the node corresponding to the physical resources to determine the instance node, in determining the in the example, will pull up the fault nodes to replace faulty nodes in connection, update node failure information table for fault nodes according to the link information table up, in the peer information cache data sending peer node will fail to pull up the fault node node, in order to make up the data processing node fault recovery the system can be unified management, real-time data processing, and can ensure the node failure, restore the node downtime before the state quickly. Re access system.

【技术实现步骤摘要】
一种实时数据容错处理方法及系统
本专利技术涉及实时计算领域，尤其涉及一种实时数据容错处理方法及系统。
技术介绍
在金融、电信、能源、医疗等领域内，很多业务系统都有“7*24小时”业务连续性要求，任何原因造成的业务中断是不可接受的。这种行业性高容错要求催生了双活系统的诞生，即通过提供冗余系统元素确保在出现各种故障时系统维持业务连续性，确保在故障发生时确保数据完整性和系统功能的特性。当然，双活系统的资源消耗一直是该解决方案的诟病所在，在采用双活系统解决方案时，需要准备两套独立的资源，同时在业务运行中，两套独立系统分别对自己的运行单元进行部署、管理和维护。目前业界广泛采用实时流计算平台来构建实时在线系统的架构解决方案，其中实时流计算组件又以Storm的应用最为广泛。Storm是一个免费开源、分布式、高容错的实时计算系统。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，且在同类的流式计算工具，Storm的性能也是非常出众的，是一般搭建实时计算系统架构的首先方案。Storm的进程是无状态的，这样便于实现快速失败，保障Storm的本文档来自技高网...

【技术保护点】
一种实时数据容错处理方法，其特征在于，包括：当系统中的节点处理业务的实时数据发生故障时，根据所述节点对应的物理资源确定所述节点所在的实例，其中，所述业务在所述系统中部署至少两个实例，每个实例包括具有拓扑关系的至少一个节点，每个实例分配对应的物理资源，每个实例中的所述至少一个节点与被分配的物理资源具有对应关系，每个实例中的每个节点在其它实例中具有对等节点；在所述确定的实例中，将故障拉起节点替换发生故障的节点；在联结信息表中更新所述发生故障的节点为所述故障拉起节点，其中，所述联结信息表包括所述至少两个实例中的对等节点信息；根据所述对等节点信息，将所述发生故障的节点的对等节点的缓存数据发送给所述故障...

【技术特征摘要】
1.一种实时数据容错处理方法，其特征在于，包括：当系统中的节点处理业务的实时数据发生故障时，根据所述节点对应的物理资源确定所述节点所在的实例，其中，所述业务在所述系统中部署至少两个实例，每个实例包括具有拓扑关系的至少一个节点，每个实例分配对应的物理资源，每个实例中的所述至少一个节点与被分配的物理资源具有对应关系，每个实例中的每个节点在其它实例中具有对等节点；在所述确定的实例中，将故障拉起节点替换发生故障的节点；在联结信息表中更新所述发生故障的节点为所述故障拉起节点，其中，所述联结信息表包括所述至少两个实例中的对等节点信息；根据所述对等节点信息，将所述发生故障的节点的对等节点的缓存数据发送给所述故障拉起节点，以使所述故障拉起节点根据接收到的所述缓存数据恢复所述节点的数据处理。2.如权利要求1所述的方法，其特征在于，还包括：控制每个实例中的所述至少一个节点分别处理所述实时数据。3.如权利要求1所述的方法，其特征在于，所述被分配的物理资源包括至少一个物理机，每个实例中的所述至少一个节点与被分配的物理资源具有对应关系，包括：每个所述物理机与所述至少一个节点对应。4.如权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括：当所述系统为所述业务增加物理资源时，将增加的所述物理资源分配给所述业务的至少两个实例。5.如权利要求4所述的方法，其特征在于，所述方法还包括：将每个实例中负载高于设定值的物理资源对应的至少一个节点的实时数据迁移至分配给所述实例的增加的所述物理资源对应的至少一个节点；或将每个所述实例增加的所述物理资源分配给所述故障拉起节点。6.如权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括：当需要减少实例中的物理资源时，停止所述减少的物理资源对应的节点的实时数据处理；将故障拉起节点替换所述停止处理实时数据的节点，其中所述实例中剩下的物理资源被重新分配给所述实例中正在进行实时数据处理的至少一个节点；在所述联结信息表中更新所述停止处理实时数据的节点为所述故障拉起节点；根据所述对等节点信息，将所述停止处理实时数据的节点的对等节点的缓存数据发送给所述故障拉起节点。7.一种实时数据容错处理系统，其特征在于，包括：确定单元，用于当系统中的节点处理业务的实...

【专利技术属性】
技术研发人员：单卫华，林铭，殷晖，李旭良，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44