【技术实现步骤摘要】
流处理的拓扑结构更新系统和方法
本专利技术涉及数据处理领域，具体而言，涉及一种流处理的拓扑结构更新系统和方法。
技术介绍
随着互联网技术的发展，越来越多的行业领域要求对数据进行快速高效的处理，数据处理的时效性越来越高，如交通监管部门每天都要产生海量的监控数据，这些数据以流的形式源源不断进入系统，需要以最快的速度进行处理；再如新闻时效性也要求第一时间将重大事件推荐给用户，以增大用户粘性带来可观流量。图1a是根据本专利技术实施例的一种现有技术中的应用的DAG拓扑示意图,如图1a所示，当前部署运行的DAG有Task1、Task2、Source和Sink。现有的流处理框架在提交了应用并完成DAG部署后，将不能对DAG进行运行时在线的修改，即不能增加和删除DAG任务节点，也不能对现有任务节点处理逻辑进行变更，除非停止应用，重新提交修改后的新DAG，这对于7*24小时和不允许停机的应用是不可接受的。这种需求从技术上抽象，就是在已经部署的DAG上，动态的增加或删除节点(同时增加或删除相应的边)、或者用新的处理逻辑替代节点现有的处理逻辑。也即，当前业界普遍采用的大数据处理架构Ma...
【技术保护点】
1.一种流处理的拓扑结构更新系统，其特征在于，包括：任务管理器，用于检测第一状态机的第一状态，并依据所述第一状态产生控制消息，其中，所述第一状态用于触发对流处理的拓扑结构进行管理；任务执行器，用于接收所述控制消息；并在所述控制消息的触发下，触发第二状态机的第二状态，并依据该第二状态对所述拓扑结构执行与所述第二状态对应的动作。
【技术特征摘要】
1.一种流处理的拓扑结构更新系统，其特征在于，包括：任务管理器，用于检测第一状态机的第一状态，并依据所述第一状态产生控制消息，其中，所述第一状态用于触发对流处理的拓扑结构进行管理；任务执行器，用于接收所述控制消息；并在所述控制消息的触发下，触发第二状态机的第二状态，并依据该第二状态对所述拓扑结构执行与所述第二状态对应的动作。2.根据权利要求1所述的系统，其特征在于，所述第一状态包括：第一子状态、第二子状态和第三子状态；其中：所述第一子状态，用于表示当前任务所处的状态或者接收所述拓扑结构的更新信息；所述第二子状态，用于部署更新后的拓扑结构；所述第三子状态，用于在所述拓扑结构的部署出现异常时，将所述拓扑结构恢复为异常之前的版本。3.根据权利要求2所述的系统，其特征在于，所述任务管理器，还用于在所述第一子状态接收到所述拓扑结构的更新信息时，切换至所述第二子状态；在所述第一子状态接收到异常通知时，由所述第一子状态切换至所述第三子状态；以及在所述第二子状态下所述拓扑结构的部署出现异常时，由所述第二子状态切换至所述第三子状态。4.根据权利要求2所述的系统，其特征在于，所述第二状态包括：第四子状态、第五子状态、第六子状态和第七子状态；其中：所述第四子状态，用于表示所述当前任务执行器中任务的执行状态，并在接收到预设消息时，切换至所述第五子状态；所述第五子状态，用于对当前任务执行指定操...
【专利技术属性】
技术研发人员：赵懿，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。