【技术实现步骤摘要】
一种流计算引擎的快速容错方案
[0001]本专利技术涉及支付，金融领域，特别涉及一种流计算引擎的快速容错方案。
技术介绍
[0002]随着互联网垂直电商、消费金融等领域的快速崛起，金融风控系统化，智能反欺诈系统，智能营销等会涉及到秒级实时的业务需求，但是在流计算应用在进行高速计算的过程中，计算引擎的任务拥堵繁忙，导致任务崩溃的案例比较常见，在计算任务进行重启，申请资源，重新调度数千个任务的过程就要数分钟才能完成任务的恢复。为了保证实时业务不受大规模流计算引擎自身的资源调度的延迟的限制，需要实现大数据流计算场景下流计算应用快速恢复；
[0003]目前的流计算应用申请调度资源的时候时采用根据实际计算需要来申请的，在Application启动的时候一次性申请，并分配资源给对应的任务。在有任务失败的时候，Application，如果任务失败则会进行相关联任务都进行重新申请资源启动任务。此时如果计算拓扑较复杂,计算逻辑涉及到整个计算作业的所有任务,在整个作业重启的过程中就会消耗比较长的时间。然而在营销,推荐等业务场景,经常需要...
【技术保护点】
【技术特征摘要】
1.一种流计算引擎的快速容错方案，其特征在于，预申请部分计算资源，资源划分预留的资源分为大小两种计算资源，在任务监听器监控当前节点和上下游节点的运行负载较高或是失败时通知任务管理器，任务管理器根据重新调度任务类型进行重新分配资源，如果是负载较高的情况导致任务失败，就会分配大粒度的计算资源实现动态扩容的能力来恢复该任务，其他的情况会使用相同的计算资源来恢复该任务，快速启动该任务，并结束原来的任务；通过丢弃少量数据，快速恢复单个任务节点的方式来实现快速容错，保障流计算作业稳定运行，具体方案如下所示：一、任务管理模块：(1)根据计算作业计算出实际资源，并额外...
【专利技术属性】
技术研发人员：尹春光，张璐波，王全福，曹劼，吴晓兵，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。