【技术实现步骤摘要】
本专利技术涉及任务调度，尤其是一种分布式任务调度容错方法及其装置。
技术介绍
1、目前大批量用户数据处理的技术方案是将用户数据拆分为对应的业务域和数据域，各数据域增量计算生成的用户标签数据，然后通过专用的数据同步工具同步到用户标签检索系统中。随着用户规模和业务域的增长，用户标签检索服务器(e l ast ic search，es)集群的输入/输出(i nput/output，io)能力逼近极限，数据同步性能越来越低。为提高es集群的画像标签数据同步速度，通过引入基于高维空间索引算法模型的使用spark来处理分析存储在h ive中的数据(spark on hive)离线计算任务融合多域画像数据后再同步到es集群中，可快速完成全域增量画像标签宽表的融合，降低资源成本同时还能提高数据同步时效性。因为处理的数据规模较大，整体处理时间也较长，任务启动后，一旦因意外故障而停止，将会严重影响数据同步时效。而现有的分布式任务调度方法缺乏可靠性高的故障恢复机制，增加了任务的运行时间，造成服务器队列资源的浪费。
技术实现思路b>
1本文档来自技高网...
【技术保护点】
1.一种分布式任务调度容错方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种分布式任务调度容错方法，其特征在于，所述将用户数据输入预设的分布式任务调度模型中，包括：
3.根据权利要求2所述的一种分布式任务调度容错方法，其特征在于，所述对所述空间索引树、所述推送任务队列和所述分组调用队列进行实时监听，得到所述分布式任务调度模型的任务进度信息，包括：
4.根据权利要求3所述的一种分布式任务调度容错方法，所述汇总所述第一监控信息、所述第二监控信息和所述第三监控信息，得到所述任务进度信息，包括：
5.根据权利要求4所...
【技术特征摘要】
1.一种分布式任务调度容错方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种分布式任务调度容错方法，其特征在于，所述将用户数据输入预设的分布式任务调度模型中，包括：
3.根据权利要求2所述的一种分布式任务调度容错方法，其特征在于，所述对所述空间索引树、所述推送任务队列和所述分组调用队列进行实时监听，得到所述分布式任务调度模型的任务进度信息，包括：
4.根据权利要求3所述的一种分布式任务调度容错方法，所述汇总所述第一监控信息、所述第二监控信息和所述第三监控信息，得到所述任务进度信息，包括：
5.根据权利要求4所述的一种分布式任务调度容错方法，其特征在于，所述在所述任务进度信息不完整的情况下，根据所述任务进度信息重新执行对应的任...
【专利技术属性】
技术研发人员：蒋武兵，陈桓，金信，余烨芸，黄倩，张奇，徐睿滢，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。