一种应用于云边端的checkpoint分布式系统处理方法技术方案

本发明专利技术涉及云计算、物联网技术领域，具体地说，涉及一种应用于云边端的checkpoint分布式系统处理方法，通过设置Checkpoint策略，设备正常运行过程中，周期性的将计算的任务状态和变量定期保存在Redis上，当任务执行过程中出现故障时，把Redis上的计算信息下发给另一个正常运行的设备，保证任务可以继续正确地执行，并最终完成任务，避免了从头开始运行，减少了故障带来的损失，可以使用先前保存的恢复信息从中间状态继续计算，从而减少丢失的计算量，增强云系统的可靠性。增强云系统的可靠性。增强云系统的可靠性。

【技术实现步骤摘要】
一种应用于云边端的checkpoint分布式系统处理方法


[0001]本专利技术涉及云计算、物联网领域，具体地说，涉及一种应用于云边端的checkpoint分布式系统处理方法。

技术介绍

[0002]随着互联网用户的数据量不断增加和实时性需求的不断增长，基于云边端的分布式内存计算的数据处理框架己成为公司数据业务和科学研究的首选工具。为了提高计算系统的性能，一方面，处理器供应商不断增加单个芯片晶体管的数量；另一方面，通过增加系统中每个节点的处理器数量以及计算节点的数量来扩大系统的规模，这导致系统发生故障的概率不断增加。云计算作为迎合网络时代发展孕育出来的技术已经收到各界广泛关注，然而就故障处理能力而言，云计算技术仍旧存在许多不足之处。首先云数据中心的系统架构是动态的，并且复杂度不断增长，其次云计算平台的基础组件具有多样性，因此云环境总是出现种种故障。这些故障通常会中断云服务的正常交付并降低云系统性能，严重时甚至可能导致用户的经济损失。
[0003]现有的分布式系统Spark的检查点(Checkpoint)操作将RDD的计算结果存储到磁盘上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于云边端的checkpoint分布式系统处理方法，其特征在于，所述应用于云边端的checkpoint分布式系统处理方法包括以下步骤：启动设备上线，获取设备信息，与系统建立一个心跳，保证系统在线；用户选择要执行的任务，安卓端获取任务信息并进行任务下发；云端的调度模块从数据库获取将要执行的任务或者任务集，进行加工处理，每个所述要执行的任务拆分成多个子任务并且下发到设备；计算设备端解析任务信息，通过http请求从云端获取任务，设备进行子任务的计算，按照每10％的进度信息回传到Redis；判断设备是否出现故障，若出现故障，则将保存的故障设备在Redis中预存的计算进度信息、当前运行子任务、掉线任务信息和算法信息等数据通过CheckPoint发送给另一台空闲设备，若未出现故障则计算完成。2.根据权利要求1所述的应用于云边端的checkpoint分布式系统处理方法，其特征在于，所述用户选择要执行的任务，安卓端获取任务信息并进行任务下发包括：首先新建任务集，创建任务ID集，然后形成未执行任务队列和任务队列来控制任务执行流程，对任务队列中单个任务拆分成多个子任务，并形成子任务队列；所述子任务信息包括任务ID，子任务ID，车辆ID，计算函数，状态，结果和参数；所述安卓端从设备调度处选择适合当前任务计算的计算设备端发送这些子任务的信息，用事件队列记录发送成功或者失败的情况；当发送子任务成功后，把子任务信息中状态改成接收成功，当计算设备端遇到故障时，将故障设备的进度信息当前运行子任务、掉线任务信息和算法信息等数据发送给其他空闲计算设备端直至成功。3.根据权利要求1所述的应用于云边端的checkpoint分布式系统处理方法，其特征在于：所述计算设备端解析任务信息，通过http请求从云端获取任务，设备进行子任务的计算包括：设置要执行的任务集队列，通过RunAllWithName()执行任务集队列中的任务；不断的重复任务执行过程直到任务集队列中的所有任务执行完成。4.根据权利要求3所述的应用于云边端的checkpoint分布式系统处理方法，其特征在于：不断的重复任务执行过程直到任务集队列中的所有任务执行完成包括：获取一个单任务通过所述RunWithName()执行此任务；对所述单任务分解为多个子任务，通过readDeviceInfo()从Redis中读取全部在线设备信息，并形成设备列表；调用taskMap()将分解出来的所述子任务集通过sendAlgo...

【专利技术属性】
技术研发人员：蒋林华，李增文，曲佩佩，宋梁，向前，张冠华，甘桂祥，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：