执行计算任务的方法和装置制造方法及图纸

本发明专利技术公开了执行计算任务的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：向主节点发送计算指令，所述计算指令携带计算任务，并接收所述主节点返回的执行所述计算任务所生成的原数据；若监测到所述主节点无法执行所述计算任务，则按照预设规则从从节点中选择出新的主节点；向所述新的主节点发送新的计算指令，所述新的计算指令携带所述原数据，并接收所述新的主节点返回的根据所述原数据继续执行所述计算任务所生成的原数据。该实施方式同时保证了主节点的高性能优势和高可用性。

Methods and devices for performing computing tasks

【技术实现步骤摘要】
执行计算任务的方法和装置
本专利技术涉及计算机
，尤其涉及一种执行计算任务的方法和装置。
技术介绍
Spark是一种计算引擎，对于Spark集群，部署方式主要是SparkonYarn，SparkonYarn部署方式又分为两个模式：Cluster(集群)模式和Client(客户端)模式。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：SparkonYarnClient模式存在单点故障的问题，不具有高可用性；而SparkonYarnCluster模式执行计算任务时是由任意节点执行的，不能利用节点的高性能优势。
技术实现思路
有鉴于此，本专利技术实施例提供一种执行计算任务的方法和装置，能够同时保证了主节点的高性能优势和高可用性。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种执行计算任务的方法。本专利技术实施例的一种执行计算任务的方法，包括：向主节点发送计算指令，所述计算指令携带计算任务，并接收所述主节点返回的执行所述计算任务所生成的原数据；若监测到所述主节点无法执行所述计本文档来自技高网...

【技术保护点】
1.一种执行计算任务的方法，其特征在于，包括：/n向主节点发送计算指令，所述计算指令携带计算任务，并接收所述主节点返回的执行所述计算任务所生成的原数据；/n若监测到所述主节点无法执行所述计算任务，则按照预设规则从从节点中选择出新的主节点；/n向所述新的主节点发送新的计算指令，所述新的计算指令携带所述原数据，并接收所述新的主节点返回的根据所述原数据继续执行所述计算任务所生成的原数据。/n

【技术特征摘要】
1.一种执行计算任务的方法，其特征在于，包括：
向主节点发送计算指令，所述计算指令携带计算任务，并接收所述主节点返回的执行所述计算任务所生成的原数据；
若监测到所述主节点无法执行所述计算任务，则按照预设规则从从节点中选择出新的主节点；
向所述新的主节点发送新的计算指令，所述新的计算指令携带所述原数据，并接收所述新的主节点返回的根据所述原数据继续执行所述计算任务所生成的原数据。


2.根据权利要求1所述的方法，其特征在于，在向主节点发送计算指令之后，所述方法还包括：每隔一段时间向所述主节点发送记录数据指令；
接收所述主节点返回的执行所述计算任务所生成的原数据，包括：
接收所述主节点根据所述记录数据指令发送的执行所述计算任务所生成的原数据。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：预先按照各个从节点性能从高到低的顺序对所述各个从节点进行排序；
按照预设规则从从节点中选择出新的主节点，包括：
将排序中排在首位的从节点作为新的主节点。


4.根据权利要求1所述的方法，其特征在于，监测到所述主节点无法执行所述计算任务，包括：
向所述主节点发送监测指令，若在预设时间内未接收到所述主节点根据所述监测指令返回的响应消息，则确认所述主节点无法执行所述计算任务。


5.根据权利要求1所述的方法，其特征在于，在向所述新的主节点发送新的计算指令之后，所述方法还包括：
接收所述新的主节点执行完所述计算任务返回的结束指令，根据所述结束指令清除所述原数据。


6.一种执行计算任务的装置，其特征在于，包括：
第一收发单元，用于向主节点发送计算指令，所述计算指令携带计算任务，并接收所述主节点返回的执行所述计算任务所生成的原数据；
处理单元，用于若监...

【专利技术属性】
技术研发人员：姚思雨，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11