本申请提出了一种空间数据计算任务的调度方法、装置及电子设备，涉及大数据技术领域，其中，方法包括：获取待处理的空间数据计算任务；将空间数据计算任务发送至为其初步分配的工作节点；在工作节点执行失败的情形下，基于预设的计算资源分配逻辑，分配计算资源更大的工作节点执行空间数据计算任务，直至分配的工作节点成功执行任务，能够在工作节点执行失败时，分配计算资源更大的工作节点，确保空间数据计算任务能够执行成功。据计算任务能够执行成功。据计算任务能够执行成功。
【技术实现步骤摘要】
空间数据计算任务的调度方法、装置及电子设备
[0001]本申请涉及大数据
，尤其涉及一种空间数据计算任务的调度方法、装置及电子设备。
技术介绍
[0002]目前，空间数据计算任务的调度方法主要为，针对待处理的空间数据计算任务，根据空间数据计算任务中待计算的空间数据的行数确定所需计算资源信息；进而分配空间工作节点。
[0003]然而，上述方案中，由于空间数据比较复杂，一行数据中存储的空间数据的数据量不固定，导致按照行数分配的空间工作节点，很可能难以完成空间数据计算任务的执行，导致任务执行失败。
技术实现思路
[0004]本申请的目的旨在至少在一定程度上解决上述技术问题之一。
[0005]为此，本申请提出了一种空间数据计算任务的调度方法，在为空间数据计算任务初步分配的工作节点执行失败的情形下，基于预设的计算资源分配逻辑，分配计算资源更大的工作节点执行空间数据计算任务，直至分配的工作节点成功执行任务，从而确保空间数据计算任务能够执行成功。
[0006]本申请第一方面实施例提出了一种空间数据计算任务的调度方法，包括：获取待处理的空间数据计算任务；将所述空间数据计算任务发送至为其初步分配的工作节点；在所述工作节点执行失败的情形下，基于预设的计算资源分配逻辑，分配计算资源更大的工作节点执行所述空间数据计算任务，直至分配的工作节点成功执行任务。
[0007]可选地，为所述空间数据计算任务初步分配工作节点的方法，包括：在未存储所述空间数据计算任务对应的有效计算资源信息的情形下，从计算资源列表中获取第一计算资源信息；所述计算资源列表中包括，基于所述计算资源分配逻辑确定的可分配计算资源信息；为所述空间数据计算任务分配具有所述第一计算资源信息的工作节点。
[0008]可选地，未存储所述空间数据计算任务对应的有效计算资源信息的情形，包括以下至少一种：所述空间数据计算任务初次运行；或者，所述空间数据计算任务非初次运行，且存储的所述空间数据计算任务对应的计算资源信息已过期。
[0009]可选地，为所述空间数据计算任务初步分配工作节点的方法，包括：在存储所述空间数据计算任务对应的有效计算资源信息的情形下，为所述空间数据计算任务分配具有所述有效计算资源信息的工作节点。
[0010]可选地，所述从计算资源列表中获取第一计算资源信息，包括：根据所述空间数据计算任务中空间数据的行数，确定所需计算资源信息；从所述计算资源列表中，获取大于或者等于所述所需计算资源信息的一个计算资源信息。
[0011]可选地，基于预设的计算资源分配逻辑，分配计算资源更大的工作节点执行所述
空间数据计算任务包括：基于预设的计算资源分配逻辑，确定可分配计算资源信息；根据所述可分配计算资源信息，生成所述计算资源列表；从所述计算资源列表中获取目标计算资源信息，其中，所述目标计算资源信息大于执行失败的工作节点所具有的计算资源信息；分配具有所述目标计算资源信息的工作节点执行所述空间数据计算任务。
[0012]可选地，所述计算资源列表包括按照计算资源大小完成排序的若干计算资
[0013]源信息，所述从所述计算资源列表中获取目标计算资源信息，包括：从所述计5算资源列表中获取执行失败的工作节点所具有的计算资源信息的下一顺位的计算资源信息；将所述下一顺位的计算资源信息，确定为所述目标计算资源信息。
[0014]可选地，所述方法还包括：在所述工作节点执行成功的情形下，存储所述
[0015]空间数据计算任务与所述工作节点具有的计算资源信息之间的对应关系，并设0置所述计算资源的有效期限。
[0016]可选地，所述计算资源列表中，相邻计算资源信息的差值为预设差值，或者，相邻计算资源信息的比值为预设比值。
[0017]本申请实施例的空间数据计算任务的调度方法，通过获取待处理的空间数据计算任务；将空间数据计算任务发送至为其初步分配的工作节点；在工作节5点执行失败的情形下，基于预设的计算资源分配逻辑，分配计算资源更大的工作节点执行空间数据计算任务，直至分配的工作节点成功执行任务，从而能够在工作节点执行失败时，分配计算资源更大的工作节点，与相关技术相比，确保空间数据计算任务能够执行成功。
[0018]0本申请第二方面实施例提出了一种空间数据计算任务的调度装置，包括：
[0019]获取模块，用于获取待处理的空间数据计算任务；发送模块，用于将所述空间数据计算任务发送至为其初步分配的工作节点；处理模块，用于在所述工作节点执行失败的情形下，基于预设的计算资源分配逻辑，分配计算资源更大的工作节点执行所述空间数据计算任务，直至分配的工作节点成功执行任务。
[0020]可选地，所述处理模块还用于，在未存储所述空间数据计算任务对应的有效计算资源信息的情形下，从计算资源列表中获取第一计算资源信息；所述计算资源列表中包括，基于所述计算资源分配逻辑确定的可分配计算资源信息；为所述空间数据计算任务分配具有所述第一计算资源信息的工作节点。
[0021]可选地，未存储所述空间数据计算任务对应的有效计算资源信息的情形，包括以下至少一种：所述空间数据计算任务初次运行；或者，所述空间数据计算任务非初次运行，且存储的所述空间数据计算任务对应的计算资源信息已过期。
[0022]可选地，所述处理模块还用于，在存储所述空间数据计算任务对应的有效计算资源信息的情形下，为所述空间数据计算任务分配具有所述有效计算资源信息的工作节点。
[0023]可选地，所述处理模块具体用于，根据所述空间数据计算任务中空间数据的行数，确定所需计算资源信息；从所述计算资源列表中，获取大于或者等于所述所需计算资源信息的一个计算资源信息。
[0024]可选地，所述处理模块具体用于，基于预设的计算资源分配逻辑，确定可分配计算资源信息；根据所述可分配计算资源信息，生成所述计算资源列表；从所述计算资源列表中获取目标计算资源信息，其中，所述目标计算资源信息大于执行失败的工作节点所具有的计算资源信息；分配具有所述目标计算资源信息的工作节点执行所述空间数据计算任务。
[0025]可选地，所述处理模块具体用于，从所述计算资源列表中获取执行失败的工作节点所具有的计算资源信息的下一顺位的计算资源信息；将所述下一顺位的计算资源信息，确定为所述目标计算资源信息。
[0026]可选地，所述装置还包括：存储模块，用于在所述工作节点执行成功的情形下，存储所述空间数据计算任务与所述工作节点具有的计算资源信息之间的对应关系，并设置所述计算资源的有效期限。
[0027]可选地，所述计算资源列表中，相邻计算资源信息的差值为预设差值，或者，相邻计算资源信息的比值为预设比值。
[0028]本申请实施例的空间数据计算任务的调度装置，通过获取待处理的空间数据计算任务；将空间数据计算任务发送至为其初步分配的工作节点；在工作节点执行失败的情形下，基于预设的计算资源分配逻辑，分配计算资源更大的工作节点执行空间数据计算任务，直至分配的工作节本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种空间数据计算任务的调度方法，其特征在于，包括：获取待处理的空间数据计算任务；将所述空间数据计算任务发送至为其初步分配的工作节点；在所述工作节点执行失败的情形下，基于预设的计算资源分配逻辑，分配计算资源更大的工作节点执行所述空间数据计算任务，直至分配的工作节点成功执行任务。2.根据权利要求1所述的方法，其特征在于，为所述空间数据计算任务初步分配工作节点的方法，包括：在未存储所述空间数据计算任务对应的有效计算资源信息的情形下，从计算资源列表中获取第一计算资源信息；所述计算资源列表中包括，基于所述计算资源分配逻辑确定的可分配计算资源信息；为所述空间数据计算任务分配具有所述第一计算资源信息的工作节点。3.根据权利要求2所述的方法，其特征在于，未存储所述空间数据计算任务对应的有效计算资源信息的情形，包括以下至少一种：所述空间数据计算任务初次运行；或者，所述空间数据计算任务非初次运行，且存储的所述空间数据计算任务对应的计算资源信息已过期。4.根据权利要求1所述的方法，其特征在于，为所述空间数据计算任务初步分配工作节点的方法，包括：在存储所述空间数据计算任务对应的有效计算资源信息的情形下，为所述空间数据计算任务分配具有所述有效计算资源信息的工作节点。5.根据权利要求2所述的方法，其特征在于，所述从计算资源列表中获取第一计算资源信息，包括：根据所述空间数据计算任务中空间数据的行数，确定所需计算资源信息；从所述计算资源列表中，获取大于或者等于所述所需计算资源信息的一个计算资源信息。6.根据权利要求1所述的方法，其特征在于，基于预设的计算资源分配逻辑，分配计算资源更大的工作节点执行所述空间数据计算任务包括：基于预设的计算资源分配逻辑，确定可分配计算资源信息；根据所述可分配计算资源信息，生成所述计算资源列表；从所述计算资源列表中获...
【专利技术属性】
技术研发人员：李旭阳，王驰涛，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。