本申请公开了一种任务调度方法、装置及电子设备。该方法包括：获取任务；预测所述任务的成功率；响应于所述任务的成功率低于预设的成功率阈值，将所述任务发送至预设的第一节点，将所述任务对应的备份任务发送至第二节点，所述第二节点与所述第一节点不同。由此，本申请无须在任务执行较长的时长后才对任务是否失败的判定结果进行获取，通过预测分布式任务中每个子任务的成功率，极大地缩短了任务调度耗时，提高了任务调度过程中的效率和可靠性。进一步地，通过在创建任务时就创建相应的备份任务，提升了任务调动的成功率和性能，以及系统的健壮性。的健壮性。的健壮性。
【技术实现步骤摘要】
一种任务调度方法、装置及电子设备
[0001]本申请涉及数据处理
，尤其涉及一种任务调度方法、装置及电子设备。
技术介绍
[0002]分布式任务调度系统以其资源共享性强、计算速度快、可靠性高、应用方便快捷等众多优点广受青睐，能够实现不同节点之间的远距离通信和数据传输，并能够统筹协调系统资源，对用户提交的作业任务进行分布式处理，为人与人之间的信息交流及各种计算作业任务的完成提供了很大便利。
[0003]目前，主流的分布式任务调度算法(如Hadoop MapReduceV2、Spark等开源集群计算系统)，通常采用以下任务调度方法：于任一时刻获取预测任务完成时间与此刻为该任务启动一个备份任务的完成时间差值，并获取时间差值最大的任务，以在其它节点为该任务启动备份任务。
[0004]然而，由于数据的不确定性以及对于系统运行环境的要求，现有技术中的任务调度过程中往往存在耗时久、维度单一、可靠性低、健壮性差等问题。因此，如何缩短任务调度耗时、提高任务调度过程中的效率和可靠性、提升任务调度性能，已成为了重要的研究方向之一。
技术实现思路
[0005]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]为此，本申请的第一个目的在于提出一种任务调度方法，用于解决现有任务调度方法过程中存在的耗时久、维度单一、可靠性低、健壮性差的技术问题。
[0007]本专利技术的第二个目的在于提出一种任务调度装置。
[0008]本专利技术的第三个目的在于提出一种电子设备。<br/>[0009]本专利技术的第四个目的在于提出一种计算机可读存储介质。
[0010]为了实现上述目的，本申请第一方面实施例提供了一种任务调度方法，所述方法包括以下步骤：获取任务；预测所述任务的成功率；响应于所述任务的成功率低于预设的成功率阈值，将所述任务发送至预设的第一节点，将所述任务对应的备份任务发送至第二节点，所述第二节点与所述第一节点不同。
[0011]另外，根据本申请上述实施例的任务调度方法还可以具有如下附加的技术特征：
[0012]根据本申请的一个实施例，还包括：响应于所述任务的成功率等于或者高于所述成功率阈值，将所述任务发送至所述第一节点。
[0013]根据本申请的一个实施例，还包括：将所述第一节点和第二节点中最先完成任务的节点的任务执行结果，确定为目标任务执行结果；将所述第一节点和第二节点中，除所述最先完成任务的节点之外的其他节点的任务执行结果删除。
[0014]根据本申请的一个实施例，所述将所述任务对应的备份任务发送至第二节点之前，还包括：计算所述成功率阈值和所述任务的成功率的比值；根据所述比值确定所述备份
任务的数量。
[0015]根据本申请的一个实施例，所述根据所述比值确定所述备份任务的数量，包括：响应于所述比值小于或者等于预设的数量阈值，将所述比值确定为所述备份任务的数量；或者，响应于所述比值大于所述数量阈值，将所述数量阈值确定为所述备份任务的数量。
[0016]根据本申请的一个实施例，所述预测所述任务的成功率，包括：获取所述任务对应的数据特征和服务器资源特征；对所述数据特征和所述服务器资源特征进行特征加工处理；将特征加工处理后的所述数据特征和所述服务器资源特征输入至训练好的联邦学习模型中，得到所述任务的成功率。
[0017]根据本申请的一个实施例，还包括：获取样本任务对应的样本数据特征、样本服务器资源特征和样本任务执行结果；对所述样本数据特征和所述样本服务器资源特征进行特征加工处理；根据所述样本任务执行结果和特征加工处理后的所述样本数据特征和所述样本服务器资源特征，对待训练的联邦学习模型进行训练，得到候选联邦学习模型；根据所述候选联邦学习模型生成所述训练好的联邦学习模型。
[0018]根据本申请的一个实施例，所述根据所述候选联邦学习模型生成所述训练好的联邦学习模型，包括：将所述候选联邦学习模型中的加密梯度参数发送至服务器；接收服务器发送的聚合后的加密梯度参数，所述聚合后的加密梯度参数为所述服务器根据接收到的多个加密梯度参数聚合得到；根据所述聚合后的加密梯度参数更新所述候选联邦学习模型，得到所述训练好的联邦学习模型。
[0019]本申请第一方面实施例提供了任务调度方法，可以通过获取任务，并预测任务的成功率，然后响应于任务的成功率低于预设的成功率阈值，将任务发送至预设的第一节点，将任务对应的备份任务发送至第二节点，无须在任务执行较长的时长后才对任务是否失败的判定结果进行获取，通过预测分布式任务中每个子任务的成功率，极大地缩短了任务调度耗时，提高了任务调度过程中的效率和可靠性。进一步地，通过在创建任务时就创建相应的备份任务，提升了任务调动的成功率和性能，以及系统的健壮性。
[0020]为了实现上述目的，本申请第二方面实施例提供了一种任务调度装置，包括：获取模块，用于获取任务；预测模块，用于预测所述任务的成功率；第一响应模块，用于响应于所述任务的成功率低于预设的成功率阈值，将所述任务发送至预设的第一节点，将所述任务对应的备份任务发送至第二节点，所述第二节点与所述第一节点不同。
[0021]根据本申请的一个实施例，获取模块，用于获取任务；预测模块，用于预测所述任务的成功率；第一响应模块，用于响应于所述任务的成功率低于预设的成功率阈值，将所述任务发送至预设的第一节点，将所述任务对应的备份任务发送至第二节点，所述第二节点与所述第一节点不同。
[0022]根据本申请的一个实施例，还包括：第二响应模块，用于响应于所述任务的成功率等于或者高于所述成功率阈值，将所述任务发送至所述第一节点。
[0023]根据本申请的一个实施例，还包括：确定模块，用于将所述第一节点和第二节点中最先完成任务的节点的任务执行结果，确定为目标任务执行结果；删除模块，用于将所述第一节点和第二节点中，除所述最先完成任务的节点之外的其他节点的任务执行结果删除。
[0024]根据本申请的一个实施例，所述第一响应模块，还包括：计算子模块，用于计算所述成功率阈值和所述任务的成功率的比值；第一确定子模块，用于根据所述比值确定所述
备份任务的数量。
[0025]根据本申请的一个实施例，所述第一确定子模块，包括：第一响应单元，用于响应于所述比值小于或者等于预设的数量阈值，将所述比值确定为所述备份任务的数量；或者，第二响应单元，用于响应于所述比值大于所述数量阈值，将所述数量阈值确定为所述备份任务的数量。
[0026]根据本申请的一个实施例，所述预测模块，包括：第一获取子模块，用于获取所述任务对应的数据特征和服务器资源特征；第一处理子模块，用于对所述数据特征和所述服务器资源特征进行特征加工处理；第二确定子模块，用于将特征加工处理后的所述数据特征和所述服务器资源特征输入至训练好的联邦学习模型中，得到所述任务的成功率。
[0027]根据本申请的一个实施例，还包括：第二获取子模块，用于获取样本任务对应的样本数据特征、样本服务器资源特征和样本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：获取任务；预测所述任务的成功率；响应于所述任务的成功率低于预设的成功率阈值，将所述任务发送至预设的第一节点，将所述任务对应的备份任务发送至第二节点，所述第二节点与所述第一节点不同。2.根据权利要求1所述的任务调度方法，其特征在于，还包括：响应于所述任务的成功率等于或者高于所述成功率阈值，将所述任务发送至所述第一节点。3.根据权利要求1所述的任务调度方法，其特征在于，还包括：将所述第一节点和第二节点中最先完成任务的节点的任务执行结果，确定为目标任务执行结果；将所述第一节点和第二节点中，除所述最先完成任务的节点之外的其他节点的任务执行结果删除。4.根据权利要求1所述的任务调度方法，其特征在于，所述将所述任务对应的备份任务发送至第二节点之前，还包括：计算所述成功率阈值和所述任务的成功率的比值；根据所述比值确定所述备份任务的数量。5.根据权利要求4所述的任务调度方法，其特征在于，所述根据所述比值确定所述备份任务的数量，包括：响应于所述比值小于或者等于预设的数量阈值，将所述比值确定为所述备份任务的数量；或者，响应于所述比值大于所述数量阈值，将所述数量阈值确定为所述备份任务的数量。6.根据权利要求1所述的任务调度方法，其特征在于，所述预测所述任务的成功率，包括：获取所述任务对应的数据特征和服务器资源特征；对所述数据特征和所述服务器资源特征进行特征加工处理；将特征加工处理后的所述数据特征和所述服务器资源特征输入至训练好的联邦学习模型中，得到所述任务的成功率。7.根据权利要求6所述的任务调度方法，其特征在于，还包括：获取样本任务对应的样本数据特征、样本服务器资源特征和样本任务执行结果；对所述样本数据特征和所述样本服务器资源特征进行特征加工处理；根据所述样本任务执行结果和特征加工处理后的所述样本数据特征和所述样本服务器资源特征，对待训练的联邦学习模型进行训练，得到候选联邦学习模型；根据所述候选联邦学习模型生成所述训练好的联邦学习模型。8.根据权利要求7所述的任务调度方法，其特征在于，所述根据所述候选联邦学习模型生成所述训练好的联邦学习模型，包括：将所述候选联邦学习模型中的加密梯度参数发送至服务器；接收服务器发送的聚合后的加密梯度参数，所述聚合后的加密梯度参数为所述服务器根据接收到的多个加密梯度参数聚合得到；
根据所述聚合后的加密梯度参数更新所述候选联邦学习模型，得到所述训练好的联邦学习模型。9.一种任务调度装置，其特征在于，包括：获取模块，用于获取任务；预测模块，用于预测所述任务的成功率；第一响应模块，用于响应于所述任务的成功率低于预设的成功率阈值，将所述任务发送至预设的第一节点，将所述任务对应的备份任务发送至第二节点，所述第二节点与所述第一节点不同。10.根据权利要求9所述的任务调度装置，其特征在于，还...
【专利技术属性】
技术研发人员：孙浩博，彭南博，张德，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。