任务处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及计算机技术领域，尤其涉及一种任务处理方法、装置、电子设备及存储介质。本发明专利技术的任务处理方法、装置、电子设备及存储介质，根据第一预设探测频率向集群内的多个第二主机分别发送第一探测数据，接收所述第二主机响应于所述第一探测数据获取的最新任务成功标识，根据所述任务成功标识的创建时间确定对应所述第二主机是否出现执行任务异常，若所述第二主机出现执行任务异常，则获取所述第二主机的执行中的任务和待执行的任务，将获取的所述执行中的任务和所述待执行的任务发送至所述集群内的第三主机；通过上述方式，为每个任务设置任务成功标识，对每个第二主机中任务成功标识进行识别，能够快速发现执行任务异常，减少对业务的影响。少对业务的影响。少对业务的影响。

【技术实现步骤摘要】
任务处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种任务处理方法、装置、电子设备及存储介质。

技术介绍

[0002]大型的计算任务常常被划分为多个子任务，多个子任务在集群内的多个第二主机上进行分布式处理，由于多个子任务之间存在依赖关系，其中一个或一些第二主机出现故障，可能导致整个大型的计算任务执行效率降低，尤其针对一些不能停止执行的重要计算任务。
[0003]现有技术中，无法及时发现集群内第二主机的执行异常，导致任务执行超期，对业务产生不利影响。

技术实现思路

[0004]本专利技术的目的在于提供一种任务处理方法、装置、电子设备及存储介质，以解决现有技术中无法及时发现集群内第二主机的执行异常，导致任务执行超期，对业务产生不利影响的技术问题。
[0005]本专利技术的技术方案如下：提供一种任务处理方法，应用于第一主机，所述第一主机与集群内的第二主机和第三主机分别连接，包括：
[0006]根据第一预设探测频率向集群内的多个第二主机分别发送第一探测数据；
[0007]接收所述第二主机发送的响应于所述第一探测数据获取的最新任务成功标识，其中，所述最新任务成功标识包括创建时间，所述最新任务成功标识为所述第二主机的所有任务成功标识中所述创建时间离所述第一探测数据的发送时间最近的所述任务成功标识；
[0008]根据所述创建时间确定对应所述第二主机是否出现执行任务异常；
[0009]若所述第二主机出现执行任务异常，则获取所述第二主机的执行中的任务和待执行的任务，将获取的所述执行中的任务和所述待执行的任务发送至所述集群内的第三主机。
[0010]可选地，所述若所述第二主机出现执行任务异常，则获取所述第二主机的执行中的任务和待执行的任务，将获取的所述执行中的任务和所述待执行的任务发送至所述集群内的第三主机之后，还包括：
[0011]根据第二预设探测频率向集群内的多个第二主机分别发送第二探测数据；
[0012]接收所述第二主机响应于所述第二探测数据生成的当前周期的任务执行数据；
[0013]根据所述任务执行数据获取对应所述第二主机的执行性能数据；
[0014]根据所述执行性能数据确定对应所述第二主机是否出现执行任务潜在异常。
[0015]可选地，所述接收所述第二主机响应于所述第二探测数据生成的当前周期的任务执行数据，包括：
[0016]获取所述创建时间位于所述当前周期内的所述任务成功标识；
[0017]获取所述任务成功标识对应的任务名称，根据所述任务名称获取对应任务的所述任务执行数据，其中，所述任务执行数据包括任务名称、执行时间、数据源信息以及资源使用量。
[0018]可选地，所述根据所述任务执行数据获取对应所述第二主机的执行性能数据，包括：
[0019]针对每个所述执行任务数据，根据所述数据源信息获取计算数据量；
[0020]根据所述计算数据量、所述执行时间以及所述资源使用量获取每个所述执行任务数据对应的任务性能数据；
[0021]根据多个任务性能数据获取所述第二主机在当前周期的执行性能数据。
[0022]可选地，所述根据多个任务性能数据获取所述第二主机在当前周期的执行性能数据之后，还包括：
[0023]获取统计时间位于第一时间范围的所述执行性能数据，所述第一时间范围的起始时间点为距离当前时间第二预设时长的时间点，所述第一时间范围的终止时间点为当前时间；
[0024]根据所述执行性能数据进行线性回归计算，得到每个所述第二主机的对应执行性能的线性回归直线；
[0025]根据所述线性回归直线的斜率确定所述第二主机在所述第一时间范围的性能变化趋势。
[0026]可选地，所述若所述第二主机出现执行任务异常，则获取所述第二主机的执行中的任务和待执行的任务，将获取的所述执行中的任务和所述待执行的任务发送至所述集群内的第三主机之后，还包括：
[0027]根据第三探测频率向集群内的多个第二主机分别发送第三探测数据；
[0028]接收所述第二主机响应于所述第三探测数据获取的反馈数据；
[0029]根据所述反馈数据获取所述第二主机的丢包率和接收时延；
[0030]若所述丢包率大于或等于预设丢包阈值或所述接收时延大于或等于预设时延阈值，则确定所述第二主机出现网络异常。
[0031]可选地，所述根据所述创建时间确定对应所述第二主机是否出现执行任务异常，包括：
[0032]获取所述最新任务成功标识的创建时间距离当前时间的时间差；
[0033]若所述时间差大于或等于预设时间阈值，则确定对应所述第二主机是否出现执行任务异常。
[0034]本专利技术的另一技术方案如下：提供一种任务处理装置，应用于第一主机，包括：
[0035]探测模块，用于根据第一预设探测频率向集群内的多个第二主机分别发送第一探测数据；
[0036]标识获取模块，用于接收所述第二主机响应于所述第一探测数据获取的最新任务成功标识，其中，所述最新任务成功标识包括创建时间，所述最新任务成功标识为所述第二主机的所有任务成功标识中所述创建时间离所述第一探测数据的发送时间最近的所述任务成功标识；
[0037]判断模块，用于根据所述创建时间确定对应所述第二主机是否出现执行任务异
常；
[0038]执行模块，用于若所述第二主机出现执行任务异常，则获取所述第二主机的执行中的任务和待执行的任务，将获取的所述执行中的任务和所述待执行的任务发送至所述集群内的第三主机。
[0039]本专利技术的另一技术方案如下：提供一种电子设备，包括处理器、以及与所述处理器耦接的存储器，所述存储器存储有可被所述处理器执行的程序指令；所述处理器执行所述存储器存储的所述程序指令时实现上述的任务处理方法。
[0040]本专利技术的另一技术方案如下：提供一种存储介质，所述存储介质内存储有程序指令，所述程序指令被处理器执行时实现上述的任务处理方法。
[0041]本专利技术的任务处理方法、装置、电子设备及存储介质，根据第一预设探测频率向集群内的多个第二主机分别发送第一探测数据，接收所述第二主机响应于所述第一探测数据获取的最新任务成功标识，根据所述任务成功标识的创建时间确定对应所述第二主机是否出现执行任务异常，若所述第二主机出现执行任务异常，则获取所述第二主机的执行中的任务和待执行的任务，将获取的所述执行中的任务和所述待执行的任务发送至所述集群内的第三主机；通过上述方式，为每个任务设置任务成功标识，对每个第二主机中任务成功标识进行识别，能够快速发现执行任务异常，减少对业务的影响。
附图说明
[0042]图1为本专利技术第一实施例的任务处理方法的流程示意图；
[0043]图2为本专利技术第二实施例的任务处理装置的结构示意图；
[0044]图3为本专利技术第三实施例的电子设备的结构示意图；
[0045]图4为本专利技术第四实施例的存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，应用于第一主机，所述第一主机与集群内的第二主机和第三主机分别连接，其特征在于，包括：根据第一预设探测频率向集群内的多个第二主机分别发送第一探测数据；接收所述第二主机发送的响应于所述第一探测数据获取的最新任务成功标识，其中，所述最新任务成功标识包括创建时间，所述最新任务成功标识为所述第二主机的所有任务成功标识中所述创建时间离所述第一探测数据的发送时间最近的所述任务成功标识；根据所述创建时间确定对应所述第二主机是否出现执行任务异常；若所述第二主机出现执行任务异常，则获取所述第二主机的执行中的任务和待执行的任务，将获取的所述执行中的任务和所述待执行的任务发送至所述集群内的第三主机。2.根据权利要求1所述的任务处理方法，其特征在于，所述若所述第二主机出现执行任务异常，则获取所述第二主机的执行中的任务和待执行的任务，将获取的所述执行中的任务和所述待执行的任务发送至所述集群内的第三主机之后，还包括：根据第二预设探测频率向所述集群内的多个第二主机分别发送第二探测数据；接收所述第二主机响应于所述第二探测数据生成的当前周期的任务执行数据；根据所述任务执行数据获取对应所述第二主机的执行性能数据；根据所述执行性能数据确定对应所述第二主机是否出现执行任务潜在异常。3.根据权利要求2所述的任务处理方法，其特征在于，所述接收所述第二主机响应于所述第二探测数据生成的当前周期的任务执行数据，包括：获取所述创建时间位于所述当前周期内的所述任务成功标识；获取所述任务成功标识对应的任务名称，根据所述任务名称获取对应任务的所述任务执行数据，其中，所述任务执行数据包括任务名称、执行时间、数据源信息以及资源使用量。4.根据权利要求2所述的任务处理方法，其特征在于，所述根据所述任务执行数据获取对应所述第二主机的执行性能数据，包括：针对每个所述执行任务数据，根据所述数据源信息获取计算数据量；根据所述计算数据量、所述执行时间以及所述资源使用量获取每个所述执行任务数据对应的任务性能数据；根据多个任务性能数据获取所述第二主机在当前周期的执行性能数据。5.根据权利要求4所述的任务处理方法，其特征在于，所述根据多个任务性能数据获取所述第二主机在当前周期的执行性能数据之后，还包括：获取统计时间位于第一时间范围的所述执行性能数据，所述第一时间范围的起始时间点为距...

【专利技术属性】
技术研发人员：寿漪盛，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：