任务处理方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术实施例提供了一种任务处理方法、装置、电子设备及可读存储介质，通过获取预先配置的第一识别规则、第二识别规则以及第三识别规则，作为预设识别规则，使得任务处理系统能够基于三种不同的识别规则，识别出多种不同类型的低效任务，以更全面的识别低效任务，一定程度上提高了低效任务识别的范围和广度。并且，基于预设识别规则以及待识别任务集合中各待识别任务的实时任务数据，从待识别任务集合中确定目标任务，可以根据待识别任务的实时任务数据，在待识别任务在线运行的场景下中，完成对低效任务的识别判断，提高了低效任务识别的即时性以及灵活性，进而一定程度上可以释放计算资源，并且提高任务的运行效率。并且提高任务的运行效率。并且提高任务的运行效率。

【技术实现步骤摘要】
任务处理方法、装置、电子设备及可读存储介质


[0001]本专利技术属于计算机
，特别是涉及一种任务处理方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随电信运营商数字化转型，部署于Hadoop Yarn集群上的企业级数据仓库及其相关数据服务，已大量嵌入到运营商数据驱动类业务流程和数字化业务应用中，成为驱动企业生产、经营、决策的重要战略性资产。
[0003]目前，相关技术中，针对低效HQL任务的处理方法，适用于在HQL任务开发过程中通过对hive运行环境参数进行预配置，或在事后对已识别到的低效HQL任务治理中，以离线方式通过对hive运行配置参数进行调优并在后续HQL任务的运行态生效应用。但是，这种方式识别处理方式无法在在线业务中进行，处理方式具有局限性且即时性较差。

技术实现思路

[0004]本专利技术提供一种任务处理方法、装置、电子设备及可读存储介质，以解决识别低效任务具有局限性且即时性较差的问题。
[0005]为了解决上述技术问题，本专利技术是这样实现的：
[0006]第一方面，本专本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，应用于任务处理系统，所述方法包括：获取预先配置的用于识别高资源占用的低效任务的第一识别规则、用于识别高运行时长的低效任务的第二识别规则以及用于识别由于数据倾斜导致的低效任务的第三识别规则，作为预设识别规则；基于所述预设识别规则以及待识别任务集合中各待识别任务的实时任务数据，从所述待识别任务集合中确定目标任务；所述目标任务为存在高资源占用、高运行时长的低效任务和/或由于数据倾斜导致的低效任务；向资源管理器发送目标指令，使得所述资源管理器对所述目标任务执行所述目标指令指示的目标操作。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于文件传输协议，按照第一预设频率向任务调度端请求配置数据；所述配置数据中包含任务名称；基于超文本传输协议，按照第二预设频率调用目标接口，从所述资源管理器获取运行态数据，以及，从监控平台获取监控信息；所述运行态数据中包含应用名称，所述监控信息中包含应用名称以及节点名称；针对所述配置数据中的任一任务名称，将所述任务名称与所述运行态数据以及所述监控信息中的应用名称进行匹配；将所述任务名称对应的配置数据以及与所述任务名称匹配的应用名称对应的运行态数据以及监控信息，确定为所述任务名称对应的待识别任务的实时任务数据。3.根据权利要求1所述的方法，其特征在于，所述实时任务数据包括所述待识别任务的当前运行时长、所述待识别任务对应的计算资源量、所述待识别任务的执行进度以及归属于所述待识别任务的各任务节点的运行时长；所述基于所述预设识别规则以及待识别任务集合中各待识别任务的实时任务数据，从所述待识别任务集合中确定目标任务，包括：：基于所述第一识别规则、各所述待识别任务对应的所述计算资源量以及所述当前运行时长，从所述待识别任务集合中确定目标任务；基于所述第二识别规则、各所述待识别任务对应的所述当前运行时长以及第一运行时长，从所述待识别任务集合中确定所述目标任务；所述第一运行时长用于表征所述待识别任务在预设数目个运行周期内的平均运行时长；基于所述第三识别规则、各所述待识别任务对应的所述执行进度、所述计算资源量以及所述各任务节点的运行时长，从所述待识别任务集合中确定所述目标任务。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一识别规则、各所述待识别任务对应的所述计算资源量以及所述当前运行时长，从所述待识别任务集合中确定目标任务，包括：针对任一所述待识别任务，计算所述待识别任务对应的计算资源量以及所述待识别任务所属的资源队列的总计算资源量，并确定第一比值；基于所述第一识别规则，若所述第一比值大于预设比值阈值且所述待识别任务的当前运行时长大于预设时长阈值，则将所述待识别任务确定为目标任务。5.根据权利要求3所述的方法，其特征在于，所述基于所述第二识别规则、各所述待识别任务对应的所述当前运行时长以及第一运行时长，从所述待识别任务集合中确定所述目
标任务，包括：针对任一所述待识别任务，获取所述待识别任务对应的当前运行时长、第一运行时长以及历史运行时长；基于所述第二识别规则，在所述第一运行时长小于第一时长阈值的情况下，若所述待识别任务的当前运行时长大于第一数值，则将所述待识别任务确定为目标任务；在所述第一运行时长大于第一时长阈值且小于第二时长阈值的情况下，若所述待识别任务的当前运行时长大于第二数值，则将所述待识别任务确定为所述目标任务；在所述第一运行时长大于所述第二时长阈值的情况下，，若所述待识别任务的当前运行时长大于第三数值，则将所述待识别任务确定为所述目标任务；所述第一数值、所述第二数值以及所述第三数值是基于所述历史运行时长确定的，所述第一数值大于所述第二数值...

【专利技术属性】
技术研发人员：李俊犀，梁天健，王悦，李关春，李言斯，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：