【技术实现步骤摘要】
任务异常处理方法、装置、计算机设备以及存储介质
本专利技术涉及计算机
，尤其涉及一种任务异常处理方法、装置、计算机设备以及存储介质。
技术介绍
现有技术中，由于大数据任务数量的增多直接导致任务调度平台上所运行的任务与任务之间的数据依赖增多，而任务之间增多的数据依赖会直接导致任务异常的出现，目前，对于任务异常并没有一个完整、合理的响应机制。一方面，当任务异常出现时，如果通过人工针对每个任务异常都对应地编写程序代码进行异常处理，通常会导致任务异常处理的效率低下，并且需要花费大量的人力和物力，造成人力和物力的浪费；另一方面，针对各种异常无法做到及时响应、及时处理；随着技术的不断革新，业务量的不断增长，现有的异常响应机制已经不能满足当下的业务需求与发展。
技术实现思路
有鉴于此，本专利技术实施例提供一种任务异常处理方法、装置、计算机设备以及存储介质，针对不同的任务异常设置对应的异常处理策略进行处理，能够提高任务执行的效率，并且缩短任务的执行时间。一方面，本专利技术实施例提供了一种任务异常处理...
【技术保护点】
1.一种任务异常处理方法，其特征在于，所述方法包括：/n接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志；/n通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；/n若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。/n
【技术特征摘要】
1.一种任务异常处理方法，其特征在于，所述方法包括：
接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志；
通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；
若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。
2.如权利要求1所述的方法，其特征在于，所述网页访问请求为摸拟网页访问请求，所述接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志，包括：
接收互联网应用向预设调度平台发起的摸拟网页访问请求，通过所述模拟网页访问请求访问所述预设调度平台；
根据所述模拟网页访问请求从所述预设调度平台中获取HTML网页；
调用jsoup.jar中的jsoup.parse方法解析所述HTML网页，根据解析结果获取所述任务执行状态和任务运行日志。
3.如权利要求1所述的方法，其特征在于，所述通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常，包括：
若所述任务运行日志中在预设时长内出现reduce任务等于99％，则判断所述预设调度平台中任务执行过程出现任务异常；
若所述任务运行日志中map任务数量以及reduce任务数量与预设阈值不对应，则判断所述预设调度平台中任务执行过程出现任务异常；
若所述任务运行日志中任务的部分或者全部字段均由同一张数据表关联生成，则判断所述预设调度平台中任务执行过程出现任务异常；
若所述任务执行状态中存在任务依赖数量大于预设阈值，则判断所述预设调度平台中任务执行过程出现任务异常。
4.如权利要求1所述的方法，其特征在于，在根据不同的任务异常调用对应的解决策略实现任务异常处理之前，所述方法还包括：
预先配置所述任务异常的策略配置文件；
在所述策略配置文件中针对各种任务异常对应地设置相关的解决策略。
5.如权利要求4所述的方法，其特征在于，所述根据不同的任务异常调用对应的解决策略实现任务异常处理，包括：
从预先配置的策略配置文件中获取与所述任务异常相...
【专利技术属性】
技术研发人员：叶波，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。