任务运维方法、装置及系统制造方法及图纸

本申请实施例公开了一种任务运维方法、装置及系统，其中方法包括：获取可视化显示的任务关系图谱中各个任务的日志信息，所述任务关系图谱是根据各个任务在kafka系统中的消费信息，确定各个任务之间的上下游生产消费关系后建立的；根据所述各个任务的日志信息判断是否存在异常信息；根据所述异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在所述任务关系图谱中显示以供用户选择，所述异常仓库中存储有异常信息对应的解决方案。相比现有技术，本申请能够快速定位处于异常状态的任务，给出合理的解决方案，提高运维效率。

【技术实现步骤摘要】
任务运维方法、装置及系统
本申请涉及运维
，具体涉及一种任务运维方法、装置及系统。
技术介绍
数据的价值随着时间的流逝而降低，而实时的处理数据是数据价值的保证。Kafka是一种高吞吐量的分布式发布订阅消息系统，它最大的特性就是可以实时的处理大量数据以满足各种需求场景，Kafka系统包括生产方和消费方，作为生产方的实时任务生产数据，作为消费方的实时任务使用该数据，则两实时任务之间具有上下游生产消费关系，当前企业实时处理数据基本上都会用到Kafka系统。在企业大促期间，实时数据流量往往会在极短的时间内达到峰值，对实时任务平台系统的稳定性及运维能力要求较高，一旦实时任务出现异常不能在短时间内定位解决，且不能确定出现异常的任务所波及到的其他任务的范围，将出现不可估量且不可挽回的损失。目前，现有的实时任务运维方法停留在通过短信邮件重复批量的反馈报错信息，依靠人工来运维，就现有的人工运维而言，最大的问题在于用户需要从海量的报错日志里检索异常，再判断异常原因，寻找解决方案，不同的用户往往在相同问题上重复寻找异常解决办法，很大程度上降低了运维的效率。
技术实现思路
本申请提供了一种任务运维方法、装置及系统，能够快速定位处于异常状态的任务，给出合理的解决方案，提高运维效率。本申请提供了如下方案：第一方面提供一种任务运维方法，所述方法包括：获取可视化显示的任务关系图谱中各个任务的日志信息，所述任务关系图谱是根据各个任务在kafka系统中的消费信息，确定各个任务之间的上下游生产消费关系后建立的；根据所述各个任务的日志信息判断是否存在异常信息；根据所述异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在所述任务关系图谱中显示以供用户选择，所述异常仓库中存储有异常信息对应的解决方案。进一步地，根据所述各个任务的日志信息判断是否存在异常信息：对所述各个任务的日志信息进行关键词检索获得检索结果，根据所述检索结果中的关键词判断是否存在异常信息。进一步地，所述方法还包括：根据所述各个任务的日志信息判断所述各个任务所处状态；根据预设的状态与颜色的对应关系，将所述各个任务所处状态在任务关系图谱中以其所对应的颜色显示，以便于用户在任务关系图谱上观察出各个任务所处状态。进一步地，所述任务所处状态包括正在启动、正常运行、未启动或启动失败、exception异常和error错误，其中exception异常和error错误均为异常状态。进一步地，所述根据所述异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在所述任务关系图谱中显示以供用户选择包括：根据预设的规则筛选掉异常信息中的无关异常信息，获得根异常信息；根据所述根异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在任务关系图谱中显示以供用户选择。进一步地，所述根据所述根异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在所述任务关系图谱中显示以供用户选择包括：根据所述根异常信息在预设的异常仓库中匹配若干个解决方案；将所述若干个解决方案按照优先级排序后在所述任务关系图谱中显示以供用户选择。进一步地，所述方法还包括：接收用户反馈的解决方案可实施性和/或新解决方案，对所述若干个解决方案的优先级重新排序和/或将新解决方案增加到所述若干个解决方案中。进一步地，所述根据所述各个任务的日志信息判断是否存在异常信息后，还包括：若存在，根据所述日志信息中记录的异常信息中的异常种类，在异常仓库中匹配所述异常种类对应的处理规则，所述异常仓库中存储有异常种类对应的处理规则，所述异常信息包括异常种类和异常名称；按照匹配到的处理规则自动进行处理，以保证所述任务的正常运行。本申请第二方面提供一种任务运维装置，其特征在于，所述装置包括：获取单元，用于获取可视化显示的任务关系图谱中各个任务的日志信息，所述任务关系图谱是根据各个任务在kafka系统中的消费信息，确定各个任务之间的上下游生产消费关系后建立的；判断单元，用于根据所述各个任务的日志信息判断是否存在异常信息；匹配单元，用于根据所述异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在所述任务关系图谱中显示以供用户选择，所述异常仓库中存储有异常信息对应的解决方案。本申请第三方面提供一种计算机系统，所述系统包括：一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行上述的方法。根据本申请提供的具体实施例，本申请公开了以下技术效果：先建立任务关系图谱并将其可视化显示，获取处于异常状态的任务的日志信息，在预设的异常仓库中匹配解决方案，并将解决方案在任务关系图谱中显示以供用户选择，用户可以根据解决方案进行操作，快速清除任务的异常状态，保证任务的正常运行，提高运维效率。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本申请实施例1提供的任务运维方法流程图；图2示出了本申请实施例2提供的任务运维装置结构图；图3示出了本申请实施例3提供的计算机系统结构图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。如
技术介绍
所述，在企业大促期间，一旦实时任务出现异常不能在短时间内定位解决，且不能确定出现异常的任务所波及到的其他任务的范围，将出现不可估量且不可挽回的损失。目前，现有的实时任务运维方法停留在通过短信邮件重复批量的反馈报错信息，依靠人工来运维，就现有的人工运维而言，最大的问题在于用户需要从海量的报错日志里检索异常，再判断异常原因，寻找解决方案，不同的用户往往在相同问题上重复寻找异常解决办法，很大程度上降低了运维的效率。为此本申请提出一种任务运维方法、装置及系统，通过建立任务关系图谱并将其可视化显示，获取处于异常状态的任务的日志信息，在预设的异常仓库中匹配解决方案，并将解决方案在任务关系图谱中显示以供用户选择，用户可以根据解决方案进行操作，快速清除任务的异常状态，保证任务的正常运行，提高运维效率。实施例1本申请实施例提供一种任务运维方法，以该方法应用于任务运维装置中来举例说明，该装置可以被配置于任一计算机设备中，以使该计算机设备可以执行任务运维方法。如图1所示，上述方法包括：S11、获取可视化显示的任务关系图谱中各本文档来自技高网...

【技术保护点】
1.一种任务运维方法，其特征在于，所述方法包括：/n获取可视化显示的任务关系图谱中各个任务的日志信息，所述任务关系图谱是根据各个任务在kafka系统中的消费信息，确定各个任务之间的上下游生产消费关系后建立的；/n根据所述各个任务的日志信息判断是否存在异常信息；/n根据所述异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在所述任务关系图谱中显示以供用户选择，所述异常仓库中存储有异常信息对应的解决方案。/n

【技术特征摘要】
1.一种任务运维方法，其特征在于，所述方法包括：
获取可视化显示的任务关系图谱中各个任务的日志信息，所述任务关系图谱是根据各个任务在kafka系统中的消费信息，确定各个任务之间的上下游生产消费关系后建立的；
根据所述各个任务的日志信息判断是否存在异常信息；
根据所述异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在所述任务关系图谱中显示以供用户选择，所述异常仓库中存储有异常信息对应的解决方案。


2.如权利要求1所述的任务运维方法，其特征在于，根据所述各个任务的日志信息判断是否存在异常信息：
对所述各个任务的日志信息进行关键词检索获得检索结果，根据所述检索结果中的关键词判断是否存在异常信息。


3.如权利要求1所述的任务运维方法，其特征在于，所述方法还包括：
根据所述各个任务的日志信息判断所述各个任务所处状态；
根据预设的状态与颜色的对应关系，将所述各个任务所处状态在任务关系图谱中以其所对应的颜色显示，以便于用户在任务关系图谱上观察出各个任务所处状态。


4.如权利要求3所述的任务运维方法，其特征在于：
所述任务所处状态包括正在启动、正常运行、未启动或启动失败、exception异常和error错误，其中exception异常和error错误均为异常状态。


5.如权利要求1所述的任务运维方法，其特征在于，所述根据所述异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在所述任务关系图谱中显示以供用户选择包括：
根据预设的规则筛选掉异常信息中的无关异常信息，获得根异常信息；
根据所述根异常信息在预设的异常仓库中匹配解决方案，并将所述解决方案在任务关系图谱中显示以供用户选择。


6.如权利要求5所述的任务运维方法，其特征在于，所...

【专利技术属性】
技术研发人员：汪照阳，
申请(专利权)人：苏宁金融科技南京有限公司，
类型：发明
国别省市：江苏;32