本申请公开了一种日志采集方法、装置、电子设备和可读存储介质，属于计算机技术领域。所述方法包括：获取历史作业信息和当前作业信息，所述历史作业信息和所述当前作业信息均为所述管理侧采集到的作业信息，所述历史作业信息的采集时刻位于所述当前作业信息的采集时刻之前；根据所述历史作业信息在所述当前作业信息中确定目标作业信息，所述目标作业信息对应的流程状态为作业进行中流程；控制所述集群侧采集与所述目标作业信息对应的作业日志。控制集群侧采集与目标作业信息所对应的作业流程的作业日志，仅根据目标作业信息对应的作业日志对于作业问题进行排查，无需查看所有作业日志，减少了日志查看量，提高了作业问题的排查效率。查效率。查效率。
【技术实现步骤摘要】
日志采集方法、装置、电子设备和可读存储介质
[0001]本申请属于计算机
，具体涉及一种日志采集方法、装置、电子设备和可读存储介质。
技术介绍
[0002]分布式系统在大规模集群作业环境中，持续性作业过程内作业量越来越大，同时，运维侧也会存在很多作业问题需要排查，对作业问题进行排查时，需要通过查看作业日志进行分析。
[0003]现有技术的作业日志查看过程中，集群侧在作业的同时，需要不断地采集实时作业日志信息，因为作业日志信息的数据量较大，所以需要耗费大量时间和精力才能在大量的作业日志信息中找到与作业问题相关的问题日志，对作业问题进行排查的效率较低。
技术实现思路
[0004]本申请实施例的目的是提供一种日志采集方法、装置、电子设备和可读存储介质，能够解决现有的作业日志问题排查过程中，排查效率较低的问题。
[0005]第一方面，本申请实施例提供了一种日志采集方法，应用于分布式计算机系统，所述分布式计算机系统包括管理侧和集群侧，所述方法包括：获取历史作业信息和当前作业信息，所述历史作业信息和所述当前作业信息均为所述管理侧采集到的作业信息，所述历史作业信息的采集时刻位于所述当前作业信息的采集时刻之前；根据所述历史作业信息在所述当前作业信息中确定目标作业信息；控制所述集群侧采集与所述目标作业信息对应的作业日志。
[0006]第二方面，本申请实施例提供了一种日志采集装置，应用于分布式系统，所述分布式系统包括管理侧和集群侧，所述装置包括：获取模块，用于获取历史作业信息和当前作业信息，所述历史作业信息和所述当前作业信息均为所述管理侧采集到的作业信息，所述历史作业信息的采集时刻位于所述当前作业信息的采集时刻之前；确定模块，用于根据所述历史作业信息在所述当前作业信息中确定目标作业信息，所述目标作业信息对应的流程状态为作业进行中流程；采集模块，用于控制所述集群侧采集与所述目标作业信息对应的作业日志。
[0007]第三方面，本申请实施例提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0008]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0009]在本申请实施例中，获取历史作业信息和当前作业信息，根据历史作业信息在当
前作业信息中确定目标作业信息，在确定了目标作业信息后，控制集群侧采集与目标作业信息所对应的作业流程的作业日志，仅根据目标作业信息对应的作业日志对于作业问题进行排查，无需查看所有作业日志，减少了日志查看量，提高了作业问题的排查效率。
附图说明
[0010]图1为本申请实施例提供的日志采集方法的流程示意图；图2为本申请实施例提供的中间存储层的结构示意图；图3为本申请实施例提供的日志采集装置的结构示意图；图4为本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0011]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0012]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象 可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0013]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的方法进行详细地说明。
[0014]本申请实施例提供的日志采集方法，基于分布式系统实现，分布式系统包括分布式发布订阅消息系统（kafka）以及管理侧、集群侧、控制侧。本申请实施例的日志采集方法的执行主体可以是控制侧。
[0015]如图1所示，本申请实施例提供的日志采集方法包括如下步骤：步骤S1，获取历史作业信息和当前作业信息，所述历史作业信息和所述当前作业信息均为所述管理侧采集到的作业信息，所述历史作业信息的采集时刻位于所述当前作业信息的采集时刻之前；历史作业信息和当前作业信息中，作业信息至少包括作业流程的：功能、持续时长、流程状态。其中，流程状态包括两种，一种流程状态为作业进行中状态，另外一种流程状态为作业已完成状态。
[0016]当前作业信息为管理侧在当前时刻实时采集的作业信息，分为两种，历史作业信息为管理侧在采集当前作业信息之前就已经采集并存储在管理侧的数据库中的作业信息。优选的，历史作业信息的采集时刻是上一次采集作业信息的时刻。
[0017]存储在数据库中的历史作业信息上被设置有标签，标签分为已完成标签和未完成标签，已完成标签与作业已完成状态相对应，表示对应的作业信息被采集时，已经完成了作业流程，作业不再进行。未完成标签与作业进行中状态相对应，表示对应的作业信息被采集时，作业流程还未完成，仍在进行中。
[0018]步骤S2，根据所述历史作业信息在所述当前作业信息中确定目标作业信息；在对作业问题进行排查时，作业问题必然是出现在流程状态为作业进行中状态的作业流程中，因此，将历史作业信息与当前作业信息进行对比，在当前作业信息中存在作业信息对应的第一作业流程的状态为作业已完成状态，且历史作业信息中存在与第一作业流程对应的作业信息的情况下，将数据库中第一作业流程对应的作业信息的标签修改为已完成标签，当前作业信息中第一作业流程对应的作业信息不被存储进数据库，只将作业流程状态为作业进行中的目标作业信息存储进数据库。与将当前作业信息中的所有作业信息都存储进数据库的方式相比，只将目标作业信息存储进数据库的方式，既能够根据目标作业信息来排查作业问题，又能够实现数据库的资源节约，最大程度的利用存储资源，降低了数据库的存储压力。
[0019]步骤S3，控制所述集群侧采集与所述目标作业信息对应的作业日志。
[0020]在确定了目标作业信息后，控制侧控制集群侧采集与目标作业信息所对应的作业流程的作业日志，仅根据目标作业信息对应的作业日志对于作业问题进行排查，无需查看所有作业日志，减少了日志查看量，提高了作业问题的排查效率。
[0021]在另一实施例中，在集群侧部署可由管理侧触发调用的接口，在确定了目标作业信息后，管理侧触发集群侧的接口，当接口被触发之后，集群侧进行作业日志的采集。在集群侧为需要kerberos协议认证的集群的情况下，管理侧向集群侧发送用户信息，以完成kerberos认证，在认证后集群侧采集作业日志。在集群侧不需要认证的情况下，集群侧根据目标作业信息直接采集本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种日志采集方法，应用于分布式系统，所述分布式系统包括管理侧和集群侧，其特征在于，所述方法包括：获取历史作业信息和当前作业信息，所述历史作业信息和所述当前作业信息均为所述管理侧采集到的作业信息，所述历史作业信息的采集时刻位于所述当前作业信息的采集时刻之前；根据所述历史作业信息在所述当前作业信息中确定目标作业信息；控制所述集群侧采集与所述目标作业信息对应的作业日志。2.如权利要求1所述的方法，其特征在于，所述根据所述历史作业信息在所述当前作业信息中确定目标作业信息，包括：从所述历史作业信息中获取第一作业信息，所述第一作业信息对应的流程状态为作业进行中，且所述第一作业信息对应的持续时长大于目标预设时长；基于所述第一作业信息，从所述当前作业信息中确定第二作业信息，所述第二作业信息对应的流程与所述第一作业信息对应的作业流程相同且所述第二作业信息对应的流程状态为作业进行中；将所述当前作业信息中去除所述第二作业信息所剩余的作业信息确定为第三作业信息；将所述第三作业信息中对应的流程状态为作业进行中状态的作业信息确定为所述目标作业信息。3.如权利要求1所述的方法，其特征在于，所述获取历史作业信息和当前作业信息，包括：在接收到采集指示的情况下，获取所述历史作业信息和所述当前作业信息；其中，所述采集指示为满足预设条件的情况下接收的指示，所述预设条件包括如下至少一项：所述采集指示与前一次采集指示之间的间隔时长大于第一预设时长、接收到作业问题排查指令。4.如权利要求1所述的方法，其特征在于，所述当前作业信息包括多个作业流程信息，所述多个作业流程信息中每个作业流程信息对应的作业时长小于或等于第二预设时长。5.如权利要求1至4中任一项所述的方法，其特征在于，所述分布式系统还包括中间存储层，所述控制所述集群侧采集与所述目标作业信息对应的作业日志之后，所述方法还包括：控制所述集群侧将所述作业日志发送至所述中间存储层；其中，所述作业日志用于使所述中间存储层基于所述作业日志对应的作业过程的业务类别，对所述作业日志进行分类，以确定所述作业日志的日志标签，所述日志标签包括：日志编号、索引名、日志产生时间、日志等级、分类名称；并使得所述中间存储层将所述作业日志和所述日志标签发送至所述管理侧，以使得所述管理侧基于所述日志标签，对所述作业日志进行可视化展示。6.如权利要求5所述的方法，其特征在于，所述中间存储层包括多个服务器，每个所述服务器包括多个存储节点，在所述控制所述集群侧将所述进行中作业日志发送至所述中间存储层之前，所述方法还包括：获取所述多个服务器对...
【专利技术属性】
技术研发人员：于磊春，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。