一种日志采集方法、系统及装置制造方法及图纸

本发明专利技术实施例提供了一种日志采集方法、系统及装置，涉及云计算技术领域，第一宿主机通过第一日志采集器向控制服务器发送第一采集任务请求，该请求包括第一宿主机中已部署的应用程序的应用标识；若存在该请求中的应用标识对应的采集任务，则向第一日志采集器发送该应用标识对应的采集任务；第一日志采集器根据接收到的该应用标识对应的采集任务，采集该应用标识所属的应用程序的日志。如此，实现第一宿主机的第一日志采集器能够针对采集任务对应用程序进行日志采集，若不存在第一宿主机已部署的应用程序对应的采集任务，则不会对第一宿主机进行扫描，避免了第一日志采集器进行无效扫描操作，造成的计算机资源浪费的问题，保证应用程序的正常运行。应用程序的正常运行。应用程序的正常运行。

【技术实现步骤摘要】
一种日志采集方法、系统及装置


[0001]本专利技术涉及云计算
，特别是涉及一种日志采集方法、系统及装置。

技术介绍

[0002]随着云计算技术的快速发展，越来越多的应用程序使用容器技术部署于云端，由于容器管理工具可以在容器创建后，根据业务需要自动更改容器所属的宿主机，相应的容器中的应用程序也随之更改所属的宿主机，使得用户无法确定应用程序当前所属的宿主机，也就无法针对性地在应用程序当前所属的宿主机中采集该应用程序的运行日志。
[0003]现有技术中，通过在所有的宿主机上安装日志采集器，并且日志采集器针对宿主机进行扫描，保证及时扫描到应用程序的运行日志。然而，这种方式，若宿主机中未创建应用程序对应的容器，该宿主机中的日志采集器仍会进行扫描，会导致日志采集器进行无效扫描操作，造成计算机资源的浪费，且会影响该宿主机的容器中的应用程序的正常运行。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种日志采集方法、系统及装置，以实现第一宿主机的第一日志采集器能够针对第一采集任务对应的应用程序进行日志采集，也就是说，若不存在第一宿主机已部署的应用程序对应的采集任务，则不会对第一宿主机进行扫描，避免了第一日志采集器进行无效扫描操作，造成的计算机资源浪费的问题，保证应用程序的正常运行。
[0005]具体技术方案如下：
[0006]在本专利技术实施的第一方面，首先提供了一种日志采集方法，所述方法应用于控制服务器，所述方法包括：
[0007]接收第一宿主机中的第一日志采集器发送的第一采集任务请求；所述第一采集任务请求包括所述第一宿主机中各容器中已部署的应用程序的应用标识；
[0008]针对所述第一采集任务请求中的每一应用标识，判断指定的多个采集任务中是否存在该应用标识对应的采集任务；
[0009]若存在该应用标识对应的采集任务，则向所述第一日志采集器发送该应用标识对应的采集任务，以使所述第一日志采集器根据该应用标识对应的采集任务，采集该应用标识所属的应用程序的日志。
[0010]可选的，在所述接收第一宿主机中的第一日志采集器发送的第一采集任务请求之前，所述方法还包括：
[0011]接收所述第一宿主机发送的已创建的目标容器的容器信息；其中，所述容器信息包含所述目标容器中部署的目标应用程序的目标应用标识；
[0012]判断指定的多个采集任务中是否存在所述目标应用标识对应的采集任务；
[0013]若存在所述目标应用标识对应的采集任务，则判断所述第一宿主机中当前是否未安装日志采集器；
[0014]若所述第一宿主机中当前未安装日志采集器，则向所述第一宿主机发送安装提醒消息，以使所述第一宿主机根据所述安装提醒消息，安装日志采集器。
[0015]可选的，所述判断所述第一宿主机中当前是否未安装日志采集器，包括：
[0016]判断在预设历史时间段内，是否接收到所述第一宿主机中的日志采集器发送的采集任务请求；
[0017]若未接收到所述第一宿主机中的日志采集器发送的采集任务请求，则确定所述第一宿主机中当前未安装日志采集器。
[0018]可选的，一个应用标识对应的采集任务包含：该应用标识、该应用标识对应的应用程序产生的日志在所属宿主机中的保存路径、针对该应用标识对应的应用程序的日志的处理策略。
[0019]可选的，所述方法还包括：
[0020]接收第二宿主机中的第二日志采集器发送的第二采集任务请求；
[0021]其中，所述第二采集任务请求包括所述第二宿主机中各容器中已部署的应用程序的应用标识；所述第二宿主机和所述第一宿主机中部署有相同的目标应用程序；所述第二宿主机中部署的所述目标应用程序，与所述第一宿主机中部署的所述目标应用程序负责不同的业务处理，且，所述第二宿主机中部署的所述目标应用程序，为在所述第一宿主机中部署的所述目标应用程序的基础上进行动态扩容得到的；
[0022]针对所述第二采集任务请求中的每一应用标识，判断指定的多个采集任务中是否存在该应用标识对应的采集任务；
[0023]若存在该应用标识对应的采集任务，则向所述第一日志采集器发送该应用标识对应的采集任务，以使所述第二日志采集器根据该应用标识对应的采集任务，采集该应用标识所属的应用程序的日志。
[0024]在本专利技术实施的第二方面，还提供了一种日志采集方法，所述方法应用于第一宿主机，所述方法包括：
[0025]通过第一日志采集器，向控制服务器发送第一采集任务请求，所述第一采集任务请求包括所述第一宿主机中各容器中已部署的应用程序的应用标识；以使所述控制服务器接收所述第一采集任务请求，针对所述第一采集任务请求中的每一应用标识，判断指定的多个采集任务中是否存在该应用标识对应的采集任务，若存在该应用标识对应的采集任务，则向所述第一日志采集器发送该应用标识对应的采集任务；
[0026]通过所述第一日志采集器，针对每一应用标识，根据接收到的该应用标识对应的采集任务，采集该应用标识所属的应用程序的日志。
[0027]可选的，每一应用标识对应的采集任务包含：该应用标识、该应用标识对应的应用程序产生的日志在所属宿主机中的保存路径；
[0028]所述通过所述第一日志采集器，针对每一应用标识，根据接收到的该应用标识对应的采集任务，采集该应用标识所属的应用程序的日志，包括：
[0029]通过所述第一日志采集器，针对每一应用标识，从该应用标识对应的保存路径中，获取该应用标识对应的应用程序产生的日志。
[0030]可选的，每一应用标识对应的采集任务还包含：针对该应用标识对应的应用程序的日志的处理策略；
[0031]在所述通过所述第一日志采集器，针对每一应用标识，从该应用标识对应的保存路径中，获取该应用标识对应的应用程序产生的日志之后，所述方法还包括：
[0032]通过所述第一日志采集器，根据所述处理策略，提取获取到的日志中的预设字段的信息，生成目标日志，将所述目标日志保存到预设存储位置。
[0033]在本专利技术实施的第三方面，还提供了一种日志采集系统，所述日志采集系统包括控制服务器、第一宿主机，其中：
[0034]所述第一宿主机，用于通过第一日志采集器向所述控制服务器发送第一采集任务请求，所述第一采集任务请求包括所述第一宿主机中各容器中已部署的应用程序的应用标识；
[0035]所述控制服务器，用于接收所述第一采集任务请求；针对所述第一采集任务请求中的每一应用标识，判断指定的多个采集任务中是否存在该应用标识对应的采集任务；若存在该应用标识对应的采集任务，则向所述第一日志采集器发送该应用标识对应的采集任务；
[0036]所述第一宿主机，还用于通过所述第一日志采集器，针对每一应用标识，根据接收到的该应用标识对应的采集任务，采集该应用标识所属的应用程序的日志。
[0037]在本专利技术实施的第四方面，还提供了一种日志采集装置，所述装置应用于控制服务器，所述装置包括：
[0038]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志采集方法，其特征在于，所述方法应用于控制服务器，所述方法包括：接收第一宿主机中的第一日志采集器发送的第一采集任务请求；所述第一采集任务请求包括所述第一宿主机中各容器中已部署的应用程序的应用标识；针对所述第一采集任务请求中的每一应用标识，判断指定的多个采集任务中是否存在该应用标识对应的采集任务；若存在该应用标识对应的采集任务，则向所述第一日志采集器发送该应用标识对应的采集任务，以使所述第一日志采集器根据该应用标识对应的采集任务，采集该应用标识所属的应用程序的日志。2.根据权利要求1所述的方法，其特征在于，在所述接收第一宿主机中的第一日志采集器发送的第一采集任务请求之前，所述方法还包括：接收所述第一宿主机发送的已创建的目标容器的容器信息；其中，所述容器信息包含所述目标容器中部署的目标应用程序的目标应用标识；判断指定的多个采集任务中是否存在所述目标应用标识对应的采集任务；若存在所述目标应用标识对应的采集任务，则判断所述第一宿主机中当前是否未安装日志采集器；若所述第一宿主机中当前未安装日志采集器，则向所述第一宿主机发送安装提醒消息，以使所述第一宿主机根据所述安装提醒消息，安装日志采集器。3.根据权利要求2所述的方法，其特征在于，所述判断所述第一宿主机中当前是否未安装日志采集器，包括：判断在预设历史时间段内，是否接收到所述第一宿主机中的日志采集器发送的采集任务请求；若未接收到所述第一宿主机中的日志采集器发送的采集任务请求，则确定所述第一宿主机中当前未安装日志采集器。4.根据权利要求1所述的方法，其特征在于，一个应用标识对应的采集任务包含：该应用标识、该应用标识对应的应用程序产生的日志在所属宿主机中的保存路径、针对该应用标识对应的应用程序的日志的处理策略。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收第二宿主机中的第二日志采集器发送的第二采集任务请求；其中，所述第二采集任务请求包括所述第二宿主机中各容器中已部署的应用程序的应用标识；所述第二宿主机和所述第一宿主机中部署有相同的目标应用程序；所述第二宿主机中部署的所述目标应用程序，与所述第一宿主机中部署的所述目标应用程序负责不同的业务处理，且，所述第二宿主机中部署的所述目标应用程序，为在所述第一宿主机中部署的所述目标应用程序的基础上进行动态扩容得到的；针对所述第二采集任务请求中的每一应用标识，判断指定的多个采集任务中是否存在该应用标识对应的采集任务；若存在该应用标识对应的采集任务，则向所述第一日志采集器发送该应用标识对应的采集任务，以使所述第二日志采集器根据该应用标识对应的采集任务，采集该应用标识所属的应用程序的日志。6.一种日志采集方法，其特征在于，所述方法应用于第一宿主机，所述方法包括：
通过第一日志采集器，向控制服务器发送第一采集任务请求，所述第一采集任务请求包括所述第一宿主机中各容器中已部署的应用程序的应用标识；以使所述控制服务器接收所述第一采集任务请求，针对所述第一采集任务请求中的每一应用标识，判断指定的多个采集任务中是否存在该应用标识对应的采集任务，若存在该应用标识对应的采集任务，则向所述第一日志采集器发送该应用标识对应的采集任务；通过所述第一日志采集器，针对每一应用标识，根据接收到的该应用标识对应的采集任务，采集该应用标识所属的应用程序的日志。7.根据权利要求6所述的方法，其特征在于，每一应用标识对应的采集任务包含：该应用标识、该应用标识对应的应用程序产生的日志在所属...

【专利技术属性】
技术研发人员：邹沛成，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：