一种插件数据库的容器运行日志的采集方法及系统技术方案

本发明专利技术提供了一种插件数据库的容器运行日志的采集方法及系统，其中，方法包括：步骤1：获取需要进行采集的至少一个目标容器；步骤2：获取目标容器对应的容器信息，基于容器信息，制定适宜的采集策略；步骤3：基于采集策略，采集目标容器的容器运行日志；步骤4：将容器运行日志存入预设的插件数据库中。本发明专利技术的插件数据库的容器运行日志的采集方法及系统，基于容器信息，制定适宜的采集策略，确定采集重点，基于该采集策略，采集目标容器的容器运行日志，提升了采集的针对性，降低了采集资源占用，更提升了数据处理的效率。提升了数据处理的效率。提升了数据处理的效率。

【技术实现步骤摘要】
一种插件数据库的容器运行日志的采集方法及系统


[0001]本专利技术计算机数据处理
，特别涉及一种插件数据库的容器运行日志的采集方法及系统。

技术介绍

[0002]目前，容器(Docker)在运行时，需要对其进行运行日志(例如：监控采集的内存使用率和CPU使用率等)的采集，采集完成后，将采集的运行日志存储至插件数据库中，设定插件数据库的插件功能(例如：内存异常分析)，从而实现采集与数据处理的整合；
[0003]在对容器进行运行日志采集时，一般均采集全部类型的运行日志，但是，由于容器的业务场景的不同，采集重点也应当不同(例如：容器在某业务场景下，容易发生CPU使用率过高的情况，应着重采集有关CPU的运行日志)，若进行全部采集，缺少针对性，增大了采集资源占用，同时，降低了数据处理的效率。

技术实现思路

[0004]本专利技术提供一种插件数据库的容器运行日志的采集方法及系统，基于容器信息，制定适宜的采集策略，确定采集重点，基于该采集策略，采集目标容器的容器运行日志，提升了采集的针对性，降低了采集资源占用，更提升了数据处理的效率。
[0005]本专利技术提供一种插件数据库的容器运行日志的采集方法，包括：
[0006]步骤1：获取需要进行采集的至少一个目标容器；
[0007]步骤2：获取所述目标容器对应的容器信息，基于所述容器信息，制定适宜的采集策略；
[0008]步骤3：基于所述采集策略，采集所述目标容器的容器运行日志；
[0009]步骤4：将所述容器运行日志存入预设的插件数据库中。
[0010]优选的，所述步骤1：获取需要进行采集的至少一个目标容器，包括：
[0011]获取用户输入的采集请求信息；
[0012]对所述采集请求信息进行解析，获得需要进行采集的至少一个目标容器，完成获取。
[0013]优选的，所述步骤2中，获取所述目标容器对应的容器信息，包括：
[0014]获取所述目标容器对应的获取节点集，所述获取节点集包括：多个第一获取节点；
[0015]获取所述第一获取节点对应的节点类型，所述节点类型包括：内部节点和外部节点；
[0016]当所述第一获取节点对应的节点类型为外部节点时，获取所述第一获取节点对应的信用值；
[0017]若所述信用值小于等于预设的信用阈值时，剔除对应所述第一获取节点；
[0018]当需要剔除的所述第一获取节点均剔除后，将剔除剩余的所述第一获取节点作为第二获取节点；
[0019]通过所述第二获取节点获取至少一个容器信息项；
[0020]整合各获取的所述容器信息项，获得所述目标容器对应的容器信息，完成获取。
[0021]优选的，获取所述第一获取节点对应的信用值，包括：
[0022]获取所述第一获取节点对应的多个第一数据来源；
[0023]获取所述第一数据来源对应的第一获取记录信息；
[0024]解析所述第一获取记录信息的信息量，若所述信息量大于等于预设的信息量阈值，将对应所述第一获取记录信息作为第二获取记录信息，同时，将对应所述第一数据来源作为第二数据来源，并将其余所述第一数据来源作为第三数据来源；
[0025]基于预设的信用评价模型，根据所述第二获取记录信息，对所述第二数据来源进行信用评价，获取评价值，并与对应所述第二数据来源进行关联；
[0026]获取所述第三数据来源与任一所述第二数据来源之间的至少一个关联关系，同时，获取所述关联关系对应的关联值，并与对应所述第三数据来源进行关联；
[0027]累加计算所述第二数据来源关联的所述评价值和所述第三数据来源关联的关联值，获得所述第一获取节点对应的信用值，完成获取。
[0028]优选的，所述步骤2中，基于所述容器信息，制定适宜的采集策略，包括：
[0029]对所述容器信息进行信息拆分，获得多个第一信息项；
[0030]对所述第一信息项进行元素提取，获得至少一个信息元素；
[0031]获取所述信息元素对应的至少一个第一需求项；
[0032]构建采集布局事件库，从所述采集布局事件库中确定对应于所述第一需求项的多个第一采集布局事件；
[0033]对所述第一采集布局事件进行特征提取，获得至少一个第一事件特征；
[0034]获取所述第一需求项对应的第一事件特征
‑
作用值库，基于所述第一事件特征
‑
作用值库，确定第一所述事件特征对应的第一作用值，并与对应所述第一需求项进行关联；
[0035]累加计算所述第一需求项关联的所述第一作用值，获得第一作用值和；
[0036]获取所述第一需求项对应的作用值和阈值，若所述第一作用值和大于等于所述第一作用值和阈值，将对应所述第一需求项作为第二需求项，并将所述第二需求项对应的所述第一采集布局事件作为第二采集布局事件，同时，基于预设的采集策略制定模型，根据所述第二采集布局事件，制定至少一个第一采集策略项；
[0037]否则，将对应所述第一需求项作为第三需求项，同时，将对应所述第一作用值和作为第二作用值和；
[0038]获取所述第三需求项对应的至少一个替换需求项，同时，获取所述替换需求项对应的建议值；
[0039]按照所述建议值从大到小依次遍历所述替换需求项，每次遍历时，从所述采集布局事件库中确定对应于遍历到的所述替换需求项的至少一个第三采集布局事件；
[0040]对所述第三采集布局事件进行特征提取，获得至少一个第二事件特征；
[0041]获取遍历到的所述替换需求项对应的第二事件特征
‑
作用值库，基于所述第二事件特征
‑
作用值库，确定第二所述事件特征对应的第二作用值；
[0042]基于预设的权重生成规则，基于遍历到的所述替换需求项对应的所述建议值，生成建议权重，同时，赋予所述第二作用值所述建议权重，获得第三作用值；
[0043]累加计算所述第二作用值和与所述第三作用值，获得第三作用值和；
[0044]确定所述第三需求项对应的所述第一作用值和阈值，并作为第二作用值和阈值；
[0045]当所述第三作用值和大于等于第二作用值和阈值时，停止遍历所述替换需求项，将所述第三需求项对应的所述第一采集布局事件作为第四采集布局事件，基于所述采集策略制定模型，根据所述第四采集布局事件和当前已确定的所述第三采集布局事件，制定至少一个第二采集策略项；
[0046]整合所述第一采集策略项和所述第二采集策略项，获得适宜的采集策略，完成制定。
[0047]优选的，构建采集布局事件库，包括：
[0048]获取待筛选的多个第五采集布局事件，同时，获取所述第五采集布局事件对应的事件来源；
[0049]获取所述事件来源对应的贡献值；
[0050]若所述贡献值小于等于预设的贡献阈值，解析对应所述第五采集布局事件包含的多个子事件；
[0051]获取所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种插件数据库的容器运行日志的采集方法，其特征在于，包括：步骤1：获取需要进行采集的至少一个目标容器；步骤2：获取所述目标容器对应的容器信息，基于所述容器信息，制定适宜的采集策略；步骤3：基于所述采集策略，采集所述目标容器的容器运行日志；步骤4：将所述容器运行日志存入预设的插件数据库中。2.如权利要求1所述的一种插件数据库的容器运行日志的采集方法，其特征在于，所述步骤1：获取需要进行采集的至少一个目标容器，包括：获取用户输入的采集请求信息；对所述采集请求信息进行解析，获得需要进行采集的至少一个目标容器，完成获取。3.如权利要求1所述的一种插件数据库的容器运行日志的采集方法，其特征在于，所述步骤2中，获取所述目标容器对应的容器信息，包括：获取所述目标容器对应的获取节点集，所述获取节点集包括：多个第一获取节点；获取所述第一获取节点对应的节点类型，所述节点类型包括：内部节点和外部节点；当所述第一获取节点对应的节点类型为外部节点时，获取所述第一获取节点对应的信用值；若所述信用值小于等于预设的信用阈值时，剔除对应所述第一获取节点；当需要剔除的所述第一获取节点均剔除后，将剔除剩余的所述第一获取节点作为第二获取节点；通过所述第二获取节点获取至少一个容器信息项；整合各获取的所述容器信息项，获得所述目标容器对应的容器信息，完成获取。4.如权利要求3所述的一种插件数据库的容器运行日志的采集方法，其特征在于，获取所述第一获取节点对应的信用值，包括：获取所述第一获取节点对应的多个第一数据来源；获取所述第一数据来源对应的第一获取记录信息；解析所述第一获取记录信息的信息量，若所述信息量大于等于预设的信息量阈值，将对应所述第一获取记录信息作为第二获取记录信息，同时，将对应所述第一数据来源作为第二数据来源，并将其余所述第一数据来源作为第三数据来源；基于预设的信用评价模型，根据所述第二获取记录信息，对所述第二数据来源进行信用评价，获取评价值，并与对应所述第二数据来源进行关联；获取所述第三数据来源与任一所述第二数据来源之间的至少一个关联关系，同时，获取所述关联关系对应的关联值，并与对应所述第三数据来源进行关联；累加计算所述第二数据来源关联的所述评价值和所述第三数据来源关联的关联值，获得所述第一获取节点对应的信用值，完成获取。5.如权利要求1所述的一种插件数据库的容器运行日志的采集方法，其特征在于，所述步骤2中，基于所述容器信息，制定适宜的采集策略，包括：对所述容器信息进行信息拆分，获得多个第一信息项；对所述第一信息项进行元素提取，获得至少一个信息元素；获取所述信息元素对应的至少一个第一需求项；构建采集布局事件库，从所述采集布局事件库中确定对应于所述第一需求项的多个第
一采集布局事件；对所述第一采集布局事件进行特征提取，获得至少一个第一事件特征；获取所述第一需求项对应的第一事件特征
‑
作用值库，基于所述第一事件特征
‑
作用值库，确定第一所述事件特征对应的第一作用值，并与对应所述第一需求项进行关联；累加计算所述第一需求项关联的所述第一作用值，获得第一作用值和；获取所述第一需求项对应的作用值和阈值，若所述第一作用值和大于等于所述第一作用值和阈值，将对应所述第一需求项作为第二需求项，并将所述第二需求项对应的所述第一采集布局事件作为第二采集布局事件，同时，基于预设的采集策略制定模型，根据所述第二采集布局事件，制定至少一个第一采集策略项；否则，将对应所述第一需求项作为第三需求项，同时，将对应所述第一作用值和作为第二作用值和；获取所述第三需求项对应的至少一个替换需求项，同时，获取所述替换需求项对应的建议值；按照所述建议值从大到小依次遍历所述替换需求项，每次遍历时，从所述采集布局事件库中确定对应于遍历到的所述替换需求项的至少一个第三采集布局事件；对所述第三采集布局事件进行特征提取，获得至少一个第二事件特征；获取遍历到的所述替换需求项对应的第二事件特征
‑
作用值库，基于所述第二事件特征
‑
作用值库，确定第二所述事件特征对应的第二作用值；基于预设的权重生成规则，基于遍历到的所述替换需求项对应的所述...

【专利技术属性】
技术研发人员：王军平，
申请(专利权)人：北京赛博云睿智能科技有限公司，
类型：发明
国别省市：