一种基于k8s的监控系统及监控方法技术方案

本公开提供了一种基于k8s的监控系统及监控方法，其中，监控系统包括管理容器创建数据抓取方案，并将数据抓取方案提供给抓取容器；抓取容器基于数据抓取方案进行数据抓取；管理容器还基于抓取到的数据的数据量大小，动态调整其他容器的大小；其中，其他容器至少包括存储容器和分析容器。本公开基于k8s建立了监控系统，并利用监控系统中的管理容器基于抓取到的数据的数据量大小，实时且动态的调整存储容器和分析容器等其他容器的大小，避免了遗漏抓取的数据导致无法全面且准确的确定IOC的问题，能够全面且准确的确定IOC也即待监控数据，同时避免了服务器资源浪费。

A monitoring system and method based on k8s

【技术实现步骤摘要】
一种基于k8s的监控系统及监控方法
本公开涉及数据安全
，具体而言，涉及一种基于k8s的监控系统及监控方法。
技术介绍
随着网络科技的不断发展，网络用户(包括个人和企业)将越来越多的资料保存在网络上，以便于方便的存取、进行保密等。但随之也产生了许多的网络威胁，也即网络用户的设备、云端或网站存在被恶意攻击，进而导致资料被窃取，甚至导致网络用户的设备直接报废等，这对网络用户的名誉及财产等均造成了影响。其中，针对不同的安全厂商有不同的攻击手段，因此不同的厂商对应的安全威胁情报(IndicatorsofCompromise，IOC)也不相同。通常，通过网络爬虫来抓取网络中的数据，并对抓取到的数据进行分析，进而确定抓取到的数据中是否存在IOC。但存储抓取到的数据的空间是在进行数据抓取之前预先设定好的，在抓取到的数据较多时，存在空间不足遗漏抓取的数据的情况，导致无法全面且准确的确定IOC的问题；在抓取到的数据较少时，存在空间闲置浪费服务器资源的问题。
技术实现思路
有鉴于此，本公开的目的在于提供一种基于k8s的监控系统及监控方法，以解决现有技术中存在的存储抓取到的数据的空间是在进行数据抓取之前预先设定好的，在抓取到的数据较多时，存在空间不足遗漏抓取的数据的情况，导致无法全面且准确的确定IOC的问题；以及在抓取到的数据较少时，存在空间闲置浪费服务器资源的问题。第一方面，本公开提供了一种基于k8s的监控系统，其中，包括：管理容器创建数据抓取方案，并将所述数据抓取方案提供给抓取容器；<br>所述抓取容器基于所述数据抓取方案进行数据抓取；所述管理容器还基于抓取到的数据的数据量大小，动态调整其他容器的大小；其中，所述其他容器至少包括存储容器和分析容器。在一种可能的实施方式中，所述监控系统还包括：所述管理容器还确定所述抓取到的数据是否满足所述数据抓取方案的要求；其中，所述数据抓取方案至少包括关于数据类型、数据大小以及数据内容的要求；在所述抓取到的数据未否满足所述数据抓取方案的要求的情况下，控制所述抓取容器基于所述数据抓取方案继续进行数据抓取。在一种可能的实施方式中，所述抓取容器基于所述数据抓取方案，利用网络爬虫进行数据抓取。在一种可能的实施方式中，所述管理容器根据在预设时间段内抓取到数据的情况，更新所述网络爬虫的爬虫代理IP，并将更新后的爬虫代理IP提供给所述抓取容器，以使所述抓取容器基于所述数据抓取方案利用所述更新后的爬虫代理IP进行数据抓取。在一种可能的实施方式中，所述监控系统还包括：所述抓取容器将所述抓取到的数据存储至所述存储容器；所述分析容器获取所述存储容器中的所述抓取到的数据，并从所述抓取到的数据中提取待监控数据；查找预先设定的关注数据群中是否存在与所述待监控数据相匹配的关注数据；若存在，通过报警容器以警报信息的形式进行报警。在一种可能的实施方式中，所述监控系统还包括：API控制容器管理所述监控系统的各容器之间的API接口。第二方面，本公开还提供了一种监控方法，其应用于上述任一所述的监控系统，包括：创建数据抓取方案；基于所述数据抓取方案进行数据抓取；基于抓取到的数据的数据量大小，动态调整容器的大小。在一种可能的实施方式中，所述监控方法还包括：确定所述抓取到的数据是否满足所述数据抓取方案的要求；其中，所述数据抓取方案至少包括关于数据类型、数据大小以及数据内容的要求；在所述抓取到的数据未否满足所述数据抓取方案的要求的情况下，基于所述数据抓取方案继续进行数据抓取。在一种可能的实施方式中，所述基于所述数据抓取方案进行数据抓取，包括：基于所述数据抓取方案，利用网络爬虫进行数据抓取。在一种可能的实施方式中，所述监控方法还包括：根据预设时间段内抓取到数据的情况，更新所述网络爬虫的爬虫代理IP，以基于所述数据抓取方案利用所述更新后的爬虫代理IP进行数据抓取。在一种可能的实施方式中，所述监控方法还包括：从所述抓取到的数据中提取待监控数据；查找预先设定的关注数据群中是否存在与所述待监控数据相匹配的关注数据；若存在，以警报信息的形式进行报警。在一种可能的实施方式中，所述监控方法还包括：管理所述监控系统中各容器之间的API接口。本公开基于k8s建立了监控系统，并利用监控系统中的管理容器基于抓取到的数据的数据量大小，实时且动态的调整存储容器和分析容器等其他容器的大小，避免了遗漏抓取的数据导致无法全面且准确的确定IOC的问题，能够全面且准确的确定IOC也即待监控数据，同时避免了服务器资源浪费。为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1示出了本公开所提供的一种监控系统的结构示意图；图2示出了本公开所提供的一种监控方法的流程图；图3示出了本公开所提供的另一种监控方法的流程图；图4示出了本公开所提供的另一种监控方法的流程图。附图标号：1-管理容器；2-抓取容器；3-存储容器；4-分析容器；5-报警容器；6-API控制容器。具体实施方式为了使得本公开的目的、技术方案和优点更加清楚，下面将结合本公开的附图，对本公开的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。为了保持本公开的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。本公开第一方面提供了一种基于k8s的监控系统，其中，Kubernetes又称为k8s，是一种可自动实施Linux容器操作的开源平台。它可以帮助用户省去应用容器化过程的许多手动部署和扩展操作。图1示出了本公开实施例本文档来自技高网...

【技术保护点】
1.一种基于k8s的监控系统，其特征在于，包括：/n管理容器创建数据抓取方案，并将所述数据抓取方案提供给抓取容器；/n所述抓取容器基于所述数据抓取方案进行数据抓取；/n所述管理容器还基于抓取到的数据的数据量大小，动态调整其他容器的大小；其中，所述其他容器至少包括存储容器和分析容器。/n

【技术特征摘要】
1.一种基于k8s的监控系统，其特征在于，包括：
管理容器创建数据抓取方案，并将所述数据抓取方案提供给抓取容器；
所述抓取容器基于所述数据抓取方案进行数据抓取；
所述管理容器还基于抓取到的数据的数据量大小，动态调整其他容器的大小；其中，所述其他容器至少包括存储容器和分析容器。


2.根据权利要求1所述的监控系统，其特征在于，还包括：
所述管理容器还确定所述抓取到的数据是否满足所述数据抓取方案的要求；其中，所述数据抓取方案至少包括关于数据类型、数据大小以及数据内容的要求；
在所述抓取到的数据未否满足所述数据抓取方案的要求的情况下，控制所述抓取容器基于所述数据抓取方案继续进行数据抓取。


3.根据权利要求1所述的监控系统，其特征在于，所述抓取容器基于所述数据抓取方案，利用网络爬虫进行数据抓取。


4.根据权利要求3所述的监控系统，其特征在于，所述管理容器根据在预设时间段内抓取到数据的情况，更新所述网络爬虫的爬虫代理IP，并将更新后的爬虫代理IP提供给所述抓取容器，以使所述抓取容器基于所述数据抓取方案利用所述更新后的爬虫代理IP进行数据抓取。


5.根据权利要求1所述的监控系统，其特征在于，还包括：
所述抓取容器将所述抓取到的数据存储至所述存储容器；
所述分析容器获取所述存储容器中的所述抓取到的数据，并从所述抓取到的数据中提取待监控数据；查找预先设定的关注数据群中是否存在与所述待监控数据相匹配的关注数据；若存在，通过报警容器以警报信息的形式进行报警。


6.根据权...

【专利技术属性】
技术研发人员：陈章，
申请(专利权)人：北京微步在线科技有限公司，
类型：发明
国别省市：北京;11