一种top-k排名的查询、落库方法及装置制造方法及图纸

本申请提供一种top

【技术实现步骤摘要】
一种top
‑
k排名的查询、落库方法及装置


[0001]本申请涉及数据处理领域，具体而言，涉及一种top
‑
k排名的查询、落库方法及装置。

技术介绍

[0002]随着数据时代的来临，各个行业可以利用大量的数据进行数据分析获得相应的巨大收益。其中，大量的数据伴随着大量的网络安全日志，为了实现安全防护，技术人员往往需要查询某段时间内的top
‑
k攻击主机排名结果。然而，在实践中发现，对大量的数据进行top
‑
k排名会严重增加耗时，导致效率大幅降低；同时，频繁操作还会大幅增加磁盘I/O读写次数和cpu密集型计算次数，从而对系统造成巨大负荷，进而影响top
‑
k排名查询的稳定性。

技术实现思路

[0003]本申请实施例的目的在于提供一种top
‑
k排名的查询方法及装置，能够在单机资源有限的情况下，快速、稳定地查询一段时间内top
‑
k排名结果，从而解决以往的查询效率问题和系统负担问题。
[0004]本申请实施例第一方面提供了一种top
‑
k排名的查询方法，包括：
[0005]在接收到top
‑
k排名的查询请求时，提取所述查询请求中包括的查询时间范围；
[0006]根据预设的时间划分等级对所述查询时间范围进行划分，得到多个查询时间区间；
[0007]获取与所述多个查询时间区间一一对应的多个查询数据表；
[0008]根据所述多个查询数据表进行数据提取，得到数据集合；
[0009]对所述数据集合进行top
‑
k排名，得到top
‑
k排名结果。
[0010]在上述实现过程中，该方法可以在接收到top
‑
k排名的查询请求时，根据时间划分等级对查询请求中的查询时间范围进行划分，并根据划分结果获取对应时间内的数据信息，然后再对该数据进行top
‑
k排名。可见，实施这种实施方式，能够通过对接收到的网络安全日志进行分时多级缓存，以便于该方法根据接收到的查询请求进行分时多级查询，从而提高top
‑
k排名的查询速度；同时，由于进行了预处理，能够在很大程度上降低磁盘I/O读写次数，从而能够在很大程度上减轻系统的负担，进而能够提高系统的稳定性。另外，传统方法中top
‑
k排名是基于全部数据的，而基于全部数据进行的top
‑
k排名的结果往往是较为准确的；但是，本方法对数据进行处理的方式能够将全部数据进行分类缓存，使得top
‑
k查询时可以仅基于缓存中的部分数据进行有效查询，从而能够在保证top
‑
k排名的结果较为准确的基础上有效提高top
‑
k排名的效率。
[0011]进一步地，所述在接收到top
‑
k排名的查询请求时，提取所述查询请求中包括的查询时间范围的步骤之前，所述方法还包括：
[0012]通过ApiServer检测Web发起的top
‑
k排名的查询请求。
[0013]进一步地，所述根据预设的时间划分等级对所述查询时间范围进行划分，得到多
个查询时间区间的步骤按包括：
[0014]在所述查询时间范围中划分出查询月度、查询周、查询日、查询时以及查询分；所述查询月度、所述查询周、所述查询日、所述查询时以及所述查询分构成多个查询时间区间。
[0015]进一步地，所述根据所述多个查询数据表进行数据提取，得到数据集合的步骤包括：
[0016]在所述多个查询数据表中提取热数据；
[0017]通过Elasticsearch搜索所述查询时间范围内的冷数据；
[0018]组合所述热数据和所述冷数据，得到数据集合。
[0019]本申请实施例第二方面提供了一种top
‑
k排名的落库方法，包括：
[0020]通过Logstash获取多台防火墙同时发送的多个网络安全日志；
[0021]根据预设的时间划分等级对所述多个网络安全日志的接收时间进行划分，得到多个接收时间区间；
[0022]将所述多个网络安全日志按照所述多个接收时间区间，生成多个查询数据表。
[0023]在上述实现过程中，该方法可以预先获取大量的网络安全日志，然后根据预设的时间划分等级对大量网络安全日志进行划分，然后根据划分结果建立多个查询数据表。可见，实施这种实施方式，能够根据时间段对接收到的网络安全日志进行落库，从而使得所述有的网络安全日志能够依据时间进行分布式存储，进而方便调用查询。
[0024]本申请实施例第三方面提供了一种top
‑
k排名的查询装置，所述top
‑
k排名的查询装置包括：
[0025]提取单元，用于在接收到top
‑
k排名的查询请求时，提取所述查询请求中包括的查询时间范围；
[0026]划分单元，用于根据预设的时间划分等级对所述查询时间范围进行划分，得到多个查询时间区间；
[0027]获取单元，用于获取与所述多个查询时间区间一一对应的多个查询数据表；
[0028]所述提取单元，还用于根据所述多个查询数据表进行数据提取，得到数据集合；
[0029]排名单元，用于对所述数据集合进行top
‑
k排名，得到top
‑
k排名结果。
[0030]在上述实现过程中，该查询装置可以在接收到top
‑
k排名的查询请求时，根据该查询请求确定出对应的多个时段，然后获取每个时段下的网络安全日志，并对该些日志进行top
‑
k排名，得到top
‑
k排名结果。可见，实施这种实施方式，能够在单机有限资源下，采用多级缓存的方式参与top
‑
k排名的查询，从而避免全部数据参与查询，进而提高top
‑
k排名结果的查询效率。
[0031]进一步地，所述划分单元具体用于在所述查询时间范围中划分出查询月度、查询周、查询日、查询时以及查询分；所述查询月度、所述查询周、所述查询日、所述查询时以及所述查询分构成多个查询时间区间。
[0032]本申请实施例第四方面提供了一种top
‑
k排名的落库装置，所述落库装置包括：
[0033]接收单元，用于通过Logstash获取多台防火墙同时发送的多个网络安全日志；
[0034]划分单元，用于根据预设的时间划分等级对所述多个网络安全日志的接收时间进行划分，得到多个接收时间区间；
[0035]生成单元，用于将所述多个网络安全日志按照所述多个接收时间区间，生成多个查询数据表。
[0036]在上述实现过程中，该装置能够根据时间段对接收到的网络安全日志进行落库，从而使得所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种top
‑
k排名的查询方法，其特征在于，包括：在接收到top
‑
k排名的查询请求时，提取所述查询请求中包括的查询时间范围；根据预设的时间划分等级对所述查询时间范围进行划分，得到多个查询时间区间；获取与所述多个查询时间区间一一对应的多个查询数据表；根据所述多个查询数据表进行数据提取，得到数据集合；对所述数据集合进行top
‑
k排名，得到top
‑
k排名结果。2.根据权利要求1所述的top
‑
k排名的查询方法，其特征在于，所述在接收到top
‑
k排名的查询请求时，提取所述查询请求中包括的查询时间范围的步骤之前，所述方法还包括：通过ApiServer检测Web发起的top
‑
k排名的查询请求。3.根据权利要求1所述的top
‑
k排名的查询方法，其特征在于，所述根据预设的时间划分等级对所述查询时间范围进行划分，得到多个查询时间区间的步骤按包括：在所述查询时间范围中划分出查询月度、查询周、查询日、查询时以及查询分；所述查询月度、所述查询周、所述查询日、所述查询时以及所述查询分构成多个查询时间区间。4.根据权利要求1所述的top
‑
k排名的查询方法，其特征在于，所述根据所述多个查询数据表进行数据提取，得到数据集合的步骤包括：在所述多个查询数据表中提取热数据；通过Elasticsearch搜索所述查询时间范围内的冷数据；组合所述热数据和所述冷数据，得到数据集合。5.一种top
‑
k排名的落库方法，其特征在于，包括：通过Logstash获取多台防火墙同时发送的多个网络安全日志；根据预设的时间划分等级对所述多个网络安全日志的接收时间进行划分，得到多个接收时间区间；将所述多个网络安全日志按照所...

【专利技术属性】
技术研发人员：郑智沧，杨超，
申请(专利权)人：北京天融信科技有限公司北京天融信软件有限公司，
类型：发明
国别省市：