一种ES异常流量检测方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及数据安全领域，公开了一种ES异常流量检测方法、装置、设备及介质，首先，通过获取ElasticSearch日志并进行预处理，以获取JSON格式日志编码数据，根据获取JSON格式日志编码数据，进行模型训练，以获得ES异常流量检测模型，获取预设时间范围内的ES日志进行检测，并根据ES异常流量检测模型判断是否存在流量异常，当判断出存在流量异常时，进行限制访问处理，实现了ES异常流量的稳定性，提升了ES系统的稳定性、检测的准确性，并增强对异常流量的检测适应性。量的检测适应性。量的检测适应性。

【技术实现步骤摘要】
一种ES异常流量检测方法、装置、设备及介质


[0001]本申请涉及数据安全领域，尤其是涉及到一种ES异常流量检测方法、装置、设备及介质。

技术介绍

[0002]开源Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，是遵从Apache开源条款的一款开源产品，是当前主流的企业级搜索引擎。作为一款基于RESTful API的分布式服务，Elasticsearch可以快速地、近乎于准实时地存储、查询和分析超大数据集，通常被用来作为构建复杂查询特性和需求强大应用的基础引擎或技术，Elasticsearch由于属于开源软件，其或多或少存在未授权访问漏洞，该漏洞导致，攻击者可以拥有Elasticsearch的所有权限。可以对数据进行任意操作。业务系统将面临敏感数据泄露、数据丢失、数据遭到破坏甚至遭到攻击者的勒索，例如模拟后端请求刷取数据、ES注入攻击、试探请求频率、权限等行为等，现有技术中，通过对流量的统计分析进行异常流量的定位，例如利用Elasticsearch搜索引擎的Metrics Aggregation指标聚集对应用名单中各个应用的流量数据做聚集运算，按预设的维度对每个应用的流量数据进行统计，得到异常流量分析结果，统计维度通常包括按应用的总流量、平均流量、带宽占比，现有技术的检测方式比粒度较粗，对于流量统计特征不明显或隐蔽性较强的异常访问请求不能及时进行检测。

技术实现思路

[0003]有鉴于此，本申请提供了一种ES异常流量检测方法、装置、设备及介质，解决现有技术中对Elasticsearch异常流量检测不准确、适应性不高的技术问题。
[0004]根据本申请的第一方面，提供了一种ES异常流量检测方法，包括：
[0005]获取ElasticSearch日志并进行预处理，以获取JSON格式日志编码数据；
[0006]根据所述获取JSON格式日志编码数据，进行模型训练，以获得ES异常流量检测模型；
[0007]获取预设时间范围内的ES日志进行检测，并根据ES异常流量检测模型判断是否存在流量异常；
[0008]当判断出存在流量异常时，进行限制访问处理。
[0009]根据本申请的第二方面，提供了一种ES异常流量检测装置，包括：
[0010]获取模块，用于获取ElasticSearch日志并进行预处理，以获取JSON格式日志编码数据；
[0011]训练模块，用于根据所述获取JSON格式日志编码数据，进行模型训练，以获得ES异常流量检测模型；
[0012]检测模块，用于获取预设时间范围内的ES日志进行检测，并根据ES异常流量检测模型判断是否存在流量异常；
[0013]处理模块，用于当判断出存在流量异常时，进行限制访问处理。
[0014]根据本申请的第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述ES异常流量检测方法的步骤。
[0015]根据本申请的第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述ES异常流量检测方法的步骤。
[0016]借由上述技术方案，本申请提供的一种ES异常流量检测方法、装置、设备及介质，首先，获取ElasticSearch日志并进行预处理，以获取JSON格式日志编码数据，根据获取JSON格式日志编码数据，进行模型训练，以获得ES异常流量检测模型，获取预设时间范围内的ES日志进行检测，并根据ES异常流量检测模型判断是否存在流量异常，当判断出存在流量异常时，进行限制访问处理，实现了ES异常流量的稳定性，提升了ES系统的稳定性、检测的准确性，并增强对异常流量的检测适应性。
[0017]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特列举本申请的具体实施方式。
附图说明
[0018]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0019]图1示出了本专利技术实施例中提供的一种ES异常流量检测方法应用场景的示意图；
[0020]图2示出了本专利技术实施例中提供的一种ES异常流量检测方法流程示意图；
[0021]图3示出了本专利技术实施例中提供的ES异常流量检测模型训练的结构示意图；
[0022]图4示出了本专利技术实施例中提供的一种ES异常流量检测装置示意图。
具体实施方式
[0023]下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0024]如图1所示，为本专利技术实施例中提供的一种ES异常流量检测方法应用场景的示意图，ElasticSearch(以下简称ES)集群包括三个节点，组成一个分布式的存储和检索系统，客户端发起网络请求从ES集群中获取数据，ES集群中设置几种日志，包括主要日志(例如：cluster
‑
name.log)记录了Elasticsearch运行时所发生一切的综合信息，例如，某个查询失败或一个新的节点加入集群；慢搜索日志(例如：cluster
‑
name_index_search_slowlog.log)当某个查询运行得很慢时，Elasticsearch会在这里进行记录。默认情况下，如果一个查询花费时间多于半秒，将在这里写入一条记录；慢索引日志(例如：cluster
‑
name_index_indexing_slowlog.log)这和慢搜索日志类似，默认情况下，如果一个索引操作花费得时间多于半秒，将在这里进行记录，其中默认的日志记录等级是INFO，日志内容包括日志时间、日志级别，以及具体信息等，通常对于ES的异常查询，例如模拟后端请求刷取数据、ES注入攻击、试探请求频率、权限等行为等，由于Elasticsearch授权模块需要付费，所以免费开源的Elasticsearch可能存在未授权访问漏洞。该漏洞导致，攻击者可以拥有Elasticsearch的所有权限。可以对数据进行任意操作。业务系统将面临敏感数据泄露、数
据丢失、数据遭到破坏甚至遭到攻击者的勒索。ES集群中的协调节点执行本专利技术实施例中提供的一种ES异常流量检测方法，首先，获取ElasticSearch日志并进行预处理，以获取JSON格式日志编码数据，根据获取JSON格式日志编码数据，进行模型训练，以获得ES异常流量检测模型，获取预设时间范围内的ES日志进行检测，并根据ES异常流量检测模型判断是否存在流量异常，当判断出存在流量异常时，进行限制访问处理，实现了ES异常流量的稳定性，提升了ES系统的稳定性、检测的准确性，并增强对异常流量的检测适应性。
[0025]实施例一<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种ES异常流量检测方法，其特征在于，包括：获取ElasticSearch日志并进行预处理，以获取JSON格式日志编码数据；根据所述获取JSON格式日志编码数据，进行模型训练，以获得ES异常流量检测模型；获取预设时间范围内的ES日志进行检测，并根据ES异常流量检测模型判断是否存在流量异常；当判断出存在流量异常时，进行限制访问处理。2.根据权利要求1所述的方法，其特征在于，所述获取ElasticSearch日志并进行预处理，以获取JSON格式日志编码数据的步骤，包括：获取ElasticSearch日志，并将所述ES日志转换为数据类型与数值键值对应的JSON数据结构，其中，数据类型包括HTTP请求类型、HTTP响应类型、响应数据大小、源IP地址、客户端标识、用户标识和响应时间；获取ES日志中的HTTP访问请求，根据HTTP请求类型对应的数值进行独热编码；获取ES日志中源IP地址对应的国家地区，并根据国家地区进行编码。3.根据权利要求2所述的方法，其特征在于，所述获取ElasticSearch日志并进行预处理，以获取JSON格式日志编码数据的步骤，还包括：获取ES日志中的HTTP响应类型，根据HTTP响应类型对应的数值进行独热编码。4.根据权利要求3所述的方法，其特征在于，所述获取ElasticSearch日志并进行预处理，以获取JSON格式日志编码数据的步骤，还包括：获取ES日志中的查询参数，根据查询参数的类型进行独热编码，其中，所述查询参数包括URL参数、DSL参数和查询语句类型。5.根据权利要求4所述的方法，其特征在于，所述获取ElasticSearch日志并进行预...

【专利技术属性】
技术研发人员：邢宸，宋岩强，白剑波，李青龙，
申请(专利权)人：北京智慧星光信息技术有限公司，
类型：发明
国别省市：