一种数据流量检测方法、系统及电子设备技术方案

本申请提供了一种数据流量检测方法、系统及电子设备，涉及网络安全技术领域。在本申请中，首先从原始流量数据中筛选出满足第一异常数据特征条件的第一业务数据，并去除第一业务数据，然后在第一剩余流量数据中筛选出满足第二异常数据特征条件的异常流量数据，实现对原始流量的初步检测，这样，不仅能够减少后续对原始流量数据的流量进行准确检测，筛选出流量异常的数据的计算量，减少系统的资源开销，而且能够提升对数据流量进行检测的效率。且能够提升对数据流量进行检测的效率。且能够提升对数据流量进行检测的效率。

【技术实现步骤摘要】
一种数据流量检测方法、系统及电子设备


[0001]本专利技术申请涉及网络安全
，尤其涉及一种数据流量检测方法、系统及电子设备。

技术介绍

[0002]随着互联网技术的发展，网络带宽的增加，高速广泛连接的网络给人们的生活带来便利的同时，也为网络攻击提供了有利的条件。
[0003]对于常见的分布式拒绝服务攻击(Distributed Denial of Service，DDoS)，攻击者通常利用网络协议漏洞或者系统漏洞，控制代理主机向服务器发送大量虚假的攻击包，导致服务器的网络带宽被阻塞，正常的业务请求数据包被大量虚假的攻击包淹没，从而导致服务器无法为用户提供正常的服务。
[0004]目前，为了防御网络攻击，确保服务器能够提供稳定正常的服务，可以采用云防集群技术，对数据流量进行检测，筛选出异常的流量数据。首先清洗设备从消息服务端拉取流量数据，然后对流量数据进行数据清洗，然后再将数据清洗过后得到的流量数据发送到流式计算队列中进行流式计算，根据计算的结果，实时的判断数据的流量是否正常，最后将流量正常的数据发送到服务器中为用户提供正常的服务。
[0005]采用上述方式，清洗设备从消息服务端拉取流量数据的过程会增加防御系统的链路长度，并且将流量数据全部发送到流式计算队列中进行流式计算，会增加防御系统的资源开销，降低对数据的流量进行检测的效率。

技术实现思路

[0006]本专利技术申请提供了一种数据流量检测方法、系统及电子设备，用以减少系统的资源开销，提升对数据流量进行检测的效率。具体技术方案如下：
[0007]第一方面，本申请提供了一种数据流量检测方法、包括：
[0008]接收原始流量数据，并对所述原始流量数据进行特征提取，获得相应的数据特征集合；其中，所述原始流量数据至少包括一种业务数据；
[0009]在确定所述数据特征集合中，存在满足第一异常数据特征条件的第一数据特征时，确定所述原始流量数据的流量异常；
[0010]从所述原始流量数据中去除所述第一数据特征对应的第一业务数据，获得第一剩余流量数据；
[0011]在确定所述第一剩余流量数据的数据特征集合中，存在满足第二异常数据特征条件的第二数据特征时，确定所述第一剩余流量数据的流量异常；其中，所述第一数据特征提取复杂度大于所述第二数据特征。
[0012]基于上述方法，能够对原始流量数据进行分级数据清洗，实现对原始流量数据初步的筛选。
[0013]在一种可能的设计中，所述确定所述第一剩余流量数据的流量异常之后，还包括：
[0014]从所述第一剩余流量数据中，去除所述第二数据特征对应的第二业务数据，获得第二剩余流量数据；
[0015]在确定所述第二剩余流量数据的数据特征集合中，存在满足链式计算方式的第三数据特征时，基于所述链式计算方式对所述第二剩余流量数据进行链式计算，确定所述第二剩余流量数据中流量异常的第三业务数据，其中，所述第三数据特征提取复杂度介于所述第一数据特征和所述第二数据特征之间；
[0016]从所述第二剩余流量数据中去除所述第三业务数据，得到目标业务数据，并将所述目标业务数据作为正常流量数据。
[0017]基于上述方法，能够对第二剩余流量数据进行准确的流量计算，筛选出第二剩余流量数据中异常的流量，得到正常的流量数据。
[0018]在一种可能的设计中，若所述第二剩余流量数据的数据特征集合中，不存在满足所述链式计算方式的第三数据特征；
[0019]判断所述第二剩余流量数据是否携带流式计算标识；
[0020]若所述第二剩余流量数据中携带流式计算标识，则将所述第二剩余流量数据导入流量集群队列中进行流式计算，确定所述第二剩余流量数据中流量异常的第三业务数据；
[0021]从所述第二剩余流量数据中去除所述第三业务数据，得到目标业务数据，并将所述目标业务数据作为正常流量数据。
[0022]基于上述的方法，能够选择性的将第二剩余流量数据导入流量集群队列中进行流式计算，最终得到正常的流量数据。
[0023]在一种可能的设计中，若所述第二剩余流量数据中不携带流式计算标识，则从所述第二剩余流量数据中去除所述第三业务数据，得到目标业务数据，并将所述目标业务数据作为正常流量数据。
[0024]基于上述的方法，可以直接从第二剩余流量数据中去除第三业务数据，得到目标业务数据，并将目标业务数据作为正常流量数据。
[0025]第二方面，本申请提供了一种数据流量检测系统，包括：
[0026]接收模块，用于接收原始流量数据，并对所述原始流量数据进行特征提取，获得相应的数据特征集合；其中，所述原始流量数据至少包括一种业务数据；
[0027]检测模块，用于在确定所述数据特征集合中，存在满足第一异常数据特征条件的第一数据特征时，确定所述原始流量数据的流量异常；
[0028]从所述原始流量数据中去除所述第一数据特征对应的第一业务数据，获得第一剩余流量数据；
[0029]在确定所述第一剩余流量数据的数据特征集合中，存在满足第二异常数据特征条件的第二数据特征时，确定所述第一剩余流量数据的流量异常；其中，所述第一数据特征提取复杂度大于所述第二数据特征。
[0030]在一种可能的设计中，所述检测模块还用于：
[0031]从所述第一剩余流量数据中，去除所述第二数据特征对应的第二业务数据，获得第二剩余流量数据；
[0032]在确定所述第二剩余流量数据的数据特征集合中，存在满足链式计算方式的第三数据特征时，基于所述链式计算方式对所述第二剩余流量数据进行链式计算，确定所述第
二剩余流量数据中流量异常的第三业务数据，其中，所述第三数据特征提取复杂度介于所述第一数据特征和所述第二数据特征之间；
[0033]从所述第二剩余流量数据中去除所述第三业务数据，得到目标业务数据，并将所述目标业务数据作为正常流量数据。
[0034]在一种可能的设计中，所述检测模块还用于：
[0035]判断所述第二剩余流量数据是否携带流式计算标识；
[0036]若所述第二剩余流量数据中携带流式计算标识，则将所述第二剩余流量数据导入流量集群队列中进行流式计算，确定所述第二剩余流量数据中流量异常的第三业务数据；
[0037]从所述第二剩余流量数据中去除所述第三业务数据，得到目标业务数据，并将所述目标业务数据作为正常流量数据。
[0038]在一种可能的设计中，所述检测模块还用于：
[0039]若所述第二剩余流量数据中不携带流式计算标识，则从所述第二剩余流量数据中去除所述第三业务数据，得到目标业务数据，并将所述目标业务数据作为正常流量数据。
[0040]第三方面，本申请提供了一种电子设备，包括：
[0041]存储器，用于存放计算机程序；
[0042]处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的数据流量检测方法的步骤。
[0043]第四方面，本申请提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据流量检测方法，其特征在于，所述方法包括：接收原始流量数据，并对所述原始流量数据进行特征提取，获得相应的数据特征集合；其中，所述原始流量数据至少包括一种业务数据；在确定所述数据特征集合中，存在满足第一异常数据特征条件的第一数据特征时，确定所述原始流量数据的流量异常；从所述原始流量数据中去除所述第一数据特征对应的第一业务数据，获得第一剩余流量数据；在确定所述第一剩余流量数据的数据特征集合中，存在满足第二异常数据特征条件的第二数据特征时，确定所述第一剩余流量数据的流量异常；其中，所述第一数据特征提取复杂度大于所述第二数据特征。2.如权利要求1所述的方法，其特征在于，所述确定所述第一剩余流量数据的流量异常之后，还包括：从所述第一剩余流量数据中，去除所述第二数据特征对应的第二业务数据，获得第二剩余流量数据；在确定所述第二剩余流量数据的数据特征集合中，存在满足链式计算方式的第三数据特征时，基于所述链式计算方式对所述第二剩余流量数据进行链式计算，确定所述第二剩余流量数据中流量异常的第三业务数据，其中，所述第三数据特征提取复杂度介于所述第一数据特征和所述第二数据特征之间；从所述第二剩余流量数据中去除所述第三业务数据，得到目标业务数据，并将所述目标业务数据作为正常流量数据。3.如权利要求2所述的方法，其特征在于，若所述第二剩余流量数据的数据特征集合中，不存在满足所述链式计算方式的第三数据特征；判断所述第二剩余流量数据是否携带流式计算标识；若所述第二剩余流量数据中携带流式计算标识，则将所述第二剩余流量数据导入流量集群队列中进行流式计算，确定所述第二剩余流量数据中流量异常的第三业务数据；从所述第二剩余流量数据中去除所述第三业务数据，得到目标业务数据，并将所述目标业务数据作为正常流量数据。4.如权利要求3所述的方法，其特征在于，若所述第二剩余流量数据中不携带流式计算标识，则从所述第二剩余流量数据中去除所述第三业务数据，得到目标业务数据，并将所述目标业务数据作为正常流量数据。5.一种数据流量检测系统，其特征在于，包括：接收模块，用于接收原始流量数据，并对所述原始流量数据进行特征提取，获得相应的数据特征集合；其中，所述原始流量数据至少包括一种...

【专利技术属性】
技术研发人员：周林，
申请(专利权)人：天翼安全科技有限公司，
类型：发明
国别省市：