用于高效分组过滤的方法和系统技术方案

分组网关可以通过对跨越网络边界的传输中分组强制执行安全策略来保护TCP/IP网络。策略可以包括网络威胁情报(CTI)衍生的分组过滤规则。CTI量和相关联的CTI衍生策略大小的快速增长，再加上不断增加的网络链接速度和网络流量，可能会使得足够计算资源的成本令人望而却步。为了有效地处理分组，分组网关可以被提供至少一种概率数据结构，诸如布隆过滤器，以用于测试分组以确定分组数据是否可以匹配分组过滤规则。分组过滤规则可以被分组为规则的子集，并且可以提供用于确定与特定分组相关联的匹配规则子集的数据结构。匹配规则子集的数据结构。匹配规则子集的数据结构。

【技术实现步骤摘要】
【国外来华专利技术】用于高效分组过滤的方法和系统
[0001]相关申请的交叉引用
[0002]本申请要求于2019年4月30日提交的美国正常专利申请序列第16/399,700号的优先权，其全部内容通过引用明确地并入本文。


[0003]本文描述的方面总体涉及计算机硬件和软件以及网络安全性。具体地，本公开的一个或多个方面总体涉及用于根据由网络威胁情报衍生的分组过滤规则对传输中的分组进行高效过滤的计算机硬件和软件。

技术介绍

[0004]随着信息时代的不断发展，网络安全变得越来越重要。网络威胁/攻击可能采取多种形式(例如，未经授权的请求或数据传输、病毒、恶意软件、旨在淹没资源的大量流量等)。
[0005]为了应对这些类型的威胁和攻击，已经开发和部署了各种网络防御方法和系统。一种网络防御系统使用分组网关(诸如威胁情报网关(TIG))来保护网络。分组网关可以包括具有将分组过滤规则集合应用于传输中的TCP/IP((传输控制协议/互联网协议))分组的能力的(内联)网络分组过滤设备。TIG可充当受网络威胁情报(CTI)防护或保护的网络(例如，私有企业网络)与未受类似保护/防护的网络(例如，例如，互联网)之间的网关或接口。
[0006]分组过滤规则可以基于由包括CTI提供者组织在内的CTI来源提供的威胁指标数据库。分组过滤规则集合可以表示用于保护/防护网络的TIG强制安全策略。威胁指标可以用作识别有风险的分组的分组匹配标准。CTI指标或威胁指标，可以包括资源的互联网网络地址(以IP地址、IP地址范围、L3/L4端口和协议、域名、统一资源标识符(URI)等形式)，这些资源可能是由威胁主体控制或操作，或者可能与恶意活动相关联。CTI指标/威胁指标还可以包括用于保护某些TCP/IP通信的证书和相关证书颁发机构的标识符(例如，传输层安全性(TLS)协议使用X.509证书来保护超文本传输协议(HTTP)中介会话)。CTI提供者包括与每个威胁指标相关联的威胁元数据，包括例如威胁/攻击类型、威胁名称、威胁风险评分、威胁主体(归属)等。TIG和相关联的应用程序可以使用威胁元数据来进一步增强对威胁的防护并进一步改善网络安全态势。
[0007]网络安全策略管理器可以通过从一个或多个CTI提供者接收威胁指标和相关联的威胁元数据并基于指标和元数据生成分组过滤规则来创建网络安全策略作为CTI衍生分组过滤规则集合。每个分组过滤规则至少包括：(a)用于匹配分组数据的标准，(b)在与标准匹配情况下要应用于分组的动作或动作的组合，以及(c)威胁元数据。匹配标准可以包括由分组字段名称(例如，L3源IP地址字段)和字段值构成的一对或多对。字段值可以是网络地址(例如，IP地址、域名、URI等)形式的威胁指标或证书或证书颁发机构的标识符。动作或动作的组合可以包括阻止或丢弃分组、允许或转发分组、记录分组、捕获分组、重定向或重新路由分组以及修改分组的某种组合以保护网络。在TIG和CTI衍生策略的上下文中，规则动作可以称为分组转换功能(PTF)，它可以以保护网络的方式转换分组。例如，PTF可以将启动与
威胁端点的连接建立的TCP SYN分组转换为相应的TCP RST分组，从而停止连接建立过程。威胁元数据可用于计算威胁风险评分，选择要应用于分组和与分组相关联的通信的威胁分析方法，或者根据威胁风险选择或计算要应用于分组的动作。
[0008]一个或多个TIG可以与例如一个或多个网络的互联网访问链接内联地插接。一个或多个TIG的策略管理器可以被配置为：(a)从一个或多个CTI提供者接收CTI(威胁指标和相关联的元数据)；(b)生成由威胁指标和元数据衍生的分组过滤规则构成的一个或多个策略；以及(c)下载一个或多个策略或将一个或多个策略传输到一个或多个(订阅)TIG，该TIG可以通过策略订阅与策略管理器相关联。当分组穿过互联网访问链接(沿任一方向)时，TIG可以通过将数据分组过滤规则应用于每个传输中的分组来强制执行策略。
[0009]使用TIG和相关联的CTI保护网络的有效性通常取决于TIG所应用的CTI指标和元数据的范围和质量，以及TIG的性能。根据目前披露的，可从多个CTI来源获得总共数百万个威胁指标(和相关联的威胁元数据)，指标的形式有IP地址、5元组、域名、URI等以及证书标识符、证书颁发机构标识符等。这些大型的CTI数据库可能会被翻译成相似数量的分组过滤规则。由于在给定网络的通信流量中实际观察到的威胁指标不一定是已知的，因此TIG可以随时应用所有可用的CTI或相关联的数据分组过滤规则，以确保有效的保护。TIG策略可能由数百万条、数千万或上亿条规则构成。因此，TIG必须能够在不对网络性能产生不利影响的情况下对每个传输中的分组应用数百万条数据分组过滤规则。在TIG插入点可能会使用10G和40/100G网络链路，这意味着分组传输速率可能是每秒数百万或数千万个分组。TIG必须通过数百万条规则过滤每个传输中的分组，以在不对网络性能产生不利影响的情况下强制执行策略。对于如此大的策略和高分组速率，即使策略存储在主存储器中，并且即使利用快速(例如，次线性)策略搜索算法，TIG性能也可能不足，并可能导致不可接受的性能劣化。例如，由于缓冲区溢出，高延迟可能会导致分组丢失。分组过滤期间引起的延迟应当较低，并且不应丢弃分组(例如，由于缓冲区溢出)。
[0010]TIG可以被设计为通过以下的某种组合实现必要的性能：(a)高性能CPU，可以针对网络分组处理进行架构或配置；(b)快速/高效的算法和相关联的数据结构，用于搜索规则指标与当前传输中分组相关联字段值之间的匹配规则；(c)将策略(可能包括数百万条分组过滤规则)存储在高速本地存储器(例如，板载SDRAM，通常称为主存储器)中，使得CPU可以经由高速、高带宽数据总线快速访问主存储器。
[0011]然而，最近的网络趋势使TIG难以或实际上不能在维持有效的网络防护所需级别上执行。CTI数量的增长率(由威胁指标和相关联元数据的数量来测量)以及由此相关联策略的增长率(以字节为单位测量，它是分组过滤规则数量和这些规则的字节数大小的函数)高于处理器速度、处理器成本、处理器功率要求、存储器速度、存储器密度、存储器成本等的改进速率。结果是，对于TIG而言通过增加存储器的大小来处理策略大小的增加不再实用。不断增加的网络链接速度和不断增加的网络流量使这个问题更加复杂。因此，需要改进TIG技术的效率，使得CTI衍生策略大小的大幅增加只需要相对较小的计算资源增加，这些计算资源对于将TIG性能保持在可接受的水平(例如，相对低的延迟和尽可能少到没有分组丢失)并同时提供有效的网络保护而言是必要的。

技术实现思路

[0012]以下给出了简要概述，以便建立对本公开的一些方面的基本理解。其既不旨在确认本公开的关键或重要要素，也不旨在勾画本公开的范围。以下概述仅以简化形式给出本公开的一些构思，作为以下详细描述的序言。
[0013]本公开的各方面涉及用于网络威胁情报(CTI)应用的高效分组过滤。分组过滤方法可以是时间和空间高效的。实际上，任何分组网本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：通过位于受保护网络和未受保护网络之间的边界处的分组网关接收多个分组；针对所述多个分组中的每个分组，确定与所述分组相关联的至少一个分组匹配标准；针对所述多个分组中的每个分组，测试至少一个策略概率数据结构的所述至少一个分组匹配标准；基于确定所述多个分组中的第一分组与所述至少一个策略概率数据结构的至少一个分组匹配标准不匹配，向其预期目的地转发所述第一分组；基于确定所述多个分组中的第二分组与所述至少一个策略概率数据结构所相关联的至少一个分组匹配标准匹配，确定与所述第二分组的至少一个分组匹配标准相关联的多个策略子集概率数据结构中的至少一个；测试所确定的与所述第二分组的至少一个分组匹配标准相关联的所述多个策略子集概率数据结构中的至少一个；以及基于确定所述多个分组中的所述第二分组与所确定的与所述多个策略子集概率数据结构中的至少一个相关联的至少一个分组匹配标准匹配，执行与所确定的所述多个策略子集概率数据结构中的至少一个相关联的规则动作。2.根据权利要求1所述的方法，其中所述至少一个策略概率数据结构和每个策略子集概率数据结构是布隆过滤器或布谷过滤器。3.根据权利要求1所述的方法，其中所述至少一个策略概率数据结构具有比任何策略子集概率数据结构更高的误报率。4.根据权利要求1所述的方法，其中与阻止分组传输的动作相关联的策略子集概率数据结构比与允许进行分组传输的动作相关联的策略子集概率数据结构具有更低的误报率。5.根据权利要求1所述的方法，还包括：通过所述分组网关接收多个分组过滤规则，其中每个所述分组过滤规则包括至少一个分组匹配标准；生成表示所述多个分组过滤规则的至少一个策略概率数据结构；将所述多个分组过滤规则划分为多个规则子集，其中所述多个规则子集中的每一个都与公共规则动作相关联；以及生成多个策略子集概率数据结构，其中所述多个策略子集概率数据结构中的每一个与所述多个规则子集中的一个相关联，其中所述策略子集概率数据结构中的每一个与所述公共规则动作相关联，所述公共规则动作与关联的规则子集相关联。6.根据权利要求5所述的方法，其中生成多个策略子集概率数据结构包括：基于相关联的公共分组匹配标准类型划分所述多个分组过滤规则以确定公共分组匹配标准类型规则组；基于相关联的公共规则动作划分每个所述公共分组匹配标准类型规则组以确定所述规则子集；以及生成对应于每个规则子集的策略子集概率数据结构，具有相关联的公共规则动作和相关联的公共分组匹配标准类型。7.根据权利要求1所述的方法，其中测试所确定的与所述第二分组的至少一个分组匹配标准相关联的所述多个策略子集概率数据结构中的至少一个包括：
确定与所述第二分组相关联的多个分组匹配标准类型；确定与所确定的与所述第二分组相关联的多个分组匹配标准类型相对应的至少一个子集概率数据结构；以及测试与所确定的多个分组匹配标准类型相对应的每个子集概率数据结构，直到确定匹配为止。8.根据权利要求1所述的方法，还包括：通过所述分组网关接收至少一个新规则，其中所述至少一个新规则包括至少一个新分组匹配标准；更新所述至少一个策略概率数据结构以表示所述至少一个新规则；通过所述分组网关基于所述至少一个新分组匹配标准确定待更新的规则子集；以及基于所述至少一个新规则的所述至少一个新分组匹配标准，更新与待更新的规则子集相对应的策略子集概率数据结构。9.根据权利要求1所述的方法，其中生成所述多...

【专利技术属性】
技术研发人员：肖恩，
申请(专利权)人：向心网络公司，
类型：发明
国别省市：