基于服务提供商动态IP白名单的流量采集过滤方法技术

本发明专利技术公开了基于服务提供商动态IP白名单的流量采集过滤方法，属于流量安全分析领域。包括：抽取流量中的DNS应答流量，将该应答流量的问题中的域名与自定义服务商的域名白名单匹配；提取匹配成功的应答流量中应答记录为IP地址的记录，并在IP白名单库中进行查找；若找到则更新该IP地址的插入时间，若未找到则将该IP地址插入IP白名单库；从流量中获取IP会话的IP地址，将该IP与IP白名单库进行匹配；将匹配失败的IP对应的会话流量提取出来，进入后续的后续流量安全分析。本发明专利技术利用该不断更新的动态IP白名单库进行流量过滤采集，以排除正常业务流量，减少干扰，实现针对性的网络安全分析。分析。分析。

【技术实现步骤摘要】
基于服务提供商动态IP白名单的流量采集过滤方法


[0001]本专利技术涉及流量安全分析领域，具体涉及一种基于服务提供商动态IP白名单的流量采集过滤方法。

技术介绍

[0002]网络流量的安全分析工作，随着流量的井喷，分析难度变大，排除正常业务流量，减少干扰是网络安全分析工作的必要技术。
[0003]现有技术中专利CN114465791A 公开了网管设备中白名单的建立方法、装置、存储介质及处理器，该方法包括：对网络中的DNS流量的类型进行监听，得到监听结果，其中，监听结果中包括以下之一：DNS查询流量、DNS应答流量；将监听结果中的所有的域名信息与目标泛域名模版进行匹配，得到目标集合，其中，目标集合中每个域名之间关系为域名与子域名的关系；对目标集合中的元素进行解析，得到目标信息，其中，目标信息至少包括：多个目标域名以及每个目标域名对应的目标IP地址；将目标信息存储至目标白名单中，其中，目标白名单用于对上网流量进行管控。通过本申请，解决了相关技术中网管设备白名单只能对部分设备生效，使得第三方网络认证效率较低的问题。
[0004]上述专利利用DNS的解析记录，得到解析地址的IP名单，并利用该IP名单进行上网流量管控。但上述方法存在以下缺点：首先，同一域名对应的应答IP存在更新情况，而采用上述专利步骤得到的目标白名单，无法管控更新后的应答IP，导致后续流量管控时会出现误判；其次，由于IP数量的限制，同一IP地址在不同时间内可能对应不同域名，此时依靠白名单进行流量筛选可能会出现错筛的风险；最后，上述专利中输入的域名为准确域名，而二级以上的域名（pan.baidu.com,tieba.baidu.com）在无法穷举的情况下，无法准确实现流量采集过滤功能。
[0005]基于上述问题，本专利基于自定义服务提供商（如百度，新浪）的二级域名（baidu.com，sina.com.cn）进行白名单设置，并结合DNS流量中的DNS解析结果不断更新白名单，并利用该动态白名单库进行流量采集过滤。

技术实现思路

[0006]本专利技术旨在解决现有技术存在的上述问题，提出一种基于服务提供商动态IP白名单的流量采集过滤方法，该方法利用利用DNS应答流量的解析记录，得到解析地址的动态IP白名单库，并利用该动态IP白名单库进行流量采集过滤。
[0007]为了实现上述专利技术目的，本专利技术的技术方案如下：基于服务提供商动态IP白名单的流量采集过滤方法，其特征在于，包括如下步骤：S1、从流量中获取IP会话的IP地址，并与动态IP白名单库中的IP地址进行匹配；丢弃匹配成功的IP地址所对应的IP会话流量；采集匹配失败的IP地址所对应的IP会话流量，进入后续流量安全分析，并抽取其中的DNS应答流量；
S2、提取所述DNS应答流量的问题中的域名以及当前DNS应答流量的数据帧的时间戳，将提取出的域名与自定义服务商的域名白名单相匹配：若域名白名单匹配失败，则跳过，继续获取下一个DNS应答流量；提取域名白名单匹配成功的DNS应答流量中应答记录为IP地址的A记录；S3、遍历A记录中的IP地址，对动态IP白名单库进行新增或更新插入时间的操作；S4、将步骤S3得到的动态IP白名单库作用于步骤S1进行流量过滤采集。
[0008]在某一实施例中，步骤S1中，若IP地址与动态IP白名单库匹配成功，则读取该IP地址在动态IP白名单库中的最近一次插入时间，并判断该插入时间是否过期：若未过期，则丢弃该IP地址对应的IP会话流量；若过期，则将该IP地址从动态IP白名单库中删除，但保留该IP地址对应的IP会话流量。
[0009]在某一实施例中，判断插入时间是否过期的方式为：若当前流量采集时间减去最近一次插入时间的值大于或等于存活时间TTL，则该插入时间已过期；若当前流量采集时间减去最近一次插入时间的值小于存活时间TTL，则该插入时间未过期。
[0010]在某一实施例中，存活时间TTL为预设的白名单过期时间，根据动态IP白名单库的数据量或者域名解析频率自行确定。
[0011]在某一实施例中，步骤S1中，首先按照IP会话对流量进行分组，保证每个IP会话的流量只出现在一个分组中，再获取每个分组中的IP会话的IP地址，将其与动态IP白名单库中的IP地址进行匹配。
[0012]在某一实施例中，步骤S2中，提取DNS应答流量的问题中的域名后，分离该域名得到二级域名，然后将该二级域名与自定义服务商的域名白名单进行匹配。
[0013]在某一实施例中，所述动态IP白名单库为一张以IP地址为键值、以时间戳为值的哈希表。
[0014]在某一实施例中，步骤S3具体包括：遍历A记录中的IP地址，并在动态IP白名单库中进行对应键值查找；若未找到键值，则将该IP地址以IP地址为键值、时间戳为值的记录插入动态IP白名单库；若找到键值，则在IP动态白名单库中更新该键值对应的时间戳，将其赋值为数据帧的时间戳。
[0015]综上所述，本专利技术具有以下优点：1、本专利技术利用流量中的DNS应答流量的解析记录，得到解析地址的动态IP白名单库，并利用该不断更新的动态IP白名单库进行流量过滤采集，以排除正常业务流量，减少干扰，实现针对性的网络安全分析；2、本专利技术为保证动态IP白名单库的有效性，利用TTL（Time To Live）技术进行IP地址插入时间有效期的计算，防止同一IP在不同时间段被不同服务商使用导致的漏采，保证动态IP白名单库在合理场景下的有效性，同时提高流量过滤采集的安全可靠性；3、本专利技术中，动态IP白名单库的生成和更新与流量过滤采集同时进行，动态IP白
名单库在流量采集过程中持续动态更新，减少了误判，提高了流量过滤采集的安全可靠性；4、本专利技术采用二级域名方式对服务提供商的域名解析进行记录和更新动态IP白名单库，输入便捷性和有效性提高，符合过滤场景并且适用范围更广。
附图说明
[0016]图1为本专利技术方法的整体流程图；图2为本专利技术动态IP白名单生成的流程图。
具体实施方式
[0017]下面结合实施例对本专利技术作进一步地详细说明，但本专利技术的实施方式不限于此。
[0018]实施例1本实施例提供了一种基于服务提供商动态IP白名单的流量采集过滤方法，如图1和图2所示，包括如下步骤：步骤一、从流量中获取IP会话的IP地址，并与动态IP白名单库中的IP地址进行匹配；动态IP白名单库为一张以IP地址为键值、以时间戳为值的哈希表。
[0019]若匹配成功，则说明该IP地址曾被定义为白名单，丢弃匹配成功的IP地址所对应的IP会话流量；若匹配失败，则采集该IP地址所对应的IP会话流量，进入后续流量安全分析，并抽取其中的DNS应答流量。
[0020]步骤二、提取所述DNS应答流量的问题中的域名（比如www.tieba.baidu.com）以及当前DNS应答流量的数据帧的时间戳，将提取出的域名与自定义服务商的域名白名单相匹配：若域名白名单匹配失败，则跳过，继续获取下一个DNS应答流量；提取域名白名单匹配成功的DNS应答流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于服务提供商动态IP白名单的流量采集过滤方法，其特征在于，包括如下步骤：S1、从流量中获取IP会话的IP地址，并与动态IP白名单库中的IP地址进行匹配；丢弃匹配成功的IP地址所对应的IP会话流量；采集匹配失败的IP地址所对应的IP会话流量，进入后续流量安全分析，并抽取其中的DNS应答流量；S2、提取所述DNS应答流量的问题中的域名以及当前DNS应答流量的数据帧的时间戳，将提取出的域名与自定义服务商的域名白名单相匹配：若域名白名单匹配失败，则跳过，继续获取下一个DNS应答流量；提取域名白名单匹配成功的DNS应答流量中应答记录为IP地址的A记录；S3、遍历A记录中的IP地址，对动态IP白名单库进行新增或更新插入时间的操作；S4、将步骤S3得到的动态IP白名单库作用于步骤S1进行流量过滤采集。2.根据权利要求1所述的基于服务提供商动态IP白名单的流量采集过滤方法，其特征在于，步骤S1中，若IP地址与动态IP白名单库匹配成功，则读取该IP地址在动态IP白名单库中的最近一次插入时间，并判断该插入时间是否过期：若未过期，则丢弃该IP地址对应的IP会话流量；若过期，则将该IP地址从动态IP白名单库中删除，但保留该IP地址对应的IP会话流量。3.根据权利要求2所述的基于服务提供商动态IP白名单的流量采集过滤方法，其特征在于，判断插入时间是否过期的方式为：若当前流量采集时间减去最近一次插入时间的值大于或等于存活时间TTL，则该插入时...

【专利技术属性】
技术研发人员：田红伟，徐文勇，王伟旭，
申请(专利权)人：成都数默科技有限公司，
类型：发明
国别省市：