威胁情报碰撞筛选方法、网关系统、电子设备和存储介质技术方案

本发明专利技术公开了威胁情报碰撞筛选方法、网关系统、电子设备和存储介质。该方法包括，构建包括Caffeine缓存、布隆过滤器和Redis存储的威胁情报层次缓存库；利用自定义指示器对网络访问请求进行威胁情报筛选，所述自定义指示器存储有用户自定义配置的威胁情报信息，将筛选后的威胁情报加入威胁情报候选列表中，根据预定义威胁情报策略对所述威胁情报候选列表进行确认，得到威胁情报碰撞筛选结果。本发明专利技术的技术方案减少了缓存对内存的占用，提高了查询速度，实现多维度多渠道的威胁情报碰撞筛选。实现多维度多渠道的威胁情报碰撞筛选。实现多维度多渠道的威胁情报碰撞筛选。

【技术实现步骤摘要】
威胁情报碰撞筛选方法、网关系统、电子设备和存储介质


[0001]本专利技术涉及网络安全领域，尤其涉及一种威胁情报碰撞筛选方法、网关系统、电子设备和存储介质。

技术介绍

[0002]随着移动互联网技术的不断发展，网络空间中的威胁与风险日益增加。各种网络威胁，包括僵尸网络、恶意软件等威胁无处不在。在有限的硬件机器资源下，高性能的威胁情报网关系统与海量的威胁情报比对在帮助企业客户快速精准识别威胁行为，防止信息泄露以及资产损失方面具有重要的意义。
[0003]然而，现有的威胁情报网关系统普遍存在系统内存占用率高、查询速度慢和情报筛选识别精准度较低等问题，严重影响着威胁情报获取和分析的效率。

技术实现思路

[0004]为了解决现有技术中的威胁情报碰撞筛选方法存在的问题，本专利技术提供了如下技术方案。
[0005]本专利技术在第一方面提供了一种威胁情报碰撞筛选方法，包括：构建包括Caffeine缓存、布隆过滤器和Redis存储的威胁情报层次缓存库；利用自定义指示器对网络访问请求进行威胁情报筛选，所述自定义指示器存储有用户自定义配置的威胁情报信息，将筛选后的威胁情报加入威胁情报候选列表中；根据预定义威胁情报策略对所述威胁情报候选列表进行确认，得到威胁情报碰撞筛选结果。
[0006]优选地，在所述利用自定义指示器对网络访问请求进行威胁情报筛选之前，还包括：判断所述网络访问请求的协议类型；如果所述协议类型为TCP或UDP传输协议，则获取所述网络访问请求的源IP地址和目的IP地址；判断所述源IP地址和目的IP地址是否在白名单中；如果所述源IP地址和目的IP地址在所述白名单中，则跳过所述网络访问请求的筛选；如果所述源IP地址和目的IP地址不在所述白名单中，则利用自定义指示器对所述网络访问请求进行威胁情报筛选。
[0007]优选地，所述利用自定义指示器对网络访问请求进行威胁情报筛选，进一步包括：将所述网络访问请求解析成多个字段，对所述字段进行字符串转换，并利用所述自定义指示器和布隆过滤器对转换后的网络访问请求进行威胁情报筛选。
[0008]优选地，所述将所述网络访问请求解析成多个字段，对所述字段进行字符串转换，进一步包括：
获取所述网络访问请求的域名和URL，解析DNS协议对应的IP地址和所述网络访问请求的访问方向，所述访问方向包括出站和入站；对所述URL进行MD5转换。
[0009]优选地，所述利用所述自定义指示器和布隆过滤器对转换后的网络访问请求进行威胁情报筛选，进一步包括：将所述网络会话元素源IP地址、目的IP地址、域名和MD5格式的URL输入到所述自定义指示器的碰撞列表中进行循环碰撞；对单个请求元素进行过滤，通过请求元素和访问方向确定是否存在对应的自定义指示器规则；如果存在，则将该网络访问请求加入威胁情报候选列表中；如果不存在，则使用布隆过滤器对所述请求元素进行筛选。
[0010]优选地，所述预定义威胁情报策略包括默认情报策略和自定义情报策略；所述默认情报策略是预先存储的威胁情报大数据中的威胁情报信息；所述自定义情报策略是用户在所述默认情报策略上的扩展版本或者子集。
[0011]优选地，所述根据预定义威胁情报策略对所述威胁情报候选列表进行确认，进一步包括：如果所述Caffeine缓存中不存在匹配结果，则在所述Redis存储中查询是否存在当前请求元素的威胁类型，如果存在，则获取到所述请求元素对应的值。
[0012]本专利技术在第二方面提供了一种威胁情报网关系统，包括：缓存库构建模块，用于构建包括Caffeine缓存、布隆过滤器和Redis存储的威胁情报层次缓存库；威胁情报自定义筛选模块，用于利用自定义指示器对网络访问请求进行威胁情报筛选，所述自定义指示器存储有用户自定义配置的威胁情报信息，将筛选后的威胁情报加入威胁情报候选列表中；威胁情报策略模块，用于根据预定义威胁情报策略对所述威胁情报候选列表进行确认，得到威胁情报碰撞筛选结果。
[0013]本专利技术另一方面提供了一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序代码，所述处理器用于读取所述计算机程序代码并执行前述第一方面的威胁情报碰撞筛选方法。
[0014]本专利技术又一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，所述计算机程序代码可被处理器加载和执行，以执行前述第一方面的威胁情报碰撞筛选方法。
[0015]本专利技术的有益效果是，本专利技术的威胁情报碰撞筛选方法和威胁情报网关系统，通过对威胁情报进行转换预处理，缩减了后期筛选比对的长度，避免存在较大的键，也减少了缓存对内存的占用，利用少量内存即可支持高并发查询。通过缓存组件和布隆过滤器实现高速查询，提高了查询速度。本专利技术的方法支持多维度威胁信息过滤，情报策略规则可更新，并且可以对用户收集的威胁情报进行碰撞，也可以对用户指定的请求元素进行忽略处理，以多维度多渠道的方式为用户实现威胁情报过滤。
附图说明
[0016]图1是本专利技术所述的威胁情报碰撞筛选方法的总体流程图。
[0017]图2是本专利技术所述的威胁情报网关系统的碰撞筛选过程示意图。
[0018]图3是本专利技术所述的将威胁情报存储在缓存库的流程图。
[0019]图4是本专利技术所述的利用白名单和自定义指示器进行碰撞筛选的流程图。
[0020]图5是本专利技术所述的利用预定义威胁情报策略进行碰撞筛选的流程图。
具体实施方式
[0021]为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
[0022]本专利技术提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。存储器可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read
‑
Only Memory，ROM）。存储器可用于存储指令、程序、代码、代码集或指令。显示屏用于显示各个应用程序的用户界面。
[0023]除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。
[0024]如上所述，随着技术的发展，威胁情报的数据会越来越多，在单台网关机器上加载和快速精准识别技术越发重要。本专利技术的威胁情报网关系统运行在4核（Intel
®ꢀ
Celeron
®ꢀ
CPU J1900 @ 1.99GHz）8G的威胁情报网络盒子机器上，威胁情报数据量在1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种威胁情报碰撞筛选方法，其特征在于，包括：构建包括Caffeine缓存、布隆过滤器和Redis存储的威胁情报层次缓存库；利用自定义指示器对网络访问请求进行威胁情报筛选，所述自定义指示器存储有用户自定义配置的威胁情报信息，将筛选后的威胁情报加入威胁情报候选列表中；根据预定义威胁情报策略对所述威胁情报候选列表进行确认，得到威胁情报碰撞筛选结果。2.根据权利要求1所述的威胁情报碰撞筛选方法，其特征在于，在所述利用自定义指示器对网络访问请求进行威胁情报筛选之前，还包括：判断所述网络访问请求的协议类型；如果所述协议类型为TCP或UDP传输协议，则获取所述网络访问请求的源IP地址和目的IP地址；判断所述源IP地址和目的IP地址是否在白名单中；如果所述源IP地址和目的IP地址在所述白名单中，则跳过所述网络访问请求的筛选；如果所述源IP地址和目的IP地址不在所述白名单中，则利用自定义指示器对所述网络访问请求进行威胁情报筛选。3.根据权利要求2所述的威胁情报碰撞筛选方法，其特征在于，所述利用自定义指示器对网络访问请求进行威胁情报筛选，进一步包括：将所述网络访问请求解析成多个字段，对所述字段进行字符串转换，并利用所述自定义指示器和布隆过滤器对转换后的网络访问请求进行威胁情报筛选。4.根据权利要求3所述的威胁情报碰撞筛选方法，其特征在于，所述将所述网络访问请求解析成多个字段，对所述字段进行字符串转换，进一步包括：获取所述网络访问请求的域名和URL，解析DNS协议对应的IP地址和所述网络访问请求的访问方向，所述访问方向包括出站和入站；对所述URL进行MD5转换。5.根据权利要求4所述的威胁情报碰撞筛选方法，其特征在于，所述利用所述自定义指示器和布隆过滤器对转换后的网络访问请求进行威胁情报筛选，进一步包括：将所述源IP地址、目的IP地址、域名和MD5格式的URL输入到所述自定义指示器的碰撞列表中进...

【专利技术属性】
技术研发人员：梁盼盼，赵傲琳，李衍，杨大路，刘广坤，
申请(专利权)人：天际友盟珠海科技有限公司，
类型：发明
国别省市：