一种安全告警分析优化方法技术

本发明专利技术涉及网络安全技术领域，具体涉及一种安全告警分析优化方法，主要体现为利用爬虫技术聚合多种安全设备的告警，优化了告警信息分散的问题；将告警类型分为正常流量、扫描类告警、渗透类告警、高风险告警，使用文本分类算法TF

【技术实现步骤摘要】
一种安全告警分析优化方法


[0001]本专利技术涉及网络安全
，具体涉及一种安全告警分析优化方法。

技术介绍

[0002]针对多样的网络威胁，安全研究人员研究出了多种威胁检测引擎，在业务场景多样化以及海量数据的背景下，各种威胁检测引擎会产生大量的安全告警，一方面因为威胁检测引擎存在错误告警甚至遗漏告警的可能，因此需要人工进行审核确认，另一方面因为在告警信息中可能存在信息价值低的告警，例如可疑扫描等威胁，因此在人工审核告警的过程中可能会面临大量此种类型告警。
[0003]当前主要分析手段可以通过按条件搜索等手段查看安全告警，目前安全告警分析主要依靠人工，部分安全设备有部分辅助分析的手段，基本上也是根据攻击者ip，目标ip等进行简单聚类。
[0004]同时各类安全设备可能产生大量告警，首先告警平台不同导致告警无法集中，在多个平台上查看告警费时费力；其次完全依赖人工分析，无法逐条进行分析，往往有所遗漏，或将大量的时间精力浪费在对正常业务的误报处理及网络扫描行为的无效分析上。另外分析效果因人而异，具有专业技能的安全人员往往无法7*24小时的监控设备，而7*24小时监控设备的人员往往缺乏告警分析能力，只能单方面依赖安全设备显示的告警等级，无法聚焦于真正高威胁的告警，反而疲于应付无谓的高危告警，基于此，研究一种安全告警分析优化方法是必要的。

技术实现思路

[0005]鉴于此，本专利技术的目的在于提供一种安全告警分析优化方法，有效的解决了现有的告警分类多样，各平台独立显示告警，无法集中显示，造成告警查看费时费力的问题。
[0006]为实现上述目的，本专利技术所采用的技术方案是：一种安全告警分析优化方法，其特征在于，包括如下步骤：步骤一，多平台告警信息收集；爬取各类安全设备、平台的告警信息，爬取内容包括攻击类型、攻击源地址、目的地址、攻击源端口号、目的端口号、风险等级、安全设备动作、流量方向、请求URL和原始报文，将爬取的告警数据存入爬取数据库中；步骤二，告警数据处理；对告警数据进行预处理，统一数据格式，并进行过滤，过滤掉非重要告警得到标准告警数据，所述标准告警数据包括告警时间、告警设备类型、攻击类型、告警请求名称、告警源地址、告警源端口、告警目的地址、告警目的端口、风险等级、流量方向、是否阻断和原始告警；将标准告警数据存入标准数据库内；步骤三，计算标准告警正文信息熵；计算标准告警数据请求体的信息熵，当计算得到的信息熵超过设定阈值时，判定
该标准告警数据请求体中为加密字符串或乱码，并过滤此类请求；具体的信息熵计算公式为：其中H（x）为信息熵值，P（xi）为变量取值xi时的概率，x为随机变量；步骤四，标准告警数据相识度比较将标准告警数据涉及请求的URL与已有资源数据库中URL对比，如不存在，认为此告警为非近似告警，进入下一步特征值提取；如存在，使用TF
‑
IDF算法计算其与已知请求的相似度，如相似度>90%，认为此告警与之前告警近似，近似告警分类自动同步为原告警分类；步骤五，特征值提取对请求告警中请求体进行特征值提取，为进一步建立模型判断告警分类提供基础，采用TF
‑
IDF对非近似告警文本数据进行向量化处理，使用TF
‑
IDF算法进行特征值提取，形成告警的特征向量，其中特征值包括攻击源ip、攻击目标ip、流量方向和请求体提取特征；步骤六，建立模型算法对非近似告警进行分类特征提取完毕后，使用随机森林算法建立告警分类模型；对非近似告警数据进行分类，告警分类包括正常流量、扫描类告警、渗透类告警和高风险告警；其中正常流量：定义为正常业务流量；扫描类告警：定义为非误报，其为扫描器或漏洞利用工具扫描产生的告警；渗透类告警：定义为针对性渗透攻击产生的告警，这类告警可能尝试绕过安全防护类，需要进一步由人工介入，分析其攻击意图与是否攻击成功；高风险告警：定义为目标已失陷产生的告警，此类告警出现时意味着目标疑似已被攻陷正作为跳板尝试攻击其他内网目标，需要人工立即介入分析及处置；建立模型算法对非近似告警的特征向量进行分类，随机森林算法中的训练集为告警数据库中原告警，每个告警的分类标签为首次收到此告警时的人工判定，之后遇到相似告警会同步此标签；非近似告警在进行过算法判断后，视配置决定是直接入库还是进一步进行人工复核进行分类；步骤七，最终确认和数据入库视配置决定是否对全部告警进行人工判断，在缺省情况下，只对上一步算法判断为渗透类及高风险的告警提示人工介入，人工分析后可以在告警分析工具中修改告警类型，并入库。
[0007]进一步的，步骤一中，通过scrapy与selenium结合的方式对各类安全设备的告警信息进行爬取。
[0008]进一步的，步骤二中，所述流量方向包括由外到内、由内到外、由内到内。
[0009]进一步的，步骤一中，在对安全设备、平台进行安全数据爬取时，如果设备本身提供告警数据的提取API接口，则可以直接使用，如果设备不提供API接口，通过模拟用户操作的方式进行登录，之后获取cookie，再通过此cookie后进行告警获取请求。
[0010]进一步的，步骤二中，所述非重要告警包括过滤掉低风险告警和类似网络爬虫。
[0011]上述技术方案的有益效果是：针对上述技术问题，本专利技术在告警分析技术上进行了优化：主要体现为利用爬虫技术聚合多种安全设备的告警，优化了告警信息分散的问题；将告警类型分为正常流量、扫描类告警、渗透类告警和高风险告警，使用文本分类算法TF
‑
IDF进行相似度计算，从而实现对安全告警的“记忆”能力，已分析过告警的近似告警无需再次进行人工分析；使用TF
‑
IDF算法进行特征值提取，之后使用随机森林算法建立告警分类模型，将机器学习算法应用到告警分析之中，分类结论可以有效辅助安全人员进行分析或指导无安全技能的监控人员对告警进行通报。
[0012]由此，本专利技术利用爬虫技术收集告警，能够对接不同厂商的多种安全设备作为告警信息源，将告警分析与某个特定的安全告警平台分离，提升技术的通用性；结合特征提取算法及机器学习算法对安全告警进行分类，辅助安全人员进行分析，且能减少分析人员工作量，可以有效辅助安全人员进行分析或指导无安全技能的监控人员对告警进行通报，通过对告警的相似度进行分析，能够自动处理正常业务误报及无威胁的扫描告警等情况，并且同类告警一次人工处理，后续无需重复分析，解决专业安全人员不足的问题。
附图说明
[0013]图1为本专利技术的系统流程图；图2为本专利技术的告警分类示意图。
具体实施方式
[0014]下面结合附图及具体实施方式对本专利技术作进一步详细描述：实施例1，本实施例旨在提供一种安全告警分析优化方法，主要用于辅助安全人员进行分析或指导无安全技能的监控人员对告警进行通报，针对现有的告警分类多样，各类安全设备可能产生大量告警，告警平台不同导致告警无法集中，在多个平台上查看告警费时费力；其次完全依赖人工分析，无法逐条进行分析，往往有所遗漏，或将大量的时间精力浪费本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种安全告警分析优化方法，其特征在于，包括如下步骤：步骤一，多平台告警信息收集；爬取各类安全设备、平台的告警信息，爬取内容包括攻击类型、攻击源地址、目的地址、攻击源端口号、目的端口号、风险等级、安全设备动作、流量方向、请求URL和原始报文，将爬取的告警数据存入爬取数据库中；步骤二，告警数据处理；对告警数据进行预处理，统一数据格式，并进行过滤，过滤掉非重要告警得到标准告警数据，所述标准告警数据包括告警时间、告警设备类型、攻击类型、告警请求名称、告警源地址、告警源端口、告警目的地址、告警目的端口、风险等级、流量方向、是否阻断和原始告警；将标准告警数据存入标准数据库内；步骤三，计算标准告警正文信息熵；计算标准告警数据请求体的信息熵，当计算得到的信息熵超过设定阈值时，判定该标准告警数据请求体中为加密字符串或乱码，并过滤此类请求；具体的信息熵计算公式为：其中H（x）为信息熵值，P（xi）为变量取值xi时的概率，x为随机变量；步骤四，标准告警数据相识度比较将标准告警数据涉及请求的URL与已有资源数据库中URL对比，如不存在，认为此告警为非近似告警，进入下一步特征值提取；如存在，使用TF
‑
IDF算法计算其与已知请求的相似度，如相似度>90%，认为此告警与之前告警近似，近似告警分类自动同步为原告警分类；步骤五，特征值提取对请求告警中请求体进行特征值提取，为进一步建立模型判断告警分类提供基础，采用TF
‑
IDF对非近似告警文本数据进行向量化处理，使用TF
‑
IDF算法进行特征值提取，形成告警的特征向量，其中特征值包括攻击源ip、攻击目标ip、流量方向和请求体提取特征；步骤六，建立模型算法对非近似告警进行分类特征提取完毕后，使用随机森林算法建立告警分类模型；对非近似告警...

【专利技术属性】
技术研发人员：龙岩，
申请(专利权)人：辽宁振兴银行股份有限公司，
类型：发明
国别省市：