一种基于爬虫技术完善安全规则库的方法技术

本发明专利技术提供了一种基于爬虫技术完善安全规则库的方法，其特征在于，包括：第一个部分：通过爬虫及时获取论坛、开放网站及蜜罐环境上的安全事件特征补充到安全规则库中；第二个部分：通过爬虫整合开放网站上的安全事件说明及解决办法，更新到安全规则库的说明中这两个部分。本发明专利技术通过爬虫技术对开放网站及开放的安全论坛进行信息获取，并对安全事件说明进行整合的方式，来解决上述提到的2点不足，理论上可以达到“只要开放资源足够多，安全规则库就可以足够完善，系统一旦有安全事件，就能及时给出提示及解决方式等说明”的目的。的目的。的目的。

【技术实现步骤摘要】
一种基于爬虫技术完善安全规则库的方法


[0001]本专利技术涉及网络安全规则领域，具体涉及一种基于爬虫技术完善安全规则库的方法。

技术介绍

[0002]随着因特网的发展，更多人使用互联网，由于这是一个面向大众群体的开发系统，对于信息保密手段和系统安全可能考虑的并不完善，网络信息安全随着网络技术的不断发展也变的日益严重，木马及病毒等的变种也越来越多，如何及时发现网络中的安全风险并给出解决建议变的更为重要，主要体现在：
[0003](1)安全规则库不完善，存在告警漏报的风险；
[0004](2)遇到安全告警后用户如何知道机器具体发生了什么问题及面对这些问题如何解决。

技术实现思路

[0005]本专利技术的最终目的是要实现对安全规则库的完善，包括安全规则及说明，通过爬虫技术及时获取网络上一些开放网站及论坛上的开源信息对安全规则库进行合并，并基于对开放网站的爬虫获取安全事件的具体说明，从而达到完善安全规则库及其说明的目的。在实现过程中，本专利技术提出了两个技术方案，且这两个技术方案是互相协作完成最终目标的。本专利技术的第一个技术方案是：通过爬虫及时获取论坛、开放网站及蜜罐环境上的安全事件特征补充到安全规则库中；本专利技术的第二个技术方案是：通过爬虫整合开放网站上的安全事件说明及解决办法，更新到安全规则库的说明中。
[0006]为实现上述目的，本专利技术采用了如下技术方案：
[0007]一种基于爬虫技术完善安全规则库的方法，其特征在于，包括：
[0008]第一个部分：通过爬虫及时获取论坛、开放网站及蜜罐环境上的安全事件特征补充到安全规则库中；
[0009]第二个部分：通过爬虫整合开放网站上的安全事件说明及解决办法，更新到安全规则库的说明中这两个部分。
[0010]所述第一个部分包括如下步骤：
[0011]S1.1：通过爬虫技术获取开放网站及论坛上的较新的告警信息；
[0012]S1.2：根据获取的信息自动生成安全规则；
[0013]S1.3：对安全规则库进行整合。
[0014]所述步骤S1.1具体包括：
[0015]获取安全相关信息：包括以下几个方面，从suricata官网获取最新的安全规则库，从snort官网获取的最新的安全规则库，从官网或论坛获取的关键信息生成的自定义规则，比如从微步社区通过爬虫获取一些关键信息，如某url属于钓鱼网站，访问url就存在钓鱼的风险，再如某新的木马可能包含固定字符串，这些都可以通过爬虫技术提取出来并添加
为自定义安全规则；再如国家互联网应急中心会定期发布一些新的木马或者病毒等信息，包括对应的加密方法及通信协议等，这些也可以提取出来添加为自定义安全规则；另外，可以本地搭建蜜罐系统，通外网的蜜罐通常包含大量的弱密码，可以提取弱密码信息添加为密码破解小类的自定义安全规则。
[0016]所述步骤S1.2具体包括：
[0017]获取告警特征后，通过python实现规则的自动生成，参照suricata官网关于关键字的说明进行增加，如有异常url直接使用http_uri关键字，如果有某个固定的字符串直接使用content关键字，包含可疑域名可以使用dns_query加域名的形式，从而达到自定义安全规则并和现有规则进行整合扩大目前安全规则库的目的。
[0018]所述步骤S1.3具体包括：
[0019]通过将suricata官网规则、snort官网规则、自定义规则三者合一，达到扩大资源库达到对安全事件及时告警的目的。
[0020]所述第二个部分，基于安全规则中有很多规则在规则的不同位置会出现CVE编号，鉴于开放网站上存在很好的漏洞库的平台，主要思路就是通过爬取并整合国家信息安全漏洞库和绿盟科技等开放网站上关于漏洞编号的具体说明，汇总为现有规则的规则名称、攻击原理、影响系统、危害及解决办法，更新到安全规则库的说明中，包括如下步骤：
[0021]S2.1：提取规则中的CVE编号和msg信息；
[0022]通过正则表达式匹配获取安全规则库中包含CVE的规则和编号及所有规则的msg信息；
[0023]S2.2：通过爬虫技术获取开放网站上的对应信息；
[0024]利用爬虫技术获取国家信息安全漏洞库、绿盟科技等开放网页上关于漏洞等信息，同时也可以爬取类似论坛上关于一些安全事件的说明；
[0025]S2.3：提取CVE相关信息组合成规则说明；
[0026]针对2中的说明进行筛选提取，整合为规则名称、攻击原理、影响系统、危害和解决办法，作为安全规则库的说明；
[0027]S2.4：针对msg的内容做相似度匹配获取规则说明。
[0028]本专利技术提供的方式，通过爬虫技术对开放网站及开放的安全论坛进行信息获取，并对安全事件说明进行整合的方式，来解决上述提到的2点不足，理论上可以达到“只要开放资源足够多，安全规则库就可以足够完善，系统一旦有安全事件，就能及时给出提示及解决方式等说明”的目的，主要表现在：
[0029]通过对各爬虫脚本的整合，实现对安全规则库的完善，包括规则本身和对规则的说明；
[0030]通过爬虫技术和安全规则库的结合，便于及时感知到最新的安全事件，及时跟踪几个库的变化，方便及时对安全规则库进行更新，能够对网络中比较新的安全事件进行检测并给出提示，并且针对现有的安全规则库，通过爬虫技术能够进一步对安全规则做具体的说明，方便用户进一步了解安全事件的原理、影响系统、危害及碰到该安全事件后应该怎么处理。
[0031]通过爬虫获取开放论坛、开放网站及蜜罐上的信息并生成自定义安全规则，这样做的好处是对于一些比较新的可疑域名、木马、病毒等能够及时进行跟踪，另一方面，对
suricata、snort、自定义安全规则三个库的合并能够丰富已有的安全规则库，减少对网络中的安全事件的漏报。
[0032]通过爬虫获取并合并安全规则库说明，这样做的好处是能够丰富安全规则库的说明，通过爬取多个开放网站上的安全事件说明获取更全的说明信息，针对安全事件的告警，一旦触发用户能够收到告警提醒，针对安全事件的内容，有效的给出提示，这个告警是什么，有什么危害，如何解决，方便用户及时对安全事件做出响应，减少损失。
附图说明
[0033]图1为本专利技术通过爬虫对安全规则库的更新流程图；
[0034]图2为本专利技术通过爬虫对安全规则库说明的更新流程图。
具体实施方式
[0035]下面将结合本专利技术的附图，对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0036]实施例1
[0037]关于安全规则库的更新说明，具体处理流程如下：
[0038](1)合并官网规则：从suricata官网和snort官网上分别下载suricata和sn本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于爬虫技术完善安全规则库的方法，其特征在于，包括：第一个部分：通过爬虫及时获取论坛、开放网站及蜜罐环境上的安全事件特征补充到安全规则库中；第二个部分：通过爬虫整合开放网站上的安全事件说明及解决办法，更新到安全规则库的说明中这两个部分。2.根据权利要求1所述的基于爬虫技术完善安全规则库的方法，其特征在于：所述第一个部分包括如下步骤：S1.1：通过爬虫技术获取开放网站及论坛上的较新的告警信息；S1.2：根据获取的信息自动生成安全规则；S1.3：对安全规则库进行整合。3.根据权利要求2所述的基于爬虫技术完善安全规则库的方法，其特征在于：所述步骤S1.1具体包括：获取安全相关信息：包括以下几个方面，从suricata官网获取最新的安全规则库，从snort官网获取的最新的安全规则库，从官网或论坛获取的关键信息生成的自定义规则，比如从微步社区通过爬虫获取一些关键信息，如某url属于钓鱼网站，访问url就存在钓鱼的风险，再如某新的木马可能包含固定字符串，这些都可以通过爬虫技术提取出来并添加为自定义安全规则；再如国家互联网应急中心会定期发布一些新的木马或者病毒等信息，包括对应的加密方法及通信协议等，这些也可以提取出来添加为自定义安全规则；另外，可以本地搭建蜜罐系统，通外网的蜜罐通常包含大量的弱密码，可以提取弱密码信息添加为密码破解小类的自定义安全规则。4.根据权利要求2所述的基于爬虫技术完善安...

【专利技术属性】
技术研发人员：张广兴，姜海洋，王婷婷，田利荣，张玉军，鲍全松，
申请(专利权)人：江苏省未来网络创新研究院，
类型：发明
国别省市：