【技术实现步骤摘要】
本专利技术属于数据处理领域，具体地说是一种基于智能暗网情报挖掘系统和方法。
技术介绍
1、暗网是一种隐藏网络，是指隐藏在公共网络之外、无法被搜索引擎检索到的互联网内容，在暗网上，用户可以匿名地进行交易、发布信息和进行其他活动。在网络安全领域，对暗网的研究是公认的必要之举。许多安全事件都与暗网有着密不可分的联系。由于暗网的匿名性强，很多黑客(团体)都在暗网上进行违法活动，包括出售漏洞信息、提供黑客服务、出售盗取的数据等严重危害网络空间安全的活动，而这些内容在明网(c l earnet)上往往是滞后的。因此，针对暗网的威胁情报研究有助于我们全面、迅速地捕捉到相关安全事件信息，及时减少损失，是非常有必要的。
2、威胁情报是一种基于证据的知识，包括了情境、机制、指标、隐含和实际可行的建议。威胁情报描述了现存的或者是即将出现针对资产的威胁或危险，并可以用于通知主体针对相关威胁或危险采取某种响应；通俗来说，威胁情报是关于威胁的信息，利用公开的资源，用于发现威胁并指导企业行动以改善安全状况。暗网中存在的威胁情报是多方面的，例如数据贩卖信息、黑客身份信息、0day漏洞信息等。然而暗网中的信息庞杂，真假难辨，如何从海量的暗网网页中提取出有用的威胁信息就是需要解决的核心问题，缺乏对暗网流量的分析能力，暗网流量是工控网络攻击的主要源头，但由于暗网流量具有难捕获、高伪装、难解析等特性，导致目前的大多数方法很难有效地从暗网流量中提取针对工控网络攻击的威胁情报。
3、综上，因此本专利技术提供了一种基于智能暗网情报挖掘系统和方法，以解
技术实现思路
1、为了解决上述技术问题，本专利技术提供一种基于智能暗网情报挖掘系统和方法，以解决现有技术中从海量的暗网网页中提取出有用的威胁信息就是需要解决的重点等问题。
2、一种基于智能暗网情报挖掘系统，包括：
3、监控模块：实时监测全球暗网节点数量及地区分布，获取节点主机名、端口、带宽等信息，并结合节点指纹扫描技术，实现暗网节点在明网“落地”；
4、信息传输模块：通过http在和服务器之间传输信息；
5、信息提取模块：对于正文、地名、组织名称和短语进行提取。
6、进一步的，所述监控模块包括：
7、搜集暗网节点信息：通过暗网节点扫描工具进行扫描，来搜集暗网的节点信息；
8、构建监控模块：搭建监控模块，使用机器学习模型来检测异常活动；
9、训练机器学习模型：在构建完监控模块之后，使用机器学习算法来训练模型；
10、运行监控模块：在训练好监控模块之后，在暗网节点上运行该模块，以便实时监测节点上的活动，一旦发现异常行为，监控模块可以立即发送警报并提供相关信息，以便安全团队可以采取相应的行动。
11、进一步的，所述构建监控模块中的机器学习模型检测异常活动，机器学习模型包括数据收集模块、数据分析模块、异常检测模块，所述数据收集模块用来收集暗网节点上的数据，如交易记录、聊天对话、论坛帖子，所述数据分析模块用于收集到的数据，以便发现可能存在的异常行为，所述异常检测模块用于检测黑客攻击、非法交易和其他违法或危险的活动。
12、进一步的，所述信息传输模块在收到数据信息后，分析站点信息中的数据包，数据主要以数据包的形式呈现，而网络crawl er技术形成无限循环，解析所有数据包。
13、一种基于智能暗网情报挖掘系统的挖掘方法，包括以下步骤：
14、步骤一：获取暗网原始数据，得到暗网情报数据集；
15、步骤二：针对收集到的数据集，对于正文、地名、组织名称和短语进行提取，识别实体，如邮箱、时间、号码等；
16、步骤三：访问所述数据集中存储的网页，利用域名、标题以及网页内容从中筛选出关键站点并进行网页数量统计；
17、步骤四：对于网页进行分析，得到有价值的数据库，并且定位到综合相关度高的暗网威胁情报优先显示。
18、进一步的，步骤一中，在获取暗网原始数据后，包括对暗网情况数据进行过滤，对于根据设定的数据种类进行收集，得到有效数据，并且组合到数据集中。
19、进一步的，所述步骤二中，采用基于bert的预培训模型，结合robertadespacy模型和基于bert的组合模型，对tordarknet实体执行双重提取。
20、与现有技术相比，本专利技术具有如下有益效果：
21、1、本专利技术，采用多任务、多线程、多页面采集、循环采集、变频采集、自学习抽取技术、动态解析等技术，实现自动实时采集数据，并结合节点指纹扫描技术去重，另外还实现了高性能全文检索引擎技术，提高信息的查全率及查准率，实现了大规模暗网ip扫描技术，初步建立了针对主要暗网节点的实时监控系统。
22、2、本专利技术通过在暗网节点上运行监控模块，以便实时监测节点上的活动，一旦发现异常行为，监控模块可以立即发送警报并提供相关信息，以便安全团队可以采取相应的行动，方案实现在现有网络中容易布置、操作简单、安全可靠，具有显著的经济社会效益和广阔的市场推广应用前景。
本文档来自技高网...【技术保护点】
1.一种基于智能暗网情报挖掘系统，其特征在于：包括：
2.如权利要求1所述基于智能暗网情报挖掘系统，其特征在于：所述监控模块包括：
3.如权利要求2所述基于智能暗网情报挖掘系统，其特征在于：所述构建监控模块中的机器学习模型检测异常活动，机器学习模型包括数据收集模块、数据分析模块、异常检测模块，所述数据收集模块用来收集暗网节点上的数据，如交易记录、聊天对话、论坛帖子，所述数据分析模块用于收集到的数据，以便发现可能存在的异常行为，所述异常检测模块用于检测黑客攻击、非法交易和其他违法或危险的活动。
4.如权利要求1所述基于智能暗网情报挖掘系统，其特征在于：所述信息传输模块在收到数据信息后，分析站点信息中的数据包，数据主要以数据包的形式呈现，而网络Crawler技术形成无限循环，解析所有数据包。
5.一种权利要求1-4所述基于智能暗网情报挖掘系统的挖掘方法，其特征在于：包括以下步骤：
6.如权利要求5所述基于智能暗网情报挖掘的方法，其特征在于：所述步骤一中，在获取暗网原始数据后，包括对暗网情况数据进行过滤，对于根据设定的数据种类
7.如权利要求5所述基于智能暗网情报挖掘的方法，其特征在于：所述步骤二中，采用基于BERT的预培训模型，结合RoBERTadespaCy模型和基于BERT的组合模型，对Tordarknet实体执行双重提取。
...【技术特征摘要】
1.一种基于智能暗网情报挖掘系统，其特征在于：包括：
2.如权利要求1所述基于智能暗网情报挖掘系统，其特征在于：所述监控模块包括：
3.如权利要求2所述基于智能暗网情报挖掘系统，其特征在于：所述构建监控模块中的机器学习模型检测异常活动，机器学习模型包括数据收集模块、数据分析模块、异常检测模块，所述数据收集模块用来收集暗网节点上的数据，如交易记录、聊天对话、论坛帖子，所述数据分析模块用于收集到的数据，以便发现可能存在的异常行为，所述异常检测模块用于检测黑客攻击、非法交易和其他违法或危险的活动。
4.如权利要求1所述基于智能暗网情报挖掘系统，其特征在于：所述信息传输模块在收到数据信息后，分析...
【专利技术属性】
技术研发人员：韩庆良，史文征，韩明军，张晓溪，赵波，闫翠霞，
申请(专利权)人：道普信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。