本发明专利技术公开了一种威胁情报自动采集方法，通过获取情报来源，若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，若所述情报为内部情报，对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报，对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展，对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。可以实现快速建设威胁情报平台，便于取证和预测和网络环境中的潜在威胁，在大量的告警信息中为安全防御和决策提供了有价值的信息，更加快速应对和响应安全事件。件。件。
【技术实现步骤摘要】
威胁情报自动采集方法、系统、计算机设备和存储介质
[0001]本申请涉及安全维护
，特别是涉及一种威胁情报自动采集方法、系统、计算机设备和存储介质。
技术介绍
[0002]基于2014年Gartner在其《安全威胁情报服务市场指南》中提出的威胁情报的描述：威胁情报是一种基于证据的知识，包括了情境、机制、指标、隐含和实际可行的建议。威胁情报描述了现存的、和者是即将出现针对资产的威胁和危险，并可以用于通知主体针对相关威胁和危险采取某种响应。企业告警数量级别非常大，安全处置员处置工作量很大，因此为了便于相关人员取证已有威胁和预测威胁，威胁情报建设越来越重要。在实际落地时，威胁情报产品的输出以IOC(域名、样本信息及可信度)为主要部分，但由于网络中存在着大量的情报，它们的结构不同、关注方向不同、可信度不同、情报内容不同、情报的来源也是千奇百怪，这使得威胁情报在实际的运用中面临许多问题，而这其中的关键问题在于，在现阶段无法统一有效的提取出威胁情报中能够应用的关键信息，目前虽有很多开源产品可用于收集，但很难根据具体的需求定制化扩展。
[0003]威胁情报采集主要分为两个部分：外部情报和内部情报。外部情报主要来自一些开源威胁情报平台，网站博客等公共信息，但开源情报提供的数据一般都非常简单，只包含一个列表，和者列表的格式非常多样，为了真正运用到生产，需要对不同的数据源进行不同的逻辑处理并打标签等进一步处理，因此需要生成数据源层面的元数据。
技术实现思路
[0004]基于此，针对上述技术问题，提供一种威胁情报自动采集方法、系统、计算机设备和存储介质。
[0005]第一方面，一种威胁情报自动采集方法，所述方法包括：
[0006]获取情报来源；
[0007]若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报；
[0008]若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估；
[0009]对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报；
[0010]对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展；
[0011]对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。
[0012]上述方案中，可选的，所述对所述外部情报数据源级别数据扩充包括：
[0013]在外部情报数据中，对于不够完整的威胁情报，若没有注明恶意软件威胁类型的
情报源进行打上恶意标签、恶意软件家族、置信度和设定的处理逻辑并更新时间。
[0014]上述方案中，进一步可选的，所述对所述外部情报和内部情报进行去白鉴黑还包括：根据预先得到的权威白名单去除置信度低于第二预设阈值置信度的情报。
[0015]上述方案中，进一步可选的，所述数据交叉验证方式具体为：对同一个情报且有不同的恶意标签的情报，对该情报先按照数据源置信度，该情报已有置信度和更新时间设置情报置信度，再进行多引擎交叉验证进一步调整置信度，并根据数据源置信度调整未填充的恶意软件家族信息。
[0016]上述方案中，进一步可选的，所述维度扩展具体包括：
[0017]对于不同类型的外部情报对其地理位置信息，DNS信息，whois/ASN信息进行扩展；
[0018]按照恶意软件家族，标签等量化威胁等级，扩展所述内部情报和外部情报恶意信息和处置建议。
[0019]上述方案中，进一步可选的，所述对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营具体为：对所述外部情报和内部情报进行定时更新交叉关联，并在运营过程中调整标签，威胁等级。
[0020]上述方案中，进一步可选的，所述方法还包括：对于内部情报，误报和验证过期的情报启用上下线功能，形成IOCs的生命周期闭环。
[0021]第二方面，一种威胁情报自动采集系统，所述系统包括：
[0022]采集模块：用于获取情报来源；
[0023]判断模块：用于若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报；若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估；
[0024]处理模块：用于对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报；对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展；
[0025]运营模块：用于对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。
[0026]第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0027]获取情报来源；
[0028]若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报；
[0029]若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估；
[0030]对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报；
[0031]对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展；
[0032]对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。
[0033]第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0034]获取情报来源；
[0035]若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报；
[0036]若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估；
[0037]对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报；
[0038]对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展；
[0039]对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。
[0040]本专利技术至少具有以下有益效果：
[0041]本专利技术基于对现有技术问题的进一步分析和研究，认识到威胁情报产品的输出以IOC为主要部分，但由于网络中存在着大量的情报，它们的结构不同、关注方向不同本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种威胁情报自动采集方法，其特征在于，所述方法包括：获取情报来源；若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报；若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估；对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报；对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展；对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。2.根据权利要求1所述的方法，其特征在于，所述对所述外部情报数据源级别数据扩充包括：在外部情报数据中，对于不够完整的威胁情报，若没有注明恶意软件威胁类型的情报源进行打上恶意标签、恶意软件家族、置信度和设定的处理逻辑并更新时间。3.根据权利要求1所述的方法，其特征在于，所述对所述外部情报和内部情报进行去白鉴黑还包括：根据预先得到的权威白名单去除置信度低于第二预设阈值置信度的情报。4.根据权利要求1所述的方法，其特征在于，所述数据交叉验证方式具体为：对同一个情报且有不同的恶意标签的情报，对该情报先按照数据源置信度，该情报已有置信度和更新时间设置情报置信度，再进行多引擎交叉验证进一步调整置信度，并根据数据源置信度调整未填充的恶意软件家族信息。5.根据权利要求1所述的方法，其特征在于，所述维度扩展具体包括：对于不同类型的外部情报对其地理位置信息，DNS信息，whois/ASN信息进行扩...
【专利技术属性】
技术研发人员：王向艳，陈国芳，
申请(专利权)人：北京鼎普科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。