基于知识图谱的威胁情报分析方法和系统技术方案

本发明专利技术提供一种基于知识图谱的威胁情报分析方法和系统，由于在现有的威胁情报分析的基础上，改进实体抽取的嵌入层处理，可以准确标注实体类别和边界，以及改进LSTM层实现得到隐藏状态，再通过引入标签的转移概率算法，预测得到有关实体的映射关系，克服了现有的知识图谱在进行语义检索时无法得到隐式知识的不足，实现基于知识图谱的语义检索和推理分析。实现基于知识图谱的语义检索和推理分析。实现基于知识图谱的语义检索和推理分析。

【技术实现步骤摘要】
基于知识图谱的威胁情报分析方法和系统


[0001]本申请涉及网络安全
，尤其涉及一种基于知识图谱的威胁情报分析方法和系统。

技术介绍

[0002]威胁情报分析是基于网络安全大数据，站在攻击者的视角，对防御方将要面临的潜在威胁信息进行汇总和分析，目的为了提升防御方的网络防护的能力。然而现有技术中的抽取无法准确标注实体类别和边界，并且现有的知识图谱在进行语义检索时无法得到隐式知识。
[0003]因此，急需一种针对性的基于知识图谱的威胁情报分析方法和系统。

技术实现思路

[0004]本专利技术的目的在于提供一种基于知识图谱的威胁情报分析方法和系统，在现有的威胁情报分析的基础上，改进实体抽取的嵌入层处理，可以准确标注实体类别和边界，以及改进LSTM层实现得到隐藏状态，再通过引入标签的转移概率算法，预测得到有关实体的映射关系。
[0005]第一方面，本申请提供一种基于知识图谱的威胁情报分析方法，所述方法包括：
[0006]从不同的传感设备、中转设备、开源平台和网络侧设备处采集状态信息、域名信息、链接地址和报文数据，作为开源威胁情报数据；
[0007]对所述开源威胁情报数据进行初始化处理，基于主题、关键字、长度作为特征，采用支持向量机算法进行文本分类，滤除所述开源威胁情报数据中的噪音数据，并以句子为单位进行分割处理，自动标注标识信息，得到威胁情报库；
[0008]从所述威胁情报库中按照预定顺序提取语句，输入实体抽取模块；
[0009]所述实体抽取模块根据标注，将隶属的开头单词、实体后续单词和非实体单词送入不同的嵌入层，经过处理后送入对应的LSTM层，所述处理包括输入的所述语句降低维度检测，并将隶属的开头单词添加指引，指向对应表示实体结束的单词，所述指向依据降低维度检测的损失函数，通过求解该损失函数的最优解，得到表示实体结束的单词；
[0010]经过相邻的所述LSTM层相互交换向量后，计算得到当前的隐藏向量，所述隐藏向量分为前向隐藏向量和后向隐藏向量，将所述前向隐藏向量与后向隐藏向量连接起来，得到隐藏状态，再将所述隐藏状态送入解码层，所述解码层引入标签的转移概率算法，将所述标注作为标签项，根据计算的概率值，预测得到有关实体的映射关系；
[0011]将所述有关实体的映射关系录入可视化模块，展示威胁情报实体的知识图谱，采用Cypher语句查询存储数据，将所述知识图谱提供给用户决策。
[0012]结合第一方面，在第一方面第一种可能的实现方式中，所述采集包括根据信息来源的历史记录，对不同的信息来源给出了不同的评分；还包括根据预先设置的情报类型，侧重采集所述情报类型对应的信息，动态将与所述情报类型相关度低的信息设置为冗余信
息，在初始化处理中清除。
[0013]结合第一方面，在第一方面第二种可能的实现方式中，所述采集包括提取要素，判断发现的要素是否与当前热门安全事件相关，如果是则在要素中标记热门安全事件摘要，并将多个与该热门安全事件相关的要素进行关联，进行数据融合。
[0014]结合第一方面，在第一方面第三种可能的实现方式中，所述指向对应表示实体结束的单词后，确定实体边界，用属性加密算法隔离不同的实体边界，实现不同的实体边界访问控制，按所述实体边界进行查询和判断报警。
[0015]第二方面，本申请提供一种基于知识图谱的威胁情报分析系统，所述系统包括：
[0016]采集模块，用于从不同的传感设备、中转设备、开源平台和网络侧设备处采集状态信息、域名信息、链接地址和报文数据，作为开源威胁情报数据；
[0017]初始化模块，用于对所述开源威胁情报数据进行初始化处理，基于主题、关键字、长度作为特征，采用支持向量机算法进行文本分类，滤除所述开源威胁情报数据中的噪音数据，并以句子为单位进行分割处理，自动标注标识信息，得到威胁情报库；
[0018]中转模块，用于从所述威胁情报库中按照预定顺序提取语句，输入实体抽取模块；
[0019]实体抽取模块，用于根据标注，将隶属的开头单词、实体后续单词和非实体单词送入不同的嵌入层，经过处理后送入对应的LSTM层，所述处理包括输入的所述语句降低维度检测，并将隶属的开头单词添加指引，指向对应表示实体结束的单词，所述指向依据降低维度检测的损失函数，通过求解该损失函数的最优解，得到表示实体结束的单词；
[0020]经过相邻的所述LSTM层相互交换向量后，计算得到当前的隐藏向量，所述隐藏向量分为前向隐藏向量和后向隐藏向量，将所述前向隐藏向量与后向隐藏向量连接起来，得到隐藏状态，再将所述隐藏状态送入解码层，所述解码层引入标签的转移概率算法，将所述标注作为标签项，根据计算的概率值，预测得到有关实体的映射关系；
[0021]可视化模块，用于将所述有关实体的映射关系录入，展示威胁情报实体的知识图谱，采用Cypher语句查询存储数据，将所述知识图谱提供给用户决策。
[0022]第三方面，本申请提供一种基于知识图谱的威胁情报分析系统，所述系统包括处理器以及存储器：
[0023]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0024]所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
[0025]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面四种可能中任一项所述的方法。
[0026]有益效果
[0027]本专利技术提供一种基于知识图谱的威胁情报分析方法和系统，由于在现有的威胁情报分析的基础上，改进实体抽取的嵌入层处理，可以准确标注实体类别和边界，以及改进LSTM层实现得到隐藏状态，再通过引入标签的转移概率算法，预测得到有关实体的映射关系，克服了现有的知识图谱在进行语义检索时无法得到隐式知识的不足，实现基于知识图谱的语义检索和推理分析。
附图说明
[0028]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]图1为本专利技术基于知识图谱的威胁情报分析方法的大致流程图；
[0030]图2为本专利技术基于知识图谱的威胁情报分析系统的架构图。
具体实施方式
[0031]下面结合附图对本专利技术的优选实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。
[0032]图1为本申请提供的基于知识图谱的威胁情报分析方法的大致流程图，所述方法包括：
[0033]从不同的传感设备、中转设备、开源平台和网络侧设备处采集状态信息、域名信息、链接地址和报文数据，作为开源威胁情报数据；
[0034]对所述开源威胁情报数据进行初始化处理，基于主题、关键字、长度作为特征，采用支持向量机算法进行文本分类，滤除所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识图谱的威胁情报分析方法，其特征在于，所述方法包括：从不同的传感设备、中转设备、开源平台和网络侧设备处采集状态信息、域名信息、链接地址和报文数据，作为开源威胁情报数据；对所述开源威胁情报数据进行初始化处理，基于主题、关键字、长度作为特征，采用支持向量机算法进行文本分类，滤除所述开源威胁情报数据中的噪音数据，并以句子为单位进行分割处理，自动标注标识信息，得到威胁情报库；从所述威胁情报库中按照预定顺序提取语句，输入实体抽取模块；所述实体抽取模块根据标注，将隶属的开头单词、实体后续单词和非实体单词送入不同的嵌入层，经过处理后送入对应的LSTM层，所述处理包括输入的所述语句降低维度检测，并将隶属的开头单词添加指引，指向对应表示实体结束的单词，所述指向依据降低维度检测的损失函数，通过求解该损失函数的最优解，得到表示实体结束的单词；经过相邻的所述LSTM层相互交换向量后，计算得到当前的隐藏向量，所述隐藏向量分为前向隐藏向量和后向隐藏向量，将所述前向隐藏向量与后向隐藏向量连接起来，得到隐藏状态，再将所述隐藏状态送入解码层，所述解码层引入标签的转移概率算法，将所述标注作为标签项，根据计算的概率值，预测得到有关实体的映射关系；将所述有关实体的映射关系录入可视化模块，展示威胁情报实体的知识图谱，采用Cypher语句查询存储数据，将所述知识图谱提供给用户决策。2.根据权利要求1所述的方法，其特征在于：所述采集包括根据信息来源的历史记录，对不同的信息来源给出了不同的评分；还包括根据预先设置的情报类型，侧重采集所述情报类型对应的信息，动态将与所述情报类型相关度低的信息设置为冗余信息，在初始化处理中清除。3.根据权利要求1所述的方法，其特征在于：所述采集包括提取要素，判断发现的要素是否与当前热门安全事件相关，如果是则在要素中标记热门安全事件摘要，并将多个与该热门安全事件相关的要素进行关联，进行数据融合。4.根据权利要求2或3任一项所述的方法，其特征在于：所述指向对应表示实体结束的单词后，确定实体边界，用属性加密算法隔离不同...

【专利技术属性】
技术研发人员：吴冠标，齐帅，王旭，
申请(专利权)人：天津市国瑞数码安全系统股份有限公司，
类型：发明
国别省市：