一种基于主题词向量和网络结构的主题关键词提取方法技术

本发明专利技术公开了一种基于主题词向量和网络结构的主题关键词提取方法，具体涉及从文本中提取关键词技术领域。该基于主题词向量和网络结构的主题关键词提取方法基于LDA主题模型对文本语料进行主题聚类，并获得每个主题中与该主题相关度为top100的100个关键词；利用word2vec将文本语料中的每个词表示为一个词向量，通过计算获得每两个词之间的语义相似度，分别计算出与关键词中的每个关键词在语义上相似度top5的词，关键词和每个关键词在语义上相似度top5的词共同组成新的关键词集合；构建关键词网络，并获得每个集合top 20的词作为该主题的关键词。该方法既能对文档中词频较高的关键词进行提取，又可以有效地发现词频较低但是与主题关系强的关键词。

A topic keyword extraction method based on topic word vector and network structure

The invention discloses a topic keyword extraction method based on topic word vector and network structure, and specifically relates to the technical field of extracting keyword from text. The topic keyword extraction method based on the topic word vector and the network structure is based on the LDA topic model to cluster the text corpus, and obtains 100 keywords in each topic with the subject correlation degree of Top100; each word in the text corpus is represented as a word vector by word2vec, and every two is obtained by calculation. The semantic similarity between words can be used to calculate the semantic similarity top5 of each keyword in the keyword, the key words and the words of each keyword in semantic similarity top5 to form a new keyword set; construct the keyword network and get the word of each set top 20 as the key word of the subject. This method can not only extract key words with high word frequency, but also effectively find keywords with low word frequency but strong themes.

【技术实现步骤摘要】
一种基于主题词向量和网络结构的主题关键词提取方法
本专利技术涉及从文本中提取关键词
，具体涉及一种基于主题词向量和网络结构的主题关键词提取方法。
技术介绍
随着表示学习技术在自然语言处理领域广泛应用，应用word2vec进行词语的向量表示，能够很好的描述和获取词语的语义及语法规则，同时，主题模型能够很好的解释文档层级的主题聚集情况。因此，目前融合主题模型及主题关键字的词向量表示的研究越来越广泛。LDA主题模型：在提出的各种主题模型中，LDA是能够概括主题分布的生成模型。LDA是一个三级分层的贝叶斯模型，其中集合的每个项目被建模为潜在的主题集合上的有限混合，相反，每个主题也被模拟为一组潜在的主题概率的无限混合。在文本建模的上下文中，主题概率提供了文档的显示表示。LDA的建模过程可以被描述为每个资源(即P(z|d))找到对应的主题混合，每个主题由另一概率分布(即P(t|z))来描述。这可以被形式化地表示为：其中，P(ti|d)是给定文档d的第i项上的概率，zi是潜在主题。P(ti|zj＝j)是主题j中ti的概率。P(zj＝j|d)是文档在主题j上的概率。潜在主题的Z的数量必须提前定义。LDA使用Dirichlet先验分布和确定的主题数来从未标记的语料库中估计主题词分布P(t|z)和文档主题分布P(z|d)。LDA是使用范围很广的主题模型，多数其他的主题模型都是基于LDA进行扩展。但从整体来看LDA抽取的关键词一般过于宽泛，不能较好反映文章主题，因此本专利技术提出的方法是创新的。wordembedding：词嵌入是根据句法和语义信息将每个词编码为连续向量(词向量)，因此相似的词在其词向量上的距离是相近的。从自然文本中统计并建立一个语言模型并获得词向量后，可以将其作为神经网络的输入来进行句法分析、情感分析等，也可以作为辅助特征扩充现有模型。但是仅有词向量是无法识别文本预料中的主题的，必须将其与主题模型相结合。现有无监督的关键词提取技术主要包括TF-IDF，Topicmodel，TextRank等方案。其技术缺点主要体现在以下几个方面：TF-IDF是一种用于信息检索与数据挖掘的常用加权技术，是对搜索关键词重要性的度量，应用于文本关键词的提取同样获得较好的效果。但是TF-IDF是基于词频和关键词概率分布的交叉熵，即是不考虑词出现的先后顺序的，没有考虑文本中每个词与上下文之间的关系。广泛使用的Topicmodel如LDA等能较好的从文档中挖掘出主题，但是其抽取的关键词过为宽泛，有很多是词频较高但与主题无关的词，不能较好的反应主题，所以作为关键词是不合适的。TextRank算法是一种用于文本的基于图的排序算法，将文本拆分为句子，利用词在文本中上下文的共现关系来建立图模型，根据图模型中的PageRank值来提取关键词。该算法在考虑了词频和词共现关系的基础上，能简洁有效的提取单篇文档的关键词，但是无法对多篇文档的主题进行识别和聚类，因而无法对特定主题下文档的关键词进行提取。
技术实现思路
本专利技术的目的是针对上述不足，提出了一种将主题模型LDA与Wordembedding相结合，利用相似度的网络传播来提取同一主题文本的关键词，既能对文档中词频较高的关键词进行提取，又可以有效地发现词频较低但是主题关系强的关键词的关键词提取方法。本专利技术具体采用如下技术方案：如图1所示，一种基于主题词向量和网络结构的主题关键词提取方法，具体包括：对原始的文本语料进行分词；基于LDA主题模型对文本语料进行主题聚类，并获得每个主题中与该主题相关度为top100的关键词集合KeywordsSet1＝{k1，...，k100}；利用word2vec将文本语料中的每个词表示为一个词向量，通过计算词向量之间的余弦值获得每两个词之间的语义相似度；分别计算出与关键词集合KeywordsSet1中的每个关键词在语义上相似度top5的词，关键词集合KeywordsSet1中的词及其在语义上相似度top5的词共同组成新的关键词集合KeywordsSet2；以关键词集合KeywordsSet2中的每个关键词为节点，词与词之间的语义相似度的倒数为边的权重，构建关键词网络，并根据每个节点的PageRank值获得关键词集合KeywordsSet2中top20的词作为该主题的关键词，构成最终的关键词集合KeyordsSetfinal。优选地，所述分词，即将获取的原始文本分割成词序列以便后续主题聚类和关键词提取，分词的结果作为word2vec的输入时去掉特殊符号；作为LDA的输入时，去掉虚词、无法作为主题关键词的地名以及与主题无关的重复的介词。优选地，基于LDA主题模型对文本语料进行主题聚类，在语言建模中使用perplexity来衡量建模效果好坏，即较低的perplexity表示更好的泛化性能，perplexity计算式如下：其中，P(wi|tj)是词wi在主题tj上的分布，P(tj|d)是主题tj在文档d上的分布，N是语料库中无重复的词总数，K是主题数，i＝1，...，N,j＝1，...，K。优选地，在所述词向量生成过程中，以标题和内容的混合文本的分词结果作为输入获得每个词的词向量表示模型的过程。优选地，所述关键词网络构建过程中，构建步骤具体包括：S1：利用词向量之间的余弦关系，计算在同一主题下与主题聚类步骤中获得的初始关键词语义相似度top5的词，去重并与关键词集合KeywordsSet1形成新的关键词集合KeywordsSet2；S2：计算每个主题下，关键词集合KeywordsSet2中每个词两两之间的相似度，其倒数作为两点之间的权重；S3：设置阈值，过滤相似度低于阈值的边；S4：构建每个主题的关键词网络；S5：主题关键词提取：关键词网络构建完成后，计算每个主题网络中PageRank值从高到低的top20个节点，将其对应的词作为该主题的关键词集合KeywordsSetfinal。本专利技术具有如下有益效果：本专利技术首先基于LDA主题模型对文本语料进行聚类；其次，利用word2vec将文本预料中的每个词表示为一个词向量；然后，获得每个关键词在该主题的文档中相似度top5的词，共同组成新的关键词集合。最后，以关键词为节点，词之间的相似度为边的权重，构建关键词网络，获得网络的核心节点作为该主题的关键词；该方法将主题模型LDA与Wordembedding相结合，利用相似度的网络传播来提取同一主题文本的关键词，不仅可以对文档中词频较高的关键词进行提取，同时可以有效地发现词频较低但是主题关系强的关键词；该方法在考虑词频的基础上根据词向量关系对关键词进行二次发现，将词频不高但语义相近的词纳入关键词的备选集合中，可以合理的扩大关键词的选择范围，使得最终获得的同一主题下的关键词在语义上联系更紧密；该方法引入词向量并基于词向量之间的距离进行网络构建能更准确地找出在同一主题下词义相近的关键词，从而获得更准确的结果。附图说明图1为基于主题词向量和网络结构的主题关键词提取方法流程图；图2为困惑度(perplexity)曲线图；图3为教学类通知的关键词分布图；图4为评优类通知的关键词分布图；图5为图书馆类通知的关键词分布图。具体实施方式下面结合附图和具体实施例对本专利技术的具体实施方式做进一步说明：如本文档来自技高网...

【技术保护点】
一种基于主题词向量和网络结构的主题关键词提取方法，其特征在于，具体包括：对原始的文本语料进行分词；基于LDA主题模型对文本语料进行主题聚类，并获得每个主题中与该主题相关度为top100的关键词集合KeywordsSet1＝{k1，...，k100}；利用word2vec将文本语料中的每个词表示为一个词向量，通过计算词向量之间的余弦值获得每两个词之间的语义相似度；分别计算出与关键词集合KeywordsSet1中的每个关键词在语义上相似度top5的词，关键词集合KeywordsSet1中的词及其在语义上相似度top5的词共同组成新的关键词集合KeywordsSet2；以关键词集合KeywordsSet2中的每个关键词为节点，词与词之间的语义相似度的倒数为边的权重，构建关键词网络，并根据每个节点的PageRank值获得关键词集合KeywordsSet2中top20的词作为该主题的关键词，构成最终的关键词集合KeywordsSetfinal。

【技术特征摘要】
1.一种基于主题词向量和网络结构的主题关键词提取方法，其特征在于，具体包括：对原始的文本语料进行分词；基于LDA主题模型对文本语料进行主题聚类，并获得每个主题中与该主题相关度为top100的关键词集合KeywordsSet1＝{k1，...，k100}；利用word2vec将文本语料中的每个词表示为一个词向量，通过计算词向量之间的余弦值获得每两个词之间的语义相似度；分别计算出与关键词集合KeywordsSet1中的每个关键词在语义上相似度top5的词，关键词集合KeywordsSet1中的词及其在语义上相似度top5的词共同组成新的关键词集合KeywordsSet2；以关键词集合KeywordsSet2中的每个关键词为节点，词与词之间的语义相似度的倒数为边的权重，构建关键词网络，并根据每个节点的PageRank值获得关键词集合KeywordsSet2中top20的词作为该主题的关键词，构成最终的关键词集合KeywordsSetfinal。2.如权利要求1所述的一种基于主题词向量和网络结构的主题关键词提取方法，其特征在于，所述分词，即将获取的原始文本分割成词序列以便后续主题聚类和关键词提取，分词的结果作为word2vec的输入时去掉特殊符号；作为LDA的输入时，去掉虚词、无法作为主题关键词的地名以及与主题无关的重复的介词。3.如权利要求1所述的一种基于主题词向量和网络结构的主题关键词提取方法，其特征在于，基于LDA主题模型对文本语料进行主题聚类，在语言建模中使用perplex...

【专利技术属性】
技术研发人员：胡晓慧，李超，曾庆田，戴明弟，赵中英，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：山东,37