一种关键词提取方法及装置制造方法及图纸

本发明专利技术实施例提供一种关键词提取方法及装置，其中方法包括如下步骤：从待提取文档中提取多个候选词素，基于词素重要度模型计算每个候选词素的重要度；按照预设规则对所述多个候选词素进行排列组合，生成多个候选短串，基于短串完整度模型计算每个候选短串的完整度；按照重要度的排列顺序从所述多个候选词素中选择第一数量的候选词素；按照完整度的排列顺序从所述多个候选短串选择第二数量的候选短串；将所述第一数量的候选词素和所述第二数量的候选短串确定为所述待提取文档的关键词。采用本发明专利技术，提取到待提取文档中重要度较高的词素和完整度较高的短串，提高了提取关键词的准确性。

【技术实现步骤摘要】
一种关键词提取方法及装置
本专利技术涉及数据挖掘领域，尤其涉及一种关键词提取方法及装置。
技术介绍
伴随着计算机技术、通信技术、互联网技术的发展，数据积累的越来越多。面对激增的数据，人们希望能够挖掘出有价值的信息，从而可以更好地利用这些数据为人们服务，其中，关键词的提取成为一个热点问题，能够通过关键词提示或概括文档内容，这样便于一些应用从用户之前阅读的文章中提取关键词，并根据提取的关键词向用户推荐符合用户兴趣爱好的文章，或者广告商可以根据某一网页的关键词投放适合的广告，等等。目前已存在许多关键词提取方法，这些方法的重点是为了获取到出现频率较高的词语，从文档中统计出各个词语的出现频率，将出现频率较高的词语作为该文档的关键词。然而，词语在文档中出现频率的高低并无法决定该词语在文档的重要性，因此，通过这种方法提取的关键词有可能无法准确提示该文档，降低了提取关键词的准确性。
技术实现思路
本专利技术实施例提供一种关键词提取方法及装置，能够提取到待提取文档中重要度较高的词素和完整度较高的短串，提高了提取关键词的准确性。本专利技术实施例第一方面提供了一种关键词提取方法，包括：从待提取文档中提取多个候本文档来自技高网...

【技术保护点】
一种关键词提取方法，其特征在于，包括：从待提取文档中提取多个候选词素，基于词素重要度模型计算每个候选词素的重要度；按照预设规则对所述多个候选词素进行排列组合，生成多个候选短串，基于短串完整度模型计算每个候选短串的完整度；按照重要度的排列顺序从所述多个候选词素中选择第一数量的候选词素；按照完整度的排列顺序从所述多个候选短串选择第二数量的候选短串；将所述第一数量的候选词素和所述第二数量的候选短串确定为所述待提取文档的关键词。

【技术特征摘要】
1.一种关键词提取方法，其特征在于，包括：从待提取文档中提取多个候选词素，基于词素重要度模型计算每个候选词素的重要度；按照预设规则对所述多个候选词素进行排列组合，生成多个候选短串，基于短串完整度模型计算每个候选短串的完整度；按照重要度的排列顺序从所述多个候选词素中选择第一数量的候选词素；按照完整度的排列顺序从所述多个候选短串选择第二数量的候选短串；将所述第一数量的候选词素和所述第二数量的候选短串确定为所述待提取文档的关键词。2.根据权利要求1所述的方法，其特征在于，所述从待提取文档中提取多个候选词素，基于词素重要度模型计算每个候选词素的重要度之前，还包括：去除待提取文档中的停用词；所述从待提取文档中提取多个候选词素，包括：根据预存的词条字典，对去除所述停用词之后的待提取文档进行切词，并提取多个候选词素，所述词条词典中包含多个词素和多个短串。3.根据权利要求1所述的方法，其特征在于，所述词素重要度模型中包含多个特征、所述特征对应的特征值和所述特征对应的权重；所述基于词素重要度模型计算每个候选词素的重要度，包括：获取每个候选词素对应的多个目标特征；在所述词素重要度模型中查找每个目标特征对应的目标特征值和目标权重；根据所述每个目标特征对应的目标特征值和目标权重，计算所述每个候选词素的重要度。4.根据权利要求3所述的方法，其特征在于，所述基于词素重要度模型计算每个候选词素的重要度之前，还包括：基于多个用户的文档搜索日志和文档点击日志，提取所述文档搜索日志和文档点击日志的训练词素；获取所述文档搜索日志和文档点击日志中用于词素重要度模型的训练数据，所述训练数据包括搜索词、共有词素和点击率，所述共有词素表示所述搜索词与根据所述搜索词搜索到的文档中共同存在的词素，所述点击率表示根据所述搜索词搜索到的且包含所述共有词素的文档的展示次数和所述文档被用户点击的次数的比值；获取每个训练词素对应的特征集和所述特征集中每个特征对应的特征值，所述特征集包括固有属性、词素所属的类别和深度语义，所述固有属性包括专有名词类型、逆向文件频率IDF、词性、长度、语言类型、位置中的至少一个；根据所述训练数据中所述每个共有词素的点击率、每个训练词素对应的特征集和所述特征集中每个特征的特征值，训练获得所述每个特征对应的权重。5.根据权利要求4所述的方法，其特征在于，当所述词素的特征为所述词素所属的类别时，所述获取每个训练词素对应的特征集和所述特征集中每个特征对应的特征值，包括：从多个参考文档中提取词素，并确定所述多个参考文档中每个参考文档所属的类别；确定属于目标类别且包含目标词素的参考文档的第一数量，以及确定包含所述目标词素的参考文档的第二数量，所述目标类别为所述多个参考文档所属的全部类别中的任一类别，所述目标词素为所提取的词素中的任一词素；根据所述第一数量和所述第二数量，计算所述目标词素属于所述目标类别的概率；将所述概率确定为所述目标词素属于所述目标类别的特征值。6.根据权利要求4所述的方法，其特征在于，当所述词素的特征为所述深度语义时，所述获取每个训练词素对应的特征集中每个特征对应的特征值，包括：获取每个训练词素的词向量；对所述每个训练词素进行扩展，获得多个扩展词素，获取每个扩展词素的词向量；对所述多个扩展词素进行聚类处理，生成至少一个簇，对每个簇设定一个特征值，其中，每个簇包含至少一个扩展词素；计算所述每个训练词素与所述每个簇的欧氏距离，将所述欧式距离确定为所述每个训练词素的深度语义特征的特征值。7.根据权利要求1所述的方法，其特征在于，所述按照预设规则对所述多个候选词素进行排列组合，包括：获取词素组合的最大组合数，所述最大组合数为大于1的正整数；将各个候选词素组合为小于或等于所述最大组合数的候选短串。8.根据权利要求1所述的方法，其特征在于，所述短串完整度模型中包含多个短串、所述短串的转移概率和所述短串的相似性替换概率，所述转移概率表示所述短串转移为与所述短串不同的第一短串的概率，所述相似性替换概率表示所述短串替换为与所述短串具有共同词素的第二短串的概率；所述基于短串完整度模型计算每个候选短串的完整度，包括：从所述短串完整度模型中获取每个候选短串的目标转移概率和目标相似性替换概率；根据所述每个候选短串的目标转移概率和目标相似性替换概率，计算所述每个候选短串的完整度。9.根据权利2所述的方法，其特征在于，还包括：对第一时间段内的文档进行分析，查找所述第一时间段内的文档中存在的新短串；将所述新短串增加至词条字典中。10.根据权利9所述的方法，其特征在于，所述对第一时间段内的文档进行分析，查找所述第一时间段内的文档中存在的新短串，包括：获取第一时间段内词频高于预设值的多个第一候选短串和每个第一候选短串对应的词频；获取第二时间段内词频高于所述预设值的多个第二候选短串和每个第二候选短串对应的词频，所述第二时间段早于所述第一时间段；判断所述多个第二候选短串中是否存在目标候选短串，所述目标候选短串为所述第一候选短串中的任一短串；若存在，则计算所述目标候选短串在所述第一时间段和所述第二时间段的词频增量，将词频增量超过第一预设值的目标候选短串确定为新短串；若不存在，则将词频超过第二预设值的目标候选短串确定为新短串。11.根据权利要求10所述的方法，其特征在于，所述获取第一时间段内词频高于预设值的多个第一候选短串和每个第一候选短串对应的词频，包括：根据当前的词条字典，对第一时间段内的文档进行切词，获取完整度大于预设完整度的多个短串，并计算各个短串的词频；在所述文档中获取每个短串的前向短串和后向短串，并计算所述每个短串的词频、每个前向短串的词频、每个后向短串的词频，所述前向短串是对所述每个短串前向增加至少一个词素组成的，所述后向短串是对所述每个短串后向增加至少一个词素组成的；将词频大于预设词频的短串确定为所述第一时间段内的第一候选短串。12.一种关键词提取装置，其特征在于，包括：词素提取模块，用于从待提取文档中提取多个候选词素；第一计算模块，用于基于词素重要度模型计算每个候选词素的重要度；短串生成模块，用...

【专利技术属性】
技术研发人员：张博，林乐宇，夏锋，陈磊，刘毅，冯喆，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44