【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
随着计算机和互联网的出现，世界已经经历了前所未有的信息爆炸。印刷品过去主导表示媒介的日子已经一去不复返了。互联网已经改变了人们消费数据的方式。找到现今所印刷的几乎所有其他文档的数字版本是非常常见的。这样大量的数字化虽然在许多方面极为有益，但是也有其自身的限制。总是存在找到正确的信息或数据的这一迫切问题。因此，文档搜索仍然是最具挑战性的研究领域之一。关键字或关键字提供一种用于表征文本文档的有价值的机制。关键字提供一种在文档或文档全集(corpus)中搜索信息的有意义的方式。在传统上，关键字由作者、图书管理员、专业的索引编制员和编目员人工地指定。然而，随着每天成千上万的文档得到数字化，人工指定不再可能。基于计算机的自动关键字提取是这一问题的自然结果。在过去的几年里已经提出了许多种关键字提取方法。在一些方法中，所述问题被制定为有监督的分类问题，并且基于加标记的训练数据集对分类器进行训练。在一些其他方法中，关键字提取被制定为排序问题，并且根据一些度量对候选字进行排序。然而，现有方法具有其自身的限制。举例来说，现有方法没有明确地考虑候选关键字与文档之间的语义关系。此外，所提取的关键字受限于文档内容。附图说明为了更好地理解本专利技术，现在将纯粹通过示例的方式参照附图来描述实施例，其中图1示出根据一个实施例的计算机实施的关键字提取的方法的流程图。图2示出根据一个实施例的图1的方法的一个子例程的流程图。图3示出根据一个实施例的图1的方法的另一子例程的流程图。图4示出可以在其上实施一个实施例的计算机系统400的框图。具体实施例方式在包括附图在内的整个本文档中，下面的术...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种计算机实施的提取关键字的方法，包括 获得文档全集； 确定作为关键字出现在存在于所述文档全集中的文档中的第一字集合； 确定出现在所述文档全集中但是不一定作为关键字出现在所述文档中的第二字集合；以及 通过组合第一字集合与第二字集合来确定所述文档的最终关键字集合。2.根据权利要求1所述的方法，其中，确定作为关键字出现在文档中的第一字集合的所述步骤包括 学习关于所述文档全集的统计话题模型； 关于所述文档，根据所述统计话题模型来推断话题关于所述文档的多项式分布，以确定所述文档的主要话题； 确定话题关于所述文档中的字的后验分布以将话题指派给所述文档中的字，从而产生以三元组的形式的加标记的字的集合； 通过利用名词短语分块方法从所述文档中提取名词短语； 根据利用所述主要话题进行标记的字的出现率，对所述名词短语进行评分； 按照降序对所述名词短语进行排序；以及 将具有最高得分的靠前名词短语输出为作为所述文档的关键字出现的第一字集合。3.根据权利要求2所述的方法，在所述学习步骤之前还包括预处理步骤，所述预处理步骤包括 去除无用字； 字干处理；以及 将所述文档全集变换成字与文档的矩阵。4.根据权利要求2所述的方法，其中，所述统计话题模型由字关于话题的多项式分布集合来表示，并且可选地由话题关于所述文档全集的多项式分布集合来表示。5.根据权利要求2所述的方法，其中，通过概率潜在语义分析(PLSA)或潜在狄利克雷分配(LDA )统计话题建模方法来学习所述统计话题模型。6.根据权利要求2所述的方法，其中，确定所述文档的主要话题包括选择具有最大概率的话题。7.根据权利要求2所述的方法，其中，以三元组的形式的所述加标记的字的集合被表示为〈字，话题，概率>...
【专利技术属性】
技术研发人员：杨胜文，熊宇红，刘伟，
申请(专利权)人：惠普发展公司，有限责任合伙企业，
类型：
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。