文档主题词提取方法及装置制造方法及图纸

本发明专利技术公开了一种文档主题词提取方法及装置。所述方法包括：对目标文档进行分词处理，其中，所述目标文档为文档库中的任一文档；针对同一分词，根据该分词在所述目标文档中每次出现时的分词属性，获取与所述分词属性相对应的权值，并根据所述权值，确定该分词在所述目标文档中的词频权重；基于所述文档库，确定所述分词的逆向文档频率；基于所述词频权重和所述逆向文档频率，提取预定数量的分词作为所述目标文档的主题词。由此使得所提取出的主题词具有更高的准确性和可靠性，能够更客观地表示该文档的中心思想，从而能够为后续的文档分类、文档推荐等提供准确、可靠的数据支持，使得文档分类结果更为准确、文档推荐结果更符合用户需求等等。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，具体地，涉及一种文档主题词提取方法及装置。
技术介绍
主题词是一篇文章所表达的中心思想，主题信息挖掘是有效解决文档空间向量高维稀疏性，提高文本分类质量的重要手段，同时也在信息推荐中起到了重要的作用。评估一个词汇对于一个文档库中的其中一份文档的重要程度的算法常用的是TF(TermFrequency，词频)-IDF(InverseDocumentFrequency，逆向文档频率)算法。
技术实现思路
本专利技术的目的是提供一种文档主题词提取方法及装置，以使得提取出的主题词更为准确。为了实现上述目的，根据本专利技术的第一方面，提供一种文档主题词提取方法，所述方法包括：对目标文档进行分词处理，其中，所述目标文档为文档库中的任一文档；针对同一分词，根据该分词在所述目标文档中每次出现时的分词属性，获取与所述分词属性相对应的权值，并根据所述权值，确定该分词在所述目标文档中的词频权重；基于所述文档库，确定所述分词的逆向文档频率；基于所述词频权重和所述逆向文档频率，提取预定数量的分词作为所述目标文档的主题词。在第一方面的一些可选的实施方式中，所述获取与所述分词属性相对应的权值，包括：判断所述分词属性是否满足多个预设条件中的至少一个预设条件；在所述分词属性不满足任一预设条件时，获取预设的基准权值作为与所述分词属性相对应的权值。在第一方面的一些可选的实施方式中，所述获取与所述分词属性相对应的权值，还包括：在所述分词属性满足至少一个预设条件时，获取所述分词属性所满足的各个预设条件所对应的权值，并将获取到的各个预设条件所对应的权值的乘积作为与所述分词属性相对应的权值。在第一方面的一些可选的实施方式中，所述分词属性包括分词位置、字体样式、字体号和分词内容；以及，所述多个预设条件包括：分词位置位于段首；分词位置位于标题；分词的字体样式为粗体；分词的字体样式为斜体；分词的字体号大于常规字体号；分词的字体号小于常规字体号；分词内容与预设的干扰词内容相匹配。在第一方面的一些可选的实施方式中，所述分词位置位于段首这一预设条件所对应的权值、所述分词位置位于标题这一预设条件所对应的权值、所述分词的字体样式为粗体这一预设条件所对应的权值、所述分词的字体样式为斜体这一预设条件所对应的权值、以及所述分词的字体号大于常规字体号这一预设条件所对应的权值大于所述基准权值；以及所述分词的字体号小于常规字体号这一预设条件所对应的权值、所述分词内容与预设的干扰词内容相匹配这一预设条件所对应的权值小于所述基准权值。在第一方面的一些可选的实施方式中，通过以下方式来确定该分词在所述目标文档中的词频权重：TFW=Σn=1NWnI]]>其中，TFW表示分词的词频权重；Wn表示该分词在所述目标文档中第n次出现时的分词属性所对应的权值；N表示该分词在所述目标文档中的总出现次数；I表示所述目标文档中的分词总数。在第一方面的一些可选的实施方式中，所述基于所述词频权重和所述逆向文档频率，提取预定数量的分词作为所述目标文档的主题词，包括：计算所述分词的词频权重与逆向文档频率的乘积；按照所述词频权重与所述逆向文档频率的乘积从大到小的顺序，提取预定数量的分词作为所述目标文档的主题词。根据本专利技术的第二方面，提供一种文档主题词提取装置，所述装置包括：分词处理模块，被配置为对目标文档进行分词处理，其中，所述目标文档为文档库中的任一文档；权值获取模块，被配置为针对同一分词，根据该分词在所述目标文档中每次出现时的分词属性，获取与所述分词属性相对应的权值；词频权重确定模块，被配置为根据所述权值，确定该分词在所述目标文档中的词频权重；逆向文档频率确定模块，被配置为基于所述文档库，确定所述分词的逆向文档频率；主题词提取模块，被配置为基于所述词频权重和所述逆向文档频率，提取预定数量的分词作为所述目标文档的主题词。在第二方面的一些可选的实施方式中，所述权值获取模块包括：判断子模块，被配置为判断所述分词属性是否满足多个预设条件中的至少一个预设条件；第一权值获取子模块，被配置为在所述分词属性不满足任一预设条件时，获取预设的基准权值作为与所述分词属性相对应的权值。在第二方面的一些可选的实施方式中，所述权值获取模块还包括：第二权值获取子模块，被配置为在所述分词属性满足至少一个预设条件时，获取所述分词属性所满足的各个预设条件所对应的权值，并将获取到的各个预设条件所对应的权值的乘积作为与所述分词属性相对应的权值。在第二方面的一些可选的实施方式中，所述分词属性包括分词位置、字体样式、字体号和分词内容；以及，所述多个预设条件包括：分词位置位于段首；分词位置位于标题；分词的字体样式为粗体；分词的字体样式为斜体；分词的字体号大于常规字体号；分词的字体号小于常规字体号；分词内容与预设的干扰词内容相匹配。在第二方面的一些可选的实施方式中，所述分词位置位于段首这一预设条件所对应的权值、所述分词位置位于标题这一预设条件所对应的权值、所述分词的字体样式为粗体这一预设条件所对应的权值、所述分词的字体样式为斜体这一预设条件所对应的权值、以及所述分词的字体号大于常规字体号这一预设条件所对应的权值大于所述基准权值；以及所述分词的字体号小于常规字体号这一预设条件所对应的权值、所述分词内容与预设的干扰词内容相匹配这一预设条件所对应的权值小于所述基准权值。在第二方面的一些可选的实施方式中，所述词频权重确定模块被配置为通过以下方式来确定该分词在所述目标文档中的词频权重：TFW=Σn=1NWnI]]>其中，TFW表示分词的词频权重；Wn表示该分词在所述目标文档中第n次出现时的分词属性所对应的权值；N表示该分词在所述目标文档中的总出现次数；I表示所述目标文档中的分词总数。在第二方面的一些可选的实施方式中，所述主题词提取模块包括：计算子模块，被配置为计算所述分词的词频权重与逆向文档频率的乘积；主题词提取子模块，被配置为按照所述词频权重与所述逆向文档频率的乘积从大到小的顺序，提取预定数量的分词作为所述目标文档的主题词。在上述技术方案中，考虑了分词在文档中每次出现时的分词属性(例如，分词位置、字体样式等等)，并基于与分词属性相对应的权值来确定该分词在文档中的词频权重，由此使得所提取出的主题词具有更高的准确性和可靠性，能够更客观地表示该文档的中心思想，从而能够为后续的文档分类、文档推荐等提本文档来自技高网...

【技术保护点】
一种文档主题词提取方法，其特征在于，所述方法包括：对目标文档进行分词处理，其中，所述目标文档为文档库中的任一文档；针对同一分词，根据该分词在所述目标文档中每次出现时的分词属性，获取与所述分词属性相对应的权值，并根据所述权值，确定该分词在所述目标文档中的词频权重；基于所述文档库，确定所述分词的逆向文档频率；基于所述词频权重和所述逆向文档频率，提取预定数量的分词作为所述目标文档的主题词。

【技术特征摘要】
1.一种文档主题词提取方法，其特征在于，所述方法包括：
对目标文档进行分词处理，其中，所述目标文档为文档库中的任一文档；
针对同一分词，根据该分词在所述目标文档中每次出现时的分词属性，
获取与所述分词属性相对应的权值，并根据所述权值，确定该分词在所述目
标文档中的词频权重；
基于所述文档库，确定所述分词的逆向文档频率；
基于所述词频权重和所述逆向文档频率，提取预定数量的分词作为所述
目标文档的主题词。
2.根据权利要求1所述的方法，其特征在于，所述获取与所述分词属
性相对应的权值，包括：
判断所述分词属性是否满足多个预设条件中的至少一个预设条件；
在所述分词属性不满足任一预设条件时，获取预设的基准权值作为与所
述分词属性相对应的权值。
3.根据权利要求2所述的方法，其特征在于，所述获取与所述分词属
性相对应的权值，还包括：
在所述分词属性满足至少一个预设条件时，获取所述分词属性所满足的
各个预设条件所对应的权值，并将获取到的各个预设条件所对应的权值的乘
积作为与所述分词属性相对应的权值。
4.根据权利要求2或3所述的方法，其特征在于，所述分词属性包括
分词位置、字体样式、字体号和分词内容；以及，所述多个预设条件包括：
分词位置位于段首；分词位置位于标题；分词的字体样式为粗体；分词的字
体样式为斜体；分词的字体号大于常规字体号；分词的字体号小于常规字体

\t号；分词内容与预设的干扰词内容相匹配。
5.根据权利要求4所述的方法，其特征在于，所述分词位置位于段首
这一预设条件所对应的权值、所述分词位置位于标题这一预设条件所对应的
权值、所述分词的字体样式为粗体这一预设条件所对应的权值、所述分词的
字体样式为斜体这一预设条件所对应的权值、以及所述分词的字体号大于常
规字体号这一预设条件所对应的权值大于所述基准权值；以及
所述分词的字体号小于常规字体号这一预设条件所对应的权值、所述分
词内容与预设的干扰词内容相匹配这一预设条件所对应的权值小于所述基
准权值。
6.根据权利要求1所述的方法，其特征在于，通过以下方式来确定该
分词在所述目标文档中的词频权重：
TFW=Σn=1NWnI]]>其中，TFW表示分词的词频权重；Wn表示该分词在所述目标文档中第n
次出现时的分词属性所对应的权值；N表示该分词在所述目标文档中的总出
现次数；I表示所述目标文档中的分词总数。
7.根据权利要求1所述的方法，其特征在于，所述基于所述词频权重
和所述逆向文档频率，提取预定数量的分词作为所述目标文档的主题词，包
括：
计算所述分词的词频权重与逆向文档频率的乘积；
按照所述词频权重与所述逆向文档频率的乘积从大到小的顺序，提取预
定数量的分词作为所述目标文档的主题词。
8.一种文档主题词提取装置，其特征在于，所述装置包括：
分词处理模块，被配置为对目标文档进行...

【专利技术属性】
技术研发人员：赵博，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁;21