一种挖掘词汇的方法及装置制造方法及图纸

本发明专利技术公开一种挖掘词汇的方法及装置，涉及互联网技术领域，可以提高挖掘词汇的准确性，并确定挖掘的词汇的领域属性。本发明专利技术通过确定语料集中候选词以及候选词的特征值；根据所述候选词、所述候选词的特征值以及分类器，对所述候选词分类，并确定所述候选词中的目标词汇；根据所述目标词汇的特征值，确定所述目标词汇的领域分数；根据所述领域分数确定所述目标词汇的领域。本发明专利技术提供的实施例适于发现新词汇时采用。

【技术实现步骤摘要】

本专利技术涉及互联网
，尤其涉及一种挖掘词汇的方法及装置。
技术介绍
目前，词汇的挖掘主要是新词识别，即挖掘出词典中未出现的新词。在进行新词挖掘时，通常将初始文档经过文本预处理获得候选新词表1，然后对候选新词表进行分词，按照词性去除不能构词的词语，再采用原子词汇构词法对文中的候选词串进行统计，形成候选新词表2 ;根据领域特点对候选新词表2进行过滤；利用频率相减法对包含有相同内容的重复子串进行筛选；根据领域词汇库的热点词根来筛选掉部分垃圾词串，生成新词表，再通过排序算法计算所发现的每个新词的序值对结果进行排序。然而，采用现有技术挖掘词汇吋，获得新词词汇的准确率较低，并且没有对词汇进行分领域，不能确定词汇的领域属性。
技术实现思路
本专利技术的实施例提供一种挖掘词汇的方法及装置，可以提高挖掘词汇的准确性，并确定挖掘的词汇的领域属性。第一方面，本专利技术提供一种挖掘词汇的方法，包括:确定第一语料集中第一候选词的特征值；根据所述第一候选词的特征值，确定分类器；确定第二语料集中第二候选词以及第ニ候选词的特征值；根据所述第二候选词、所述第二候选词的特征值以及所述分类器，对所述第二候选词分类，本文档来自技高网...

【技术保护点】
一种挖掘词汇的方法，其特征在于，包括：确定第一语料集中第一候选词的特征值；根据所述第一候选词的特征值，确定分类器；确定第二语料集中第二候选词以及第二候选词的特征值；根据所述第二候选词、所述第二候选词的特征值以及所述分类器，对所述第二候选词分类，并确定所述第二候选词中的目标词汇；根据所述目标词汇的特征值，确定所述目标词汇的领域分数；根据所述领域分数确定所述目标词汇的领域。

【技术特征摘要】
1.种挖掘词汇的方法，其特征在于，包括: 确定第一语料集中第一候选词的特征值； 根据所述第一候选词的特征值，确定分类器； 确定第二语料集中第二候选词以及第ニ候选词的特征值； 根据所述第二候选词、所述第二候选词的特征值以及所述分类器，对所述第二候选词分类，并确定所述第二候选词中的目标词汇； 根据所述目标词汇的特征值，确定所述目标词汇的领域分数； 根据所述领域分数确定所述目标词汇的领域。2.据权利要求1所述的挖掘词汇的方法，其特征在于，所述第一候选词的特征值包括所述第一候选词的重复度、所述第一候选词的内聚度、所述第一候选词的自由度以及所述第一候选词的规则特征值； 所述确定第一语料集中第一候选词的特征值包括: 计算所述第一候选词的词频或者文档频度，确定所述第一候选词的所述词频或者所述文档频度为所述第一候选词的重复度； 计算所述第一候选词的互信息或者卡方检验或者色子矩阵，确定所述第一候选词的所述信息或者所述卡方检验或者所述色子矩阵为所述第一候选词的内聚度； 计算所述第一候选词的左右熵，确定所述第一候选词的所述左右熵为所述第一候选词的自由度； 将发现规则转换为发现特征，以及将过滤规则转换为过滤特征，分别计算所述第一候选词的发现特征值和过滤特征值。3.据权利要求2所述的挖掘词汇的方法，其特征在于，所述计算所述第一候选词的左右熵包括: 根据预设规则计算所述第一候选词的左右熵；所述预设规则为当所述第一候选词的左侧或者右侧出现临界点时，确定所述临界点为ー个単独的字符。4.据权利要求2所述的挖掘词汇的方法，其特征在于，所述将发现规则转换为发现特征包括:将发现出的候选词和未发现出的候选词标记为不同的发现特征值； 所述将过滤规则转换为过滤特征包括:将过滤出的候选词和未过滤的候选词标记为不同的过滤特征值。5.据权利要求3或4所述的挖掘词汇的方法，其特征在于，所述根据所述第一候选词的特征值，确定分类器包括: 根据所述第一候选词的重复度过滤第一候选词，获得第三候选词； 根据所述第一候选词的内聚度、所述第一候选词的自由度以及所述第一候选词的所述发现特征值和所述过滤特征值，以及所述第三候选词，训练分类器。6.据权利要求5所述的挖掘词汇的方法，其特征在于，所述根据所述第二候选词、所述第二候选词的特征值以及所述分类器，对所述第二候选词分类，并确定所述第二候选词中的目标词汇包括: 对所述第二候选词、所述第二候选词的特征值应用所述分类器，将所述第二候选词的分类为词汇和垃圾串； 将所述垃圾串删除；确定所述词汇为所述第二候选词中的目标词汇。7.据权利要求1或6所述的挖掘词汇的方法，其特征在于，所述根据所述目标词汇的特征值，确定所述目标词汇的领域分数包括: 根据所述目标词汇的特征值，确定所述目标词汇的词汇分数； 根据所述目标词汇的词汇分数，确定所述目标词汇的领域分数。8.据权利要求7所述的挖掘词汇的方法，其特征在于，所述根据所述目标词汇的特征值，确定所述目标词汇的词汇分数包括: 根据S(w,D) = R(w,D)*I (w,D)*F(w,D)确定所述目标词汇的词汇分数,其中，所述S (w,D)表示所述第二语料集所属领域D的目标词汇w的词汇分数，所述R(w，D)表示所述第二语料集所属领域D的目标词汇w的重复度，所述I (w，D)表示所述第二语料集所属领域D的目标词汇w的内聚度，所述F(w，D)表示所述第二语料集所属领域D的目标词汇w的自由度。9.据权利要求8所述的挖掘词汇的方法，其特征在于，在所述根据所述目标词汇的特征值，确定所述目标词汇的领域分数之后，还包括:根据10.据权利要求9所述的挖掘词汇的方法，其特征在于，所述根据所述目标词汇的词汇分数，确定所述目标词汇的领域分数包括: 根据11.据权利要求1或10所述的挖掘词汇的方法，其特征在于，所述根据所述领域分数确定所述目标词汇的领域包括: 根据所述领域分数确定所述目标词汇的领域为公共词汇或者领域词汇； 将所述公共词汇保存到公共词典中；...

【专利技术属性】
技术研发人员：关涛，李金奎，毛帆，马建春，
申请(专利权)人：盘古文化传播有限公司，
类型：发明
国别省市：