一种基于相邻词汇特征的词义相似度计算方法及装置制造方法及图纸

本发明专利技术提供一种基于相邻词汇特征的词义相似度计算方法，涉及自然语言处理领域。首先在例词提取模块将例句与待匹配句运用最长公共子串算法提取例词。其次在例句处理模块对例句进行除例词之外的词汇分词，并对例词进行词性标注。然后在特征提取模块先对例句中例词周围的词进行特征提取，将周围的词与例词、选项词之间通过语料库进行关联度计算，计算后的结果通过加权处理结合各自的特征形成例词和选项词的特征。最后在选项处理模块将选项与例词进行词性对比，再结合选项词的特征计算相似度分数从而选出最优选项词。本发明专利技术通过提取周围词汇的特征及关联度计算来确定当前词汇的特征；使用语料库计算两个词汇的互信息量来达到计算两个词汇的关联度。计算两个词汇的关联度。计算两个词汇的关联度。

【技术实现步骤摘要】
一种基于相邻词汇特征的词义相似度计算方法及装置


[0001]本专利技术涉及一种基于相邻词汇特征的词义相似度计算方法及装置，具体是词汇的语义相似度计算方法，属于自然语言处理领域。

技术介绍

[0002]词汇的语义相似度在自然语言处理领域有着不可替代的意义和作用。然而词汇之间的语义关系是非常复杂的，使用一个简单的数值很难来度量词汇之间含义的相似程度。同样的一对词语，在一方面看可能非常相似，但是换个角度就可能相差甚远。词义相似度计算在很多领域中都有广泛的应用，例如信息检索、信息抽取、文本分类、词义排歧、基于实例的机器翻译等等。目前常见的词义相似度计算方法有两种，一种是基于同义词词典计算词义相似度，所有词组织在一棵或几棵树结构中，两个节点的路径长度即可作为语义距离；一种是基于大规模语料统计计算词义相似度，其思想是统计大规模语料，利用词汇上下文信息的概率分布进行词语之间的语义相似度计算。第一种方法在计算词义相似度时完全依赖于语义词典，计算结果对语义词典的收词质量和完备情况很敏感；第二种方法则需要大规模的语料来进行统计，语料规模过小可能会导致计算结果不够精确。本专利技术在基于语料统计的基础上引入了词性判别进行词义相似度计算，因此即使语料库规模不够大也能获得精确的结果。

技术实现思路

[0003]为了弥补现有词义相似度计算不足的问题，本专利技术的目的在于提供一种基于相邻词汇的特征向量取代待匹配词汇特征向量从而计算词义相似度的方法。
[0004]本专利技术实施的技术方案是：一种基于相邻词汇特征的词汇匹配算法，核心是用例词周围分词的特征加权来取代例词与选项词的特征，再经过计算得到例词与选项词之间的相似度分数，从而选出最优选项词。所述方法的具体步骤如下：
[0005]Step1将例句与待匹配句通过最大公共字串算法来提取例词
[0006]采用最大公共子串算法获得例句与待匹配句中的公共子串数组，将公共子串数组所在的例句中的公共子串去除颜色标签，剩余带颜色标签的字符即为例词；所述例句与待匹配句长度一致，且除了标记与例词外，其余词汇、标点符号一模一样。
[0007]Step1.1获取例句text1与待匹配句text2，text1＝{a1,a2,...,a
n
}，a1,a2,...,a
n
分别表示text1中的n个字符，text2＝{b1,b2,...,[mask],...,b
n
}，b1,b2,...,b
n
分别表示text2中的n个字符；
[0008]Step1.2对例句text1和待匹配句text2进行例词识别；
[0009]令A＝text1，B＝text2，并给text1打上颜色标签；采用动态规划方法求解A和B中的最大公共子串，具体方法如下：
[0010]定义状态转移方程为：
[0011][0012]根据上式可以求得A和B的最大公共子串长度为max(c[i,j])，i,j∈{1,...,n}。得到最大公共子串长度后，标记最大公共子串的初始位置即可获得整个最大公共子串。将求解到的A和B的最大公共子串存放入数组L中，L＝{l1,...,l
p
}，p≤n；根据最大公共子串数组L去掉text1中公共子串的颜色标签，剩余带颜色标签的字符即为例词c
f
。
[0013]Step2对例句中除了例词之外的字符进行分词，对例词进行词性标注
[0014]采用HMM模型对除带颜色标签的例词之外的字符进行分词处理，采用Viterbi算法对带颜色标签的例词进行词性标注；
[0015]将text1中除了例词c
f
的字符使用HMM模型进行分词处理，得到分词后的文本C＝{c1,...,c
f
,...,c
t
}，t≤n
‑
1，再采用Viterbi算法对例词c
f
进行词性标注得到其词性Z
f
。
[0016]中文词性对照表如下：
[0017][0018][0019]Step3根据分词后的例句提取例词和选项词的特征向量
[0020]先将带颜色标记的例词周围的分词转化为词向量进行特征提取，其次在语料库中使用互信息量分别计算例词和选项词与周围分词的关联度，之后使用关联度进行加权将周围分词的词向量组成新的向量作为例词与选项词的特征向量；
[0021]Step3.1运用word2vec模型得到除例词c
f
之外其它分词的词向量矩阵E＝[e1,...,e
i
,...,e
t
]，词向量矩阵E是一个d
×
t的矩阵，其中d为每个分词特征向量e
i
，i∈{1,...,t}的特征维度。
[0022]Step3.2在语料库中通过下式计算例词c
f
和选项词o
j
，j∈{1,...,4}与例词c
f
之外其它分词的关联度：
[0023][0024]其中g为例词c
f
和选项词o
j
，c
t
为除例词c
f
之外其它分词，P(g,c
t
)为语料库中g，c
t
同时出现的概率，P(g)，P(c
t
)为g，c
t
独立出现的概率，I(g；c
p
)为g，c
t
的互信息量；
[0025]Step3.3在计算完例词c
f
，选项词o
j
与其他分词的关联度后，根据关联度计算每个分词词向量e
i
对于例词c
f
，选项词o
j
词向量的权重w
(g,i)
[0026][0027]Step3.4将每个分词词向量e
i
乘上它对应的权重w
(g,i)
即为例词c
f
，选项词o
j
从该分词中提取的特征向量E
g
，E
g
包括例词c
f
的特征向量E
f
以及选项词o
j
的特征向量E
oj
；
[0028][0029]Step4计算选项与例词之间的相似度分数，从而得出最优选项词
[0030]将结合例词的词性与特征向量、选项词的词性与特征向量计算选项词的相似度分数，相似度分数最高的即为最优选项词。
[0031]Step4.1比较例词词性Z
f
与每个选项词的词性Z
oj
，令s
c
为词性比较结果，可以得到：
[0032][0033]Step4.2计算例词c
f
与每个选项词o
j
的相似度分数s
j
：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相邻词汇特征的词义相似度计算方法，其特征在于，包括如下步骤：Step1：将例句与待匹配句通过最大公共字串算法来提取例词采用最大公共子串算法获得例句与待匹配句中的公共子串数组，将公共子串数组所在的例句中的公共子串去除颜色标签，剩余带颜色标签的字符即为例词；Step2：对例句中除了例词之外的字符进行分词，对例词进行词性标注采用HMM模型对除带颜色标签的例词之外的字符进行分词处理，采用Viterbi算法对带颜色标签的例词进行词性标注；Step3：根据分词后的例句提取例词和选项词的特征向量先将带颜色标记的例词周围的分词转化为词向量进行特征提取，其次在语料库中使用互信息量分别计算例词和选项词与周围分词的关联度，之后使用关联度进行加权将周围分词的词向量组成新的向量作为例词与选项词的特征向量；Step4：计算选项与例词之间的相似度分数，从而得出最优选项词将结合例词的词性与特征向量、选项词的词性与特征向量计算选项词的相似度分数，相似度分数最高的即为最优选项词。2.如权利要求1所述的一种基于相邻词汇特征的词义相似度计算方法，其特征在于，所述例句与待匹配句长度一致，且除了标记与例词外，其余词汇、标点符号一模一样。3.如权利要求1所述的一种基于相邻词汇特征的词义相似度计算方法，其特征在于，所述Step1具体步骤如下：Step1.1：获取例句text1与待匹配句text2，text1＝{a1,a2,...,a
n
}，a1,a2,...,a
n
分别表示text1中的n个字符，text2＝{b1,b2,...,[mask],...,b
n
}，b1,b2,...,b
n
分别表示text2中的n个字符；Step1.2：对例句text1和待匹配句text2进行例词识别；令A＝text1，B＝text2，并给text1打上颜色标签；采用动态规划方法求解A和B中的最大公共子串，将求解到的A和B的最大公共子串存放入数组L中，L＝{l1,...,l
p
}，p≤n；根据最大公共子串数组L去掉text1中公共子串的颜色标签，剩余带颜色标签的字符即为例词c
f
。4.如权利要求1所述的一种基于相邻词汇特征的词义相似度计算方法，其特征在于，所述Step2具体步骤如下：将text1中除了例词c
f
的字符使用HMM模型进行分词处理，得到分词后的文本C＝{c1,...,c
f
,...,c
t
}，t≤n
‑
1，再采用Viterbi算法对例词c
f
进行词性标注得到其词性Z
f
。5.如权利要求1所述的一种基于相邻词汇特征的词义相似度计算方法，其特征在于，所述Step3具体步骤如下：Step3.1：运用word2vec模型得到除例词c
f
之外其它分词的词向量矩阵E＝[e1,...,e

【专利技术属性】
技术研发人员：邵玉斌，祁雨婷，龙华，杜庆治，张凤，杨荣泰，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：