基于链接相似度的同义词提取方法及系统技术方案

本发明专利技术公开了一种基于链接相似度的同义词提取方法及系统，方法包括以下步骤：步骤1，将词典根据单词的词性转化为图结构；步骤2，给定单词节点v作为请求，使用基于热扩散的非对称随机游走模型CoSimHeat来计算节点v和其余单词节点的相似度；步骤3，使用Krylov子空间降维技术来加速单源CoSimHeat的计算；步骤4，获取词性相同且相似度排名最高的前k个单词，从而得到单词v的同义词。本发明专利技术提供了一种基于链接相似度的同义词提取方法，与传统方法相比，无需语料库，准确率高且计算速度快。准确率高且计算速度快。准确率高且计算速度快。

【技术实现步骤摘要】
基于链接相似度的同义词提取方法及系统


[0001]本专利技术涉及同义词提取技术，特别是一种基于链接相似度的同义词提取方法及系统。

技术介绍

[0002]自然语言处理作为目前最热门的研究之一，许多应用都需要词汇语义相似度的度量，比如机器翻译、问答系统以及搜索系统等。以淘宝搜索为例，搜索商品关键词“笔记本”，系统能够联想到“笔记本文具”、“笔记本电脑”、“轻薄本”、“游戏本”等多种商品关键词。高效且准确地提取同义词是此类应用最基础且最重要的功能。
[0003]同义词提取方法大致可以分为两类，一种研究领域是基于分布相似性假设，直接从免费的语料库中得出语义相似性度量，在这个领域中，单词向量的方法有着非常优越的性能。另一种是基于图结构的链接相似度模型，通过计算基础图上节点之间的相似度来评估单词之间的相似性，基础图中节点表示单词，边用来表示单词之间的语义联系。
[0004]目前存在许多基于链接相似度的模型，其中在语义提取上应用较为广泛的是CoSimRank模型，该模型的核心思想是“如果两个节点被相似的节点引用，那么这两个节点也相似”。其公式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于链接相似度的同义词提取方法，其特征在于，包括以下步骤：步骤1，将词典根据单词的词性转化为图结构，其中，词典中单词作为图节点，单词具有多种词性，单词之间的联系作为图的边，边上附有权重；步骤2，给定单词节点v作为请求，使用基于热扩散的非对称随机游走模型CoSimHeat来计算节点v和其余单词节点的相似度；步骤3，使用Krylov子空间降维技术来加速单源CoSimHeat的计算；步骤4，获取词性相同且相似度排名最高的前k个单词，从而得到单词v的同义词。2.根据权利要求1所述的基于链接相似度的同义词提取方法，其特征在于，步骤2具体包括如下步骤：步骤201，输入一个请求单词，在词典中查找该单词，存在则返回单词节点序号v，否则返回无对应单词；步骤202，使用非对称的随机游走CoSimHeat来计算图中的节点相似度，CoSimHeat模型的主要计算方式如下所示：的主要计算方式如下所示：其中，S表示相似度矩阵，λ(0,1)表示衰败因子，A表示概率转移矩阵，I表示单位矩阵，d
+
表示出度向量，θ表示平衡系数，m表示边数，n表示节点数；步骤203，利用步骤201中得到节点序号构造单位向量e
v
＝[0,0,...1,0,...0]
T
，其中下标第v位为1，其余位均为0；步骤202中的CoSimHeat模型可以进一步计算单源相似度，具体公式如下：这样可计算出给定单词节点v和其余节点之间的相似度。3.根据权利要求2所述的基于链接相似度的同义词提取方法，其特征在于，步骤3具体包括如下步骤：步骤301，对概率转移矩阵W使用Krylov子空间技术进行降维，对任意一个概率转移矩阵W和一个单位向量q，一个α维的Krylov子空间可定义为：其中，span{
·
}表示全体在{
·
}中向量张成的子空间，即这些向量的所有线性组合的全体；步骤302，通过Arnoldi算法，将概率转移矩阵W投影到Krylov子空间上；Arnoldi算法就是计算Krylov子空间的一组正交基的过程，能把矩阵W分解成一组正交向量组成的矩阵V和一个上三角矩阵H，分解后的矩阵满足如下关系式：WV
α
＝V
α+1...

【专利技术属性】
技术研发人员：杨建，俞唯仁，袁龙，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：