基于联想网络的语义相关性计算方法技术

本发明专利技术提供了一种基于联想网络的语义相关性计算方法，包括步骤：步骤1，共现词频统计步骤，步骤2，网络构建及参数学习步骤，步骤3，语义相关性计算步骤。本发明专利技术通过引入自由联想方法所收集的数据模拟人脑对于词对的联想概率度量，提高语义相关性计算准确性，并通过引入维基百科词对共现频率数据，保证了联想网络的大规模和非稀疏两个重要特性，从而实现任意词对和句对之间的语义相关性计算，而且通过基于中间结点计算间接联想概率和扩充词袋，进一步提高语义相关性计算准确性。

【技术实现步骤摘要】

本专利技术设及自然语言处理，具体地，设及。
技术介绍
经检索，发现如下相关文献： 相关检索结果1 : 申请（专利）号；201010191677.X，名称；中文词语语义相似度度量方法 该专利文献提出了一种中文词语语义相似度度量方法，并且与其它的传统方法相 比，该专利文献对于语义相似度有更好的区分度，并且计算结果更符合人的主观感觉。 技术要点比较： 1.语义相似性是语义相关性的一种特例。该专利文献只能计算词语的语义相似 性，无法计算词语之间的语义相关性；而本专利技术可W准确计算更加一般性的语义相关性。 [000引 2.该专利文献只能计算词语之间的语义关系；而本专利技术通过首先建立词语联想 网络，进而基于已构建的联想网络设计算法的方式，使得本专利技术不仅能够计算词语之间的 语义关系，并且可W计算句子和短文本之间的语义关系。 相关检索结果2 ; 申请（专利）号；201110343122. 7,名称；一种基于上下文语境的词的语义相关性 度量方法 该专利文献基于统计方法度量词自身的语义相关性；度量词在上下文语境中的语 义相关性；将词自身的语义相关性和词在上下文语境中的语义相关性进行本文档来自技高网...

【技术保护点】
一种基于联想网络的语义相关性计算方法，其特征在于，包括如下步骤：步骤1，共现词频统计步骤步骤1.1：解析维基百科数据库转储文件，对多种不同的词对共现方式统计词对共现频率，并统计词对中单个词的出现频率；步骤1.2：根据所述词对共现频率和词对中单个词的出现频率，对每种词对共现方式计算词对之间的联想概率；步骤2，网络构建及参数学习步骤构建有向加权图联想网络：在有向加权图联想网络中，每个词语作为一个结点，两个结点间存在双向边的条件是：当且仅当这两个结点所对应的两个词语之间在所述多种不同的词对共现方式中至少一种词对共现方式下的共现频率不为零；边上所带的权重用于度量人脑由出边一词联想到入边一词的概率，所述...

【技术特征摘要】

【专利技术属性】
技术研发人员：朱其立，张可阳，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31