一种基于高斯混合模型的多关系语义解决模型制造技术

本发明专利技术提出一种基于高斯混合模型的多关系语义翻译模型。首先给出了贝叶斯非参数无限混合嵌入模型，并给出了相应的总体框架。其次给出了该算法的几何角度解释。然后给出了该算法的训练方法。最后，实验分析验证了该算法的有效性，实验结果表明该算法使多关系语义的问题得到有效解决。题得到有效解决。题得到有效解决。

【技术实现步骤摘要】
一种基于高斯混合模型的多关系语义解决模型


[0001]本专利技术属于自然语言处理领域。

技术介绍

[0002]我们熟知知识图谱是由实体和关系组成，通常是用一个三元组(头实体h，实体的关系r，尾实体t)来表示一条知识，简写为(h，r，t)，比如(电子科技大学，位置，成都)。若要使用向量表示，则可以使用one
‑
hot向量或实际中使用更多的 mulit
‑
hot向量来表示。但存在的问题是，one
‑
hot向量不能表示相近的实体或关系之间的相似度，并且向量维数太高导致复杂程度高，所以类比词向量的表示方法也想通过分布式表示来表示知识图谱中的实体和关系，通过学习获得它们的低维稠密表示。
[0003]知识表示学习的前提是表示学习，就是把图像、文本、语音等语义信息表示为低维稠密的实体向量，即Embedding。知识表示学习目前的一些主要方法包括：距离模型(Structured Embedding，SE)、单层神经网络模型(Single LayerModel，SLM)、能量模型(Semantic M本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高斯混合模型的多关系语义解决模型，该算法包括以下步骤：1).嵌入的生成模型如前所述，一个关系只有一个翻译向量可能不足以建模多个关系语义。在本文中，我们提出使用贝叶斯非参数无限混合嵌入模型，该模型的生成过程如下：1.对于实体e∈E从标准正态分布中提取每个实体嵌入平均向量作为先验概率2.对于三元组(h，r，t)∈Δ
①
从中国餐馆的过程中画出该关系的语义成分：π
r，m
～CRP(β)
②
从正态分布中绘制头部实体嵌入向量：
③
从正态分布中绘制尾部实体嵌入向量：
④
为此语义绘制一个关系嵌入向量：其中u
h
和u
t
分别表示头部和尾部的平均嵌入向量，σ
h
和σ
t
分别表示相应实体分布的方差，而u
r，m
是关系r的第m个成分转换向量。中国餐馆过程(CRP)是一个Dirichlet过程，它可以自动检测语义成分。在此设置中，我们获得的分数函数如下：式中，π
r，m
是混合因子，表示第i个分量的权重，M
r
是关系r的语义分量数，由CRP自动从数据中学习。TS
‑
E利用关系分量向量的混合来实现特定的关系，每个组成部分代表一个特定的语义。通过这种方式，TS
‑
E可以区分多关系语义。值得注意的是，CRP可以在必要时生成多个语义成分，并且从数据中自适应地学习关系语义成分数M
r
。2).从几何角度解释与以前的研究类似，TS
‑
E有几何解释。在以前的方法中，当给出三元组(h，r，t)的关系r时，几何表示是固定的，如h+r≈t。然而，TS
‑
E将这一几何原理推广到：E将这一几何原理推广到：是主要成分的指数。尽管所有成分都对模型有贡献，但由于指数效应(exp(
·
))的存在，主要成分贡献最大。当给出一个三元组(h，r，t)时，TS
‑
E计算出主分量的索引，然后用主转换向量将头部实体转换为尾部实体。综上所述，以前的研究对同一关系的所有三元组进行了相同的翻译，但TS
‑
E会根据三元组的特定语义自动选择最佳翻译向量。因此，TS
‑
E可以专注于特定的语义嵌入，以避免来自其他不相关语义组件的大量噪声，并带来比现有方法有希望的改进。请注意，TS
‑
E中的所有变量都有自己的贡献，但基础变量贡献最大。3).训练算法
采用最大数据似然原理进行训练。对于非参数部分，π
r，m
是通过吉布斯采样从CRP生成的，采用以下概率模型对三元组(h，r，t)的新分量进行采样：其中P{(h，r，t)}是当前后验概率。为了更好地区分真三元组和假三元组，我们最大化真三元组与假三元组的可能性比率，嵌入向量由(Glorot和Bengio，2010)初始化。将所有其他约束放在一起，得到最终目标函数，如下所示：其中Δ是一套黄金三元组而Δ
’
是一组假三元组。C控制缩放程度，E是实体的集合，R是关系的集合，混合因子π和方差σ也在优化过程中联合优化学习。应用SGD求解该优化问题。此外，我们还采用了一种技巧来控制训练过程中的参数更新过程。对那些几乎不可能存在的三元组，将自动跳过更新过程。因此，我们引入了与TransE(Bordes et al.，2013)采用的类似条件：只有满足以下条件时，训练算法才会更新嵌入向量：式中(h，r，t)∈Δ和(h
’
，r
’
，t
’
)∈Δ
’
，γ控制更新条件。4).实验我们的实验是在四个公共基准数据集上进行的，它们分别是Word
‑
net和Freebase的子集。表1列出了这些数据集的统计信息。在两个任务上进行了实验：链路预测和三重分类。为了进一步说明所提出的模型如何处理多关系语义，我们在实验最后介绍了语义组件分析。1.链路预测链接预测涉及知识图的完成：当给定一个实体和一个关系时，嵌入模型预测另一个缺失的实体。更确切地说，在这项任务中，我们通过给定的(h,r,*)预测t,或给定(*,r,t)预测h。WN18和FB15K是该任务的两个基准数据集。许多人工智能任务可以通过链接预测(如关系提取)来增强。评估协议。我们采用了先前研究中使用的相同原型。对于每个测试三元组(h，r，t)，我们通过用知识图中的每个实体e替换尾部t(或头部h)来破坏它，并用分数函数fr(h，e)计算
该破坏三元组(h，r，e)(或(e，r，t))的概率分数。在按降序排列这些分数之后，我们得到原始三元组的排名。评估有两个指标：平均等级(Mean rank)和等级不大于10的测试三重的比例(HITS@10)。这称为“原始...

【专利技术属性】
技术研发人员：贾海涛，张时洁，陈泓秀，梁晓程，毕宇峰，许文波，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：