System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于外部信息语义增强的知识表示学习方法技术_技高网

一种基于外部信息语义增强的知识表示学习方法技术

技术编号:39984855 阅读:4 留言:0更新日期:2024-01-09 01:48
本发明专利技术公开了一种基于外部信息语义增强的知识表示学习方法。包括:使用双向长‑短期记忆网络(Bi‑LSTM)模型和注意力机制对实体描述进行向量表示。通过正向和反向传递信息来建立每个词语的向量表示,有效捕捉上下文信息。使用卷积神经网络对实体之间的关系进行向量编码,并通过注意力机制获取有价值的信息,作为三元组的补充信息能够有效提取局部特征。再采用线性映射的方法对结构向量和文本向量进行线性转换得到联合表示向量,可以将结构信息和文本信息融合在一起,解决了外部信息不足等问题。

【技术实现步骤摘要】

本专利技术属于自然语言处理领域,涉及一种知识表示学习,尤其涉及一种基于外部信息语义增强的知识表示学习方法


技术介绍

1、知识表示学习是人工智能领域中的一个重要研究方向,其目标是通过捕捉和组织知识来帮助机器理解和处理复杂的任务。在过去的几十年里,随着计算能力的提高和大规模数据的可用性,知识表示学习在自然语言处理、机器翻译、信息检索等领域取得了显著的进展。知识表示学习的核心思想是将知识以机器可理解的方式进行编码和表达。传统的方法主要基于手工设计的规则或者统计模型,但这些方法往往需要大量的人工工作和专业知识,并且难以适应复杂多变的任务。而近年来,深度学习的兴起使得基于神经网络的知识表示学习成为主流。通过学习有效的知识表示,机器可以更好地理解和生成自然语言,提高文本分类和信息检索的准确性,实现智能问答和对话系统,甚至是自动驾驶和医疗诊断等领域的应用。未来,随着技术的不断进步,知识表示学习将在各个领域展现出更大的潜力和价值。

2、传统的知识表示方法主要基于单一数据源或特定领域的知识库,这种方法存在着数据稀缺、信息不全和领域限制等问题,导致知识表示不准确。

3、为了有效利用丰富的信息作为三元组的重要补充,从而更获取知识图谱中实体和关系更高层次的特征,本文提出了一个融合外部信息来进行语义增强的知识表示学习模型。


技术实现思路

1、本专利技术的目的是针对外部信息不足的缺陷,提供了一种基于外部信息语义增强的知识表示学习方法,有效解决了外部信息不足等问题,提高了模型预测的准确性,进而有效提升了知识表示学习的能力,为了实现以上目的,本专利技术采用以下技术方案。

2、一种基于动态降维加权图学习的不完整多视图聚类方法,包括以下步骤。

3、s1.使用双向长-短期记忆网络(bi-lstm)模型和注意力机制对实体描述进行向量表示,通过正向和反向传递信息来建立每个词语的向量表示,有效捕捉上下文信息。

4、s2.使用卷积神经网络对实体之间的关系进行向量编码,并通过注意力机制获取有价值的信息,作为三元组的补充信息,能够有效提取局部特征。

5、s3.采用线性映射的方法对结构向量和文本向量进行线性转换得到联合表示向量,可以将结构信息和文本信息融合在一起,得到更全面、准确的向量表示。

6、进一步的,所述步骤s1中通过正向和反向传递信息来建立每个词语的向量表示,有效捕捉上下文信息,表示为:

7、

8、其中,表示序列的第一个时间步到最后一个时间步进行前向计算,表示序列的最后一个时间步到第一个时间步进行后向计算。

9、进一步的,所述步骤s1中将所有的时间步长的向量拼接,获整体的向量序列,表示为:

10、。

11、进一步的,所述步骤s1中使用双向长-短期记忆网络(bi-lstm)模型和注意力机制对实体描述进行向量表示,表示为:

12、。

13、其中,表示句子级别的上下文向量, w s表示卷积核, b s表示残差。

14、进一步的,所述步骤s2使用卷积神经网络对实体之间的关系进行向量编码,并通过注意力机制获取有价值的信息,表示为:

15、。

16、其中,是可选偏差,表示通过窗口操作获得的的卷积核,是输出向量的维数,,其中是输入向量的维数,是激活函数,通常使用tanh或relu,具体公式表示为:

17、

18、其中,表示新的单词表示。

19、然后,根据句子表示的结构向量和关系向量,通过softmax函数得到归一化重要性权重,表示为:

20、。

21、最后,将实体所有关联句子的向量进行聚合操作,表示为:

22、。

23、进一步的,所述步骤s3采用线性映射的方法对结构向量和文本向量进行线性转换得到联合表示向量,表示为:

24、。

25、其中, m r为线性映射矩阵。

26、进一步的,所述步骤s3通过两个向量之间的夹角来度量它们在方向上的相似程度,表示为:

27、。

28、其中,代表结构向量,代表文本向量。

29、与现有技术相比,本专利技术通过融合外部信息,将实体描述信息和文本关系描述信息与三元组结构信息相结合,再采用线性映射方法对结构向量和文本向量进行线性转换得到联合表示向量。该模型充分考虑了三元组以外的语义信息,有效解决了外部信息不足等问题,提高了模型预测的准确性,进而有效提升了知识表示学习的能力。

本文档来自技高网...

【技术保护点】

1.一种基于外部信息语义增强的知识表示学习方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于外部信息语义增强的知识表示学习方法,其特征在于,所述步骤S1中通过正向和反向传递信息来建立每个词语的向量表示,有效捕捉上下文信息,表示为:,

3.根据权利要求2所述的一种基于外部信息语义增强的知识表示学习方法,其特征在于,所述步骤S1中将所有的时间步长的向量拼接,获整体的向量序列,表示为:。

4.根据权利要求1所述的一种基于外部信息语义增强的知识表示学习方法,其特征在于,所述步骤S1中使用双向长-短期记忆网络(Bi-LSTM)模型和注意力机制对实体描述进行向量表示,表示为:

5.根据权利要求1所述的一种基于外部信息语义增强的知识表示学习方法,其特征在于,所述步骤S2使用卷积神经网络对实体之间的关系进行向量编码,并通过注意力机制获取有价值的信息,表示为:

6.根据权利要求1所述的一种基于外部信息语义增强的知识表示学习方法,其特征在于,所述步骤S3采用线性映射的方法对结构向量和文本向量进行线性转换得到联合表示向量,表示为:

7.根据权利要求1所述的一种基于外部信息语义增强的知识表示学习方法,其特征在于,所述步骤S3通过两个向量之间的夹角来度量它们在方向上的相似程度,表示为:

...

【技术特征摘要】

1.一种基于外部信息语义增强的知识表示学习方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于外部信息语义增强的知识表示学习方法,其特征在于,所述步骤s1中通过正向和反向传递信息来建立每个词语的向量表示,有效捕捉上下文信息,表示为:,

3.根据权利要求2所述的一种基于外部信息语义增强的知识表示学习方法,其特征在于,所述步骤s1中将所有的时间步长的向量拼接,获整体的向量序列,表示为:。

4.根据权利要求1所述的一种基于外部信息语义增强的知识表示学习方法,其特征在于,所述步骤s1中使用双向长-短期记忆网络(bi-lstm)模型和注...

【专利技术属性】
技术研发人员:李松杨雨鑫郝晓红
申请(专利权)人:哈尔滨理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1