一种基于图注意力机制的因果常识知识库构建方法技术

本发明专利技术公开了一种基于图注意力机制的因果常识知识库构建方法，包括如下步骤：1)从开放知识库获取因果常识知识三元组作为训练资源；2)采用知识图谱嵌入技术，获取因果常识知识三元组的向量表示；3)结合背景知识图谱，构建基于图注意力机制的因果常识知识库构建模型，选取合适的损失函数来优化模型参数；4)利用因果常识知识库构建模型对缺失三元组的置信度进行打分，将得分最高的三元组作为新学习的因果常识知识加入知识库。本发明专利技术基于背景知识图谱，采用图注意力机制构建因果常识知识库构建模型，意图通过少量的训练资源学习到新的因果常识知识，拓展因果常识知识库，使得知识库能够更好地支撑智能问答系统。库能够更好地支撑智能问答系统。库能够更好地支撑智能问答系统。

【技术实现步骤摘要】
一种基于图注意力机制的因果常识知识库构建方法


[0001]本专利技术属于自然语言处理
，具体的说是一种基于图注意力机制的因果常识知识库构建方法。

技术介绍

[0002]因果常识知识是指人们在日常生活中所积累得到的一种通用的认知基础。人类凭借因果常识知识可以更好地理解和适应周围的环境，做出合理的判断和决策。对于人工智能领域来说，因果常识知识库可以为智能问答系统提供丰富的背景知识和推理能力。这种基于因果常识的智能问答系统在许多领域都有潜在的应用，包括教育、医疗健康和科学研究等。
[0003]因果常识知识可以采用知识图谱进行存储和展示。知识图谱是一种结构化的知识表示方式，以图形的形式呈现实体(节点)之间的关系(边)，用于描述现实世界中的知识和概念之间的联系。在知识图谱中，因果常识知识以三元组(头实体，关系，尾实体)的形式来描述，构成一个庞大的网络。这些三元组之间可以建立关联，形成一个复杂的知识图谱结构。通过三元组的方式，知识图谱可以精确地表示概念之间的关系和属性。常识知识的三元组存储形式具有简洁、可扩展和易于理解的特点。它能够以结构化的方式组织和检索知识，为知识推理和应用提供基础。基于构建的因果常识知识库，智能问答系统能够更好地理解用户的问题，识别问题中的因果关系，推理出答案，并提供解释和推断的能力。
[0004]目前，构建知识库的方法有下列几种：
①
手动构建：这是最传统和基础的方法，通过人工收集、整理和编写知识来构建知识库。专家、领域专家或知识工作者可以通过撰写文档、编写规则和定义概念等方式手动创建知识库。这种方法对于小规模的知识库或特定领域的知识库比较适用。
②
自动抽取：利用自然语言处理(NLP)和信息抽取技术，从大规模文本数据中自动抽取知识。这种方法可以使用实体识别、关系抽取、事件提取等技术来自动识别和提取知识。例如，从新闻文章中抽取公司名称、产品特性、事件发生时间等信息，构建相关的知识库。
③
语义网(Semantic Web)技术：语义网是一种用于组织和表示结构化知识的方法。它使用RDF(Resource Description Framework)作为知识表示语言，通过定义实体、属性和关系来建立知识库。语义网技术还提供了推理机制和查询语言(如SPARQL)，使得知识库具备逻辑推理和灵活查询的能力。
④
机器学习方法：利用机器学习算法，从大规模数据中学习并构建知识库。这种方法可以使用聚类、分类、主题建模等技术来自动发现和组织知识。例如，使用文本分类算法从新闻文章中识别不同的主题或领域，并构建相应的知识库。
[0005]尽管这些方法取得了一定的成果，但进行因果常识知识库的构建仍然面临以下挑战：首先，无法保证已知因果知识的完备性，某些关系往往没有足够的三元组作为训练语料。因果常识知识数据来自不同的领域和文化背景，涉及丰富的实体和关系。现有方法却未能充分挖掘知识中的实体所关联的属性特征和关系模式，在建模语义结构的时候忽略实体的邻域信息。因此，所获得的实体对的语义信息可能是不完整的，特别是当某一因果关系的三元组数据稀疏时，未能充分利用邻居信息会导致学习到的因果关系的向量表示并不一定
可靠，从而限制了因果常识知识库构建模型的预测能力。其次，现有方法通常未考虑每个实体都有不同的属性特征，不同的特征对处理不同的因果关系任务会产生不同的影响。

技术实现思路

[0006]本专利技术是为了解决上述现有技术中的不足之处，提出一种基于图注意力机制的因果常识知识库构建方法，旨在通过少量的训练资源学习到新的因果常识知识，拓展因果常识知识库，使得构建的知识库能够更好地支撑智能问答系统。
[0007]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0008]本专利技术一种基于图注意力机制的因果常识知识库构建方法的特点在于，按如下步骤进行：
[0009]步骤一：从知识库收集因果常识知识并进行结构化表示，从而构建因果常识知识的三元组集合其中，(h,r,t)表示一条因果常识，h表示头实体，r表示因果关系，t表示尾实体，E为实体集合，R为因果关系集合；
[0010]步骤二：收集因果常识知识三元组集合TP中高频出现的因果关系所关联的三元组，并利用先验知识，以有向图的形式对所述高频出现的三元组进行存储和建模，从而构建背景知识图谱G
′
，其中，三元组的头实体、尾实体分别作为所述背景知识图谱G
′
的节点，三元组的因果关系作为所述背景知识图谱G
′
中节点之间的边；
[0011]步骤三：采用知识图谱嵌入方法对所述背景知识图谱G
′
中的各节点和边进行向量表示，从而得到头实体节点的向量表示V
h
、尾实体节点的向量表示V
t
、因果关系边的向量表示V
r
；
[0012]步骤四：从因果常识知识三元组集合TP中随机抽取一条因果关系记为r，选取因果关系r所对应的部分三元组来构建因果关系r的支撑集S
r
，利用因果关系r其余的三元组构建因果关系r的查询集Q
r
；再将查询集Q
r
中的所有尾实体均替换成与自身头实体无因果关联的实体，从而构建负查询集
[0013]步骤五：由因果关系r对应的支撑集S
r
和查询集Q
r
组成训练任务T
r
＝{S
r
,Q
r
}；从因果关系集合R中选取其他因果关系r
′
，并按照步骤四的过程构建因果关系r
′
的支撑集S
r
′
和查询集Q
r
′
，组成测试任务T
r
′
＝{S
r
′
,Q
r
′
}；
[0014]步骤六：采用图注意力机制构建特征向量学习模块，为支撑集S
r
中的每一个实体对生成相应的向量表示；
[0015]步骤6.1、抽取背景知识图谱G
′
中的有用信息，得到因果关系r对应的第i个邻居信息集其中，(h
i
,t
i
)表示对因果关系r的支撑集S
r
中第i个头实体
‑
尾实体对，表示从背景知识图谱G
′
中提取第i个头实体h
i
所对应的直接邻居信息，表示从背景知识图谱G
′
中提取与第i个头实体h
i
的第k个直接邻居实体相关联的邻居信息，即间接邻居信息，表示尾实体t
i
的直接邻居信息，表示尾实体t
i
的间接邻居信息；
[0016]步骤6.2、特征向量学习模块学习因果常识三元组(h
i
,r,t
i
)中第i个实体对(h
i
,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图注意力机制的因果常识知识库构建方法，其特征在于，按如下步骤进行：步骤一：从知识库收集因果常识知识并进行结构化表示，从而构建因果常识知识的三元组集合其中，(h,r,t)表示一条因果常识，h表示头实体，r表示因果关系，t表示尾实体，E为实体集合，R为因果关系集合；步骤二：收集因果常识知识三元组集合TP中高频出现的因果关系所关联的三元组，并利用先验知识，以有向图的形式对所述高频出现的三元组进行存储和建模，从而构建背景知识图谱G
′
，其中，三元组的头实体、尾实体分别作为所述背景知识图谱G
′
的节点，三元组的因果关系作为所述背景知识图谱G
′
中节点之间的边；步骤三：采用知识图谱嵌入方法对所述背景知识图谱G
′
中的各节点和边进行向量表示，从而得到头实体节点的向量表示V
h
、尾实体节点的向量表示V
t
、因果关系边的向量表示V
r
；步骤四：从因果常识知识三元组集合TP中随机抽取一条因果关系记为r，选取因果关系r所对应的部分三元组来构建因果关系r的支撑集S
r
，利用因果关系r其余的三元组构建因果关系r的查询集Q
r
；再将查询集Q
r
中的所有尾实体均替换成与自身头实体无因果关联的实体，从而构建负查询集Q
r
‑
；步骤五：由因果关系r对应的支撑集S
r
和查询集Q
r
组成训练任务T
r
＝{S
r
,Q
r
}；从因果关系集合R中选取其他因果关系r
′
，并按照步骤四的过程构建因果关系r
′
的支撑集S
r
′
和查询集Q
r
′
，组成测试任务T
r
′
＝{S
r
′
,Q
r
′
}；步骤六：采用图注意力机制构建特征向量学习模块，为支撑集S
r
中的每一个实体对生成相应的向量表示；步骤6.1、抽取背景知识图谱G
′
中的有用信息，得到因果关系r对应的第i个邻居信息集其中，(h
i
,t
i
)表示对因果关系r的支撑集S
r
中第i个头实体
‑
尾实体对，表示从背景知识图谱G
′
中提取第i个头实体h
i
所对应的直接邻居信息，表示从背景知识图谱G
′
中提取与第i个头实体h
i
的第k个直接邻居实体相关联的邻居信息，即间接邻居信息，表示尾实体t
i
的直接邻居信息，表示尾实体t
i
的间接邻居信息；步骤6.2、特征向量学习模块学习因果常识三元组(h
i
,r,t
i
)中第i个实体对(h
i
,t
i
)的向量表示，记为步骤七、对查询集Q
r
中的因果常识知识三元组的置信度进行评分；步骤7.1、对于查询集Q
r
中的任意一个查询三元组记为q
r
，采用式(10)
‑
式(11)得到当前因果关系r的向量表示P
r
：：
式(10)
‑
式(11)中，
·
为点积操作，为因果关系r的查询三元组q
r
的向量表示，是通过式(9)学习得到因果关系r的支撑集S
r
中第i个头实体
‑
尾实体对(h
i
,t
i
)的向量表示，为第i个实体对(h
i
,t
i
)表示所对应的注意力权重；步骤7.2、利用式(12)所示的度量函数评估查询集Q
r
中查询知识三元组q
r
的置信度分数d(q
r
,S
r
)：步骤7.3、对于负查询集Q
r
‑
中的任意一个负查询三元组记为按照步骤7.1
‑
步骤7.2的过程，计算负查询三元组的置信度分数步骤八、利用反向传播算法对生成因果关系r的向量表征的图注意力网络进行优化，并计算式(13)的损失函数L，当损失函数L不断下降直至收敛时，得到最优的因果常识知识库构建模型：式(13)中，γ为超参数；步骤九、将若干个候选实体输入所述最优的因果常识知识库构建模型中，计算相应查询三元组的置...

【专利技术属性】
技术研发人员：俞奎，李金迪，李玉玲，王雨薇，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：