一种基于混合专家模型和联合学习的知识库问题生成方法技术

本发明专利技术公开了一种基于混合专家模型和联合学习的知识库问题生成方法，主要用于给定知识图谱三元组子图、答案和复杂关系信息的情况下生成与给定三元组子图相关的，可被答案回答的，并且对应给定关系信息的、多样化的复杂自然语言表述问题。本发明专利技术使用图神经网络对输入三元组子图进行编码，得到输入子图的向量表示。使用Transformer网络进行解码，生成问题。在解码过程中结合复杂问题场景，使用隐变量建模有效表示关系的结构信息。此外使用混合专家模型，指导问题生成，提升生成问题的多样性。最后使用知识图谱问答任务与知识图谱问题生成任务联合训练，用于约束问题生成过程，使生成的问题包含期望的复杂关系信息，实现生成复杂问题的目的。问题的目的。问题的目的。

A knowledge base problem generation method based on hybrid expert model and joint learning

【技术实现步骤摘要】
一种基于混合专家模型和联合学习的知识库问题生成方法


[0001]本专利技术属于自然语言处理领域，涉及一种基于混合专家模型和联合学习的知识库问题生成方法。

技术介绍

[0002]近年来，随着人工智能的快速发展，自然语言处理技术得到了越来越广泛的关注。而问题生成(Question Generation，QG)作为自然语言理解的子任务，是自然语言处理更深层次的研究，对于人工智能技术发展有着重要推动作用。问题生成作为问答(Question Answering，QA)任务的对偶任务，可以为QA任务生成高质量的训练数据集，实现FAQ(Frequently Asked Questions，常见问题解答)文档自动生成、自动辅导系统(automatic tutoring systems)实现。
[0003]问题生成任务根据给定的事实源输入(如文本、图片、知识库)和答案，生成自然语言表述的问题。知识图谱问题生成(Question Generation over Knowledge Base，KBQG)与一般 QG任务主要区别在于输入从知识库来的事实一般以三元组<主语，关系谓词，宾语>形式表示，根据给定答案生成自然语言表述的问题。如对于给定三元组<中国，首都，北京>，可以生成问题“中国的首都是哪个城市？”。知识图谱问题生成处理的结构化三元组信息，在搜索系统中广泛使用，对比基于文本的问题生成任务有着更大的应用价值。
[0004]传统的问题生成方法通过使用规则、模板和人工标注等方式实现，这类方法需要大量的人力物力，需要一定的语言功底，无法用于大规模数据生成实现，而且通过模板生成的问题多样性不足，无法贴近真实应用场景。而随着深度学习技术的进步，特别是RNN等序列网络结构在机器翻译、文本摘要等序列到序列(sequence to sequence,seq2seq)任务取得优异表现，给问题生成方法带来很多思路启发。使用深度学习方法实现自动问题生成可以有效提高生成问题的多样性，因为不需要过多的人工参与，可以满足大规模使用。目前基于编码解码器框架的端到端深度学习模型在简单问题生成上已经取得了较好的效果，但是无法有效处理知识图谱问题生成涉及的复杂多跳关系场景。但是在知识图谱问题生成任务中，多跳问题十分普遍，如问题“中国首都的简称？”就涉及三元组<中国，首都，北京>和<北京，简称，京>，生成该问题，逻辑上需要考虑关系“首都”和“简称”。对于这种涉及多个三元组信息的多跳复杂问题生成，现有方法无法有效编码输入三元组子图信息，更重要的是无法约束问题生成过程，确保生成问题包含期望的多跳复杂关系。
[0005]基于现有知识图谱复杂问题生成方法存在的问题，本专利技术公开了一种基于混合专家模型的知识图谱复杂问题生成和问答联合学习方法，主要用于给定知识图谱三元组子图、答案和复杂关系信息的情况下生成与给定三元组子图相关的，可被答案回答的，并且对应给定关系信息的、多样化的复杂自然语言表述问题。

技术实现思路

[0006]技术问题：本专利技术要解决的技术问题在于针对知识图谱复杂问题生成的研究，难
以有效生成包含复杂关系信息的问题，提供一种基于混合专家模型和联合学习的知识库问题生成方法。
[0007]技术方案：本专利技术解决其技术问题所采用的技术方案是：一种基于混合专家模型和联合学习的知识库问题生成方法。该方法使用知识图谱问答约束知识图谱问题生成过程，提升知识图谱问题生成获取复杂关系信息的能力，完成复杂问题生成的过程。知识图谱问题生成与问答都通过编码解码框架实现，其中问答的编码器、解码器都使用Transformer网络，而问题生成的编码器使用GraphTransformer网络。在解码过程中，结合混合专家模型，每一步模型都会先预测专家分布，再考虑到多跳复杂问题的关系之间的关系，综合预测生成问题或者进行关系预测。联合学习过程，方法认为针对同一条数据，在问答或者问题生成的过程中，参考人类逻辑思考的过程，两个任务涉及的关系信息应该是相同的，回到方法中就是两个任务解码过程应该经过类似的专家完成生成过程。而混合专家模型的使用，模型能够实现生成不同类型的问题，提升问题生成的多样性。
[0008]本专利技术的基于混合专家模型和联合学习的知识库问题生成方法分为三个模块，包括如下步骤：
[0009]a.知识图谱复杂问题生成模块
[0010]1)通过对输入三元组子图进行重构，实现从输入中编码得到复杂问题生成所需的复杂关系信息；
[0011]2)使用图神经网络GraphTransformer方法对重构后的输入三元组子图进行编码；
[0012]3)使用混合专家模型，预测专家选择不同的生成结果，提升生成问题的多样性；
[0013]4)使用隐变量建模关系的结构信息，实现对复杂关系的编码，指导复杂问题的生成；
[0014]5)使用Transformer网络，在关系结构编码信息和选择专家的指导下对编码结果进行解码，生成问题；
[0015]b.知识图谱复杂问题问答(KBQA)模块
[0016]6)使用Transformer对输入复杂问题进行编码；
[0017]7)使用混合专家模型选择不同的专家，指导完成问答的过程；
[0018]8)预测关系的层级依存关系，完成对复杂问题的复杂关系编码解析；
[0019]9)使用Transformer网络预测复杂问题对应的关系序列，完成问答过程；
[0020]c.联合学习模块
[0021]10)通过联合学习，知识图谱问答实现对知识图谱问题生成的约束，提升生成问题包含的复杂关系准确性，生成高质量的复杂问题。
[0022]进一步地，所述步骤1)的具体方法是：
[0023]对于输入三元组构成一个子图其中V是实体节点集合，E是关系边集合，而该子图为带边权值图，对该带边权值图的子图进行重构，将带属性的关系边扩展成节点，然后通过无权置边链接实体节点和新扩展的关系节点，将该带边权值图子图重构为无权值边子图；更具体的，对于每一个关系边，扩展成两个节点，分别表示该关系的正向关系和逆向关系，然后通过正向有向边联通三元组的头实体节点、正向关系节点和尾实体节点，通过逆向有向边联通三元组的尾实体节点、逆向关系节点和头实体节点，同时额外增加一个全局节点，并与所有关系节点连接。
[0024]进一步地，所述步骤3)的具体方法是：
[0025]自定义有K个专家，问题生成的目标为最大化下式：
[0026][0027]其中z
q
∈{1,
…
,K}表示模型选择的专家，G是输入子图，θ
q
是知识图谱复杂问题生成模块模型参数，Q是目标生成的问题，p(.)表示括号内部分的概率。
[0028]进一步地，所述步骤4)中，
[0029]在解码器生成问题时使用隐变量来表示时间步t生成词语是否属于一个新的短本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合专家模型和联合学习的知识库问题生成方法，其特征在于，该方法分为三个模块，包括如下步骤：a.知识图谱复杂问题生成模块1)通过对输入三元组子图进行重构，实现从输入中编码得到复杂问题生成所需的复杂关系信息；2)使用图神经网络GraphTransformer方法对重构后的输入三元组子图进行编码；3)使用混合专家模型，预测专家选择不同的生成结果，提升生成问题的多样性；4)使用隐变量建模关系的结构信息，实现对复杂关系的编码，指导复杂问题的生成；5)使用Transformer网络，在关系结构编码信息和选择专家的指导下对编码结果进行解码，生成问题；b.知识图谱复杂问题问答(KBQA)模块6)使用Transformer对输入复杂问题进行编码；7)使用混合专家模型选择不同的专家，指导完成问答的过程；8)预测关系的层级依存关系，完成对复杂问题的复杂关系编码解析；9)使用Transformer网络预测复杂问题对应的关系序列，完成问答过程；c.联合学习模块10)通过联合学习，知识图谱问答实现对知识图谱问题生成的约束，提升生成问题包含的复杂关系准确性，生成高质量的复杂问题。2.根据权利要求书1所述的基于混合专家模型和联合学习的知识库问题生成方法，其特征在于，所述步骤1)的具体方法是：对于输入三元组构成一个子图其中V是实体节点集合，E是关系边集合，而该子图为带边权值图，对该带边权值图的子图进行重构，将带属性的关系边扩展成节点，然后通过无权置边链接实体节点和新扩展的关系节点，将该带边权值图子图重构为无权值边子图；更具体的，对于每一个关系边，扩展成两个节点，分别表示该关系的正向关系和逆向关系，然后通过正向有向边联通三元组的头实体节点、正向关系节点和尾实体节点，通过逆向有向边联通三元组的尾实体节点、逆向关系节点和头实体节点，同时额外增加一个全局节点，并与所有关系节点连接。3.根据权利要求书1所述的基于混合专家模型和联合学习的知识库问题生成方法，其特征在于，所述步骤3)的具体方法是：自定义有K个专家，问题生成的目标为最大化下式：其中z
q
∈{1,
…
,K}表示模型选择的专家，G是输入子图，θ
q
是知识图谱复杂问题生成模块模型参数，Q是目标生成的问题，p(.)表示括号内部分的概率。4.根据权利要求书1所述的基于混合专家模型和联合学习的知识库问题生成方法，其特征在于，所述步骤4)中，在解码器生成问题时使用隐变量来表示时间步t生成词语是否属于一个新的短句，隐变量计算式...

【专利技术属性】
技术研发人员：陈佳敏，毕胜，漆桂林，
申请(专利权)人：东南大学，
类型：发明
国别省市：