基于图神经网络的动态推理对话生成方法技术

本发明专利技术公开了基于图神经网络的动态推理对话生成方法，包含以下步骤：数据预处理，首先对数据集进行聚类，然后从每个类中提取部分文本，缩减数据集的规模；构建子图，根据输入文本中的实体从知识图谱中检索多跳子图；表示学习，首先利用图神经网络学习子图中实体和关系的向量表示，然后使用注意力机制获得图的向量表示；生成模型，对输入文本进行编码得到文本向量，根据文本向量、图向量以及解码器前一时刻的状态更新解码器，并且根据门控机制生成单词；对生成结果使用知识蒸馏，提高模型的泛化能力；本发明专利技术的对话生成方法，为大规模数据提供精简方式，为模型增加知识推理能力，可以有效提高回复的信息性和多样性。效提高回复的信息性和多样性。效提高回复的信息性和多样性。

【技术实现步骤摘要】
基于图神经网络的动态推理对话生成方法


[0001]本专利技术涉及聚类领域、知识推理领域和对话生成领域，具体涉及一种基于图神经网络的动态推理对话生成方法。

技术介绍

[0002]知识蒸馏目的是将一个大型模型的知识迁移到一个更小的模型。知识蒸馏框架通常包含一个大型或集成的教师模型和一个小型学生模型，主要利用学生模型的输出模拟教师模型的输出以获得较高的准确性。基于知识驱动的对话生成模型需要大规模的训练数据，并且模型参数庞大，计算复杂性高，而且还有庞大的存储需求。知识蒸馏作为模型压缩和加速的代表类型，能有效的提升模型精度，降低模型时延，压缩网络参数。
[0003]对话生成模型通常需要大规模的训练数据，通常数百万乃至上亿的数据量，需要较大的计算量以及存储，通过利用文本相似性对文本数据进行聚类，并提取每一类中的少量文本形成最终的训练文本，可以有效的减少数据规模，加快模型的训练。
[0004]人与人之间交流时拥有丰富的背景知识，而完全数据驱动的对话系统仅仅从会话数据中学习语义交互，为了解决人与机器的差别，最近的研究引入了外部知识，结构化数据(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图神经网络的动态推理对话生成方法，其特征在于，包括以下步骤：步骤1，数据预处理，将输入文本与真实回复拼接后使用BERT网络学习文本表示，根据学习到的文本表示利用K
‑
means进行聚类，并且从每个类别中随机提取一定数量的文本，构建训练集；步骤2，构建子图，根据输入文本X中的实体，检索知识图谱中以该实体为起点的多跳子图g；步骤3，表示学习，利用图神经网络对步骤2获得的子图中的实体和关系进行编码，使用注意力机制学习图的嵌入表示；步骤4，生成模型，对输入文本X进行编码，得到文本向量，根据文本向量、图向量以及解码器前一时刻的状态进行解码，生成每一时刻的token；步骤5，知识蒸馏，自定义一个正确率为100％的老师模型，使生成模型模拟老师模型的输出，提高模型的精度以及泛化能力。2.根据权利要求1所述的基于图神经网络的动态推理对话生成方法，其特征在于，步骤1所述的数据预处理方法，主要是根据文本相似性原理对文本进行聚类，缩减相似文本的数量，且不影响模型效果。3.根据权利要求1所述的基于图神经网络的动态推理对话生成方法，其特征在于，步骤2所述的构建子图方式，主要根据输入文本X＝(x1,x2,
…
,x
n
)，如果输入文本中的单词x
i
为实体单词，则在知识图谱中查找以x
i
为起点的三元组集合构成子图G
one
，随后以G
one
中每个三元组的尾实体为起点查找三元组集合...

【专利技术属性】
技术研发人员：王燕飞，韩立新，
申请(专利权)人：河海大学，
类型：发明
国别省市：