常识问答方法、系统、计算机设备和存储介质技术方案

本发明专利技术提供了一种常识问答方法，包括：获取问题选项对，获取知识图谱子图；确定问题选项对的第一语义表示；根据第一语义表示生成关于图神经网络的变换参数；根据变换参数对输入图神经网络的特征进行线性变换；基于线性变换的结果并引入第一注意力机制更迭图神经网络，得到最后层节点特征；根据最后层节点特征确定出图神经网络学习的常识知识；根据第一语义表示和常识知识引入再注意力机制重新计算预训练语言模型在问题选项对的注意力确定问题选项对的第二语义表示；根据第一语义表示和第二语义表示计算候选项的分值。本发明专利技术可挖掘PLM本身的潜力，在更细粒度的特征级别上过滤噪声，并通过再注意力机制将常识知识补充给PLM，达到双重验证的效果。达到双重验证的效果。达到双重验证的效果。

【技术实现步骤摘要】
常识问答方法、系统、计算机设备和存储介质


[0001]本申请涉及人工智能智能问答
，特别是涉及一种常识问答方法、系统、计算机设备和存储介质。

技术介绍

[0002]常识问答任务要求系统具备常识性知识和推理能力，这是人工智能与人类智能之间的关键差距。尽管预训练语言模型PLM隐含着丰富的知识，但由于预训练语料库的限制，它们不能覆盖所有的常识。因此，许多工作都利用外部知识来源来增强预训练模型。现有方法通常遵循先检索后建模的范式，首先，他们提取与给定问题相关的子图字符串匹配或语义相似性；其次，他们精心设计图神经网络，通过多跳推理从检索到的子图中学习常识。另一方面，近期的prompt learning 研究表明，预训练语言模型PLM的潜能和对常识的表达能力并未完全挖掘。
[0003]以往的方法专注于设计精巧的图神经网络，比如图神经网络的各种节点和边注意力机制。如图1所示，我们通过探究性实验发现，在预训练语言模型的基础上，引入提示学习技术（prompt learning），可以提升模型在常识问答任务上的效果，这表明了预训练语言模型本身在常识问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种常识问答方法，其特征在于，所述方法包括：获取问题选项对，其中，每个所述问题选项对包括一个问题项和与所述问题项对应的多个候选项中的一个候选项；获取与所述问题选项对的实体相关的知识图谱子图；根据预设模板和预训练语言模型，确定所述问题选项对的第一语义表示；根据所述第一语义表示生成关于图神经网络的变换参数；根据所述变换参数对输入图神经网络的特征进行线性变换；基于线性变换的结果，并引入第一注意力机制更迭所述图神经网络，得到所述图神经网络的最后层节点特征；根据所述最后层节点特征确定出所述图神经网络学习的常识知识；根据所述第一语义表示和所述常识知识，引入再注意力机制，重新计算所述预训练语言模型在所述问题选项对的注意力，确定所述问题选项对的第二语义表示；根据所述第一语义表示和所述第二语义表示计算所述候选项的分值;其中，多个候选项中分值最大的候选项为所述问题项的最优选项。2.根据权利要求1所述的方法，其特征在于，所述根据预设模板和预训练语言模型，获取所述问题选项对的第一语义表示信息，包括：将问题选项对填入所述预设模板中进行重构，得到重构结果；将所述重构结果输入到所述预训练语言模型，得到关于所述问题选项对的第一语义表示信息。3.根据权利要求1所述的方法，其特征在于，所述获取与所述问题选项对的实体相关的知识图谱子图，包括：从预设知识图谱中，将与所述问题选项对中问题项和候选项的实体相关的部分知识图谱抽取出来，形成知识图谱子图。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一语义表示生成关于图神经网络的变换参数，包括：将所述第一语义表示输入至线性变换模块；通过所述线性变换模块的参数生成器生成对所述图神经网络的节点特征的第一变换参数和边特征的第二变换参数。5.根据权利要求4所述的方法，其特征在于，所述根据所述变换参数对输入图神经网络的特征进行线性变换，包括：将所述知识图谱子图输入至所述线性变换模块；根据变换参数对所述图神经网络的节点特征和边特征进行线性变换，得到关于所述图神经网络的节点特征和边特征；其中，所述图神经网络的节点特征是对所述知识图谱子图中的节点的表示；所述图神经网络的边特征是对应所述知识图谱子图中的边的表示。6.根据权利要求5所述的方法，其特征在于，所述基于线性变换的结果，并引入第一注意力机制更迭所述图神经网络，得到所述图神经网络的最后层节点特征...

【专利技术属性】
技术研发人员：刘超雄，谢明辉，温颖，李世闯，王国强，张鹏，
申请(专利权)人：上海数字大脑科技研究院有限公司，
类型：发明
国别省市：