基于语言模型的信息交互方法及其装置、电子设备制造方法及图纸

本发明专利技术公开了一种基于语言模型的信息交互方法及其装置、电子设备，涉及人工智能领域，其中，该方法包括：对目标询问信息进行分类，得到关于目标询问信息的主题实体，去除其中的主题实体，得到待处理询问信息，基于预设语言模型，分别对待处理询问信息以及候选答案集合进行向量化处理，对得到的询问信息向量和候选答案向量进行交互处理，对得到的交互矩阵与询问信息向量，以及与候选答案向量分别进行拼接，得到第一拼接向量和第二拼接向量，计算第一拼接向量与第二拼接向量之间的相关性得分，并将得分最高所指示的候选答案作为目标询问信息的回复答案。的回复答案。的回复答案。

【技术实现步骤摘要】
基于语言模型的信息交互方法及其装置、电子设备


[0001]本专利技术涉及人工智能领域，具体而言，涉及一种基于语言模型的信息交互方法及其装置、电子设备。

技术介绍

[0002]在大数据时代，面对五花八门的网络信息，怎样快速提取用户所需要的有效信息变得十分重要。因此，问答系统应运而生，该系统可以以简单快捷的方式在短时间内为用户提供准确答案。随着人工智能技术和算法的进步，问答系统的发展也变得更加成熟，比如百科类问答系统以及社区类问答系统等。
[0003]相关技术中，问答系统可以分为检索式问答系统、社区类问答系统和知识库问答系统等。对知识库问答方法的研究可以分为两种：一种是与语义解析相关的，另一种是与深度学习相关的。基于深度学习的知识库问答方法通常分两个步骤实现：(1)主题实体识别：根据用户咨询信息抽取出其中的主题实体，然后去相关知识库中寻找与主题实体对应的候选答案；(2)属性关系检测：分析用户咨询信息和候选答案间的关联关系，并提供关联性最高的候选答案作为回复答案返回给用户终端。
[0004]相关技术中，现有的知识库问答方法存在如下缺陷：(1)在主题实体识别步骤中，仅使用词向量工具和神经网络模式对用户问句进行序列标注，并没有考虑到用户问句自身结构信息对序列标注的影响；(2)在属性关系检测步骤中，还仅停留在对用户咨询信息和候选答案的粒度关系表示上，并没有对二者的之间的信息交互进行深度探索，容易导致查询到的回复答案的准确度较低。
[0005]针对上述的问题，目前尚未提出有效的解决方案。
专利技术内容
[0006]本专利技术实施例提供了一种基于语言模型的信息交互方法及其装置、电子设备，以至少解决相关技术中无法挖掘询问信息和候选答案之间的信息交互，导致查询到的回复答案的准确度较低的技术问题。
[0007]根据本专利技术实施例的一个方面，提供了一种基于语言模型的信息交互方法，包括：对接收到的目标询问信息进行分类，得到关于所述目标询问信息的主题实体，其中，所述主题实体用于在预设知识数据库中查询候选答案，得到候选答案集合；去除所述目标询问信息中的所述主题实体，得到待处理询问信息；基于预设语言模型，对所述待处理询问信息进行向量化处理，得到询问信息向量，并对所述候选答案集合进行向量化处理，得到候选答案向量；对所述询问信息向量和所述候选答案向量进行交互处理，得到与所述询问信息向量对应的第一类交互矩阵以及与所述候选答案向量对应的第二类交互矩阵；对所述第一类交互矩阵和所述询问信息向量进行拼接，得到第一拼接向量，并对所述第二类交互矩阵和所述候选答案向量进行拼接，得到第二拼接向量；计算所述第一拼接向量与所述第二拼接向量之间的相关性得分，并将得分最高所指示的候选答案作为所述目标询问信息的回复答
案。
[0008]可选地，在对接收到的目标询问信息进行分类，得到关于所述目标询问信息的主题实体之前，所述交互方法还包括：对所述目标询问信息进行分词处理，得到第一词序列；对所述第一词序列的首端和尾端加上预设标记信息，得到第二词序列。
[0009]可选地，对接收到的目标询问信息进行分类，得到关于所述目标询问信息的主题实体的步骤，包括：基于预设语言模型，对所述第二词序列进行编码，得到目标序列；计算所述目标序列中每个词向量的分类得分；对所述分类得分进行排序，并对排序结果进行筛选，筛选出大于预设得分阈值的分类得分；将筛选出的所述分类得分所指示的词向量表征为所述主题实体。
[0010]可选地，在对接收到的目标询问信息进行分类，得到关于所述目标询问信息的主题实体之后，所述交互方法还包括：基于所述主题实体，从所述预设知识数据库中查找与所述主题实体匹配的实体；将所述实体加入到实体集合中；基于所述实体集合，在所述预设知识数据库中查找与所述实体集合中每个实体对应的元组，并将所述元组加入到候选答案集合中。
[0011]可选地，基于预设语言模型，对所述待处理询问信息进行向量化处理，得到询问信息向量，并对所述候选答案集合进行向量化处理，得到候选答案向量的步骤，包括：对所述待处理询问信息进行分词处理，得到分词后的待处理询问信息；对所述候选答案集合进行分词处理，得到分词后的候选答案集合；对所述分词后的待处理询问信息进行向量化，得到所述询问信息向量；对所述分词后的候选答案集合进行向量化，得到所述候选答案向量。
[0012]可选地，所述第一类交互矩阵至少包括：第一交互矩阵，所述第二类交互矩阵至少包括：第二交互矩阵，对所述询问信息向量和所述候选答案向量进行交互处理，得到与所述询问信息向量对应的第一类交互矩阵以及与所述候选答案向量对应的第二类交互矩阵的步骤，包括：计算所述询问信息向量中的任一词向量与所述候选答案向量中的任一词向量之间的相似度；基于所述相似度以及所述候选答案向量，构建所述第一交互矩阵；基于所述相似度以及所述询问信息向量，构建所述第二交互矩阵。
[0013]可选地，所述第一类交互矩阵还包括：第三交互矩阵，所述第二类交互矩阵还包括：第四交互矩阵，对所述询问信息向量和所述候选答案向量进行交互处理，得到与所述询问信息向量对应的第一类交互矩阵以及与所述候选答案向量对应的第二类交互矩阵的步骤，包括：基于预设卷积算法，分别提取所述询问信息向量以及所述候选答案向量的结构特征，得到询问信息结构特征以及候选答案结构特征；计算所述询问信息结构特征中的任一特征向量与所述候选答案结构特征中的任一特征向量之间的相似度；基于所述相似度以及所述候选答案结构特征，构建所述第三交互矩阵；基于所述相似度以及所述询问信息结构特征，构建所述第四交互矩阵。
[0014]可选地，在对所述第一类交互矩阵和所述询问信息向量进行拼接，得到第一拼接向量，并对所述第二类交互矩阵和所述候选答案向量进行拼接，得到第二拼接向量之后，所述交互方法还包括：基于预设长短期模型，提取所述第一拼接向量的第一语义特征以及所述第二拼接向量的第二语义特征。
[0015]可选地，在提取所述第一拼接向量的第一语义特征以及所述第二拼接向量的第二语义特征之后，所述交互方法还包括：基于预设平均池化算法，分别对所述第一语义特征以
及所述第二语义特征进行平均处理，得到平均处理后的第一语义特征以及平均处理后的第二语义特征；基于预设最大池化算法，分别对所述第一语义特征以及所述第二语义特征进行最大化处理，得到最大化处理后的第一语义特征以及最大化处理后的第二语义特征。
[0016]可选地，计算所述第一拼接向量与所述第二拼接向量之间的相关性得分的步骤，包括：对所述平均处理后的第一语义特征以及所述平均处理后的第二语义特征进行拼接，并计算所述第一语义特征与所述第二语义特征之间的第一得分；对所述最大化处理后的第一语义特征以及所述最大化处理后的第二语义特征进行拼接，并计算所述第一语义特征与所述第二语义特征之间的第二得分；基于所述第一得分、所述第二得分、预设权重矩阵以及预设偏置阈值，计算所述第一拼接向量与所述第二拼接向量的相关性得分。
[0017]根据本专利技术实施例的另一方面，还提供了一种基于语言模型的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语言模型的信息交互方法，其特征在于，包括：对接收到的目标询问信息进行分类，得到关于所述目标询问信息的主题实体，其中，所述主题实体用于在预设知识数据库中查询候选答案，得到候选答案集合；去除所述目标询问信息中的所述主题实体，得到待处理询问信息；基于预设语言模型，对所述待处理询问信息进行向量化处理，得到询问信息向量，并对所述候选答案集合进行向量化处理，得到候选答案向量；对所述询问信息向量和所述候选答案向量进行交互处理，得到与所述询问信息向量对应的第一类交互矩阵以及与所述候选答案向量对应的第二类交互矩阵；对所述第一类交互矩阵和所述询问信息向量进行拼接，得到第一拼接向量，并对所述第二类交互矩阵和所述候选答案向量进行拼接，得到第二拼接向量；计算所述第一拼接向量与所述第二拼接向量之间的相关性得分，并将得分最高所指示的候选答案作为所述目标询问信息的回复答案。2.根据权利要求1所述的交互方法，其特征在于，在对接收到的目标询问信息进行分类，得到关于所述目标询问信息的主题实体之前，所述交互方法还包括：对所述目标询问信息进行分词处理，得到第一词序列；对所述第一词序列的首端和尾端加上预设标记信息，得到第二词序列。3.根据权利要求2所述的交互方法，其特征在于，对接收到的目标询问信息进行分类，得到关于所述目标询问信息的主题实体的步骤，包括：基于预设语言模型，对所述第二词序列进行编码，得到目标序列；计算所述目标序列中每个词向量的分类得分；对所述分类得分进行排序，并对排序结果进行筛选，筛选出大于预设得分阈值的分类得分；将筛选出的所述分类得分所指示的词向量表征为所述主题实体。4.根据权利要求1所述的交互方法，其特征在于，在对接收到的目标询问信息进行分类，得到关于所述目标询问信息的主题实体之后，所述交互方法还包括：基于所述主题实体，从所述预设知识数据库中查找与所述主题实体匹配的实体；将所述实体加入到实体集合中；基于所述实体集合，在所述预设知识数据库中查找与所述实体集合中每个实体对应的元组，并将所述元组加入到候选答案集合中。5.根据权利要求1所述的交互方法，其特征在于，基于预设语言模型，对所述待处理询问信息进行向量化处理，得到询问信息向量，并对所述候选答案集合进行向量化处理，得到候选答案向量的步骤，包括：对所述待处理询问信息进行分词处理，得到分词后的待处理询问信息；对所述候选答案集合进行分词处理，得到分词后的候选答案集合；对所述分词后的待处理询问信息进行向量化，得到所述询问信息向量；对所述分词后的候选答案集合进行向量化，得到所述候选答案向量。6.根据权利要求1所述的交互方法，其特征在于，所述第一类交互矩阵至少包括：第一交互矩阵，所述第二类交互矩阵至少包括：第二交互矩阵，对所述询问信息向量和所述候选答案向量进行交互处理，得到与所述询问信息向量对应的第一类交互矩阵以及与所述候选
答案向量对应的第二类交互矩阵的步骤，包括：计算所述询问信息向量中的任一词向量与所述候选答案向量中的任一词向量之间的相似度；基于所述相似度以及所述候选答案向量，构建所述第一交互矩阵；基于所述相似度以及所述询问信息向量，构建所述第二交互矩阵。7.根据权利要求1所述的交互方法，其特征在于，所述第一类交互矩阵还包括：第三交互矩阵，所述第二类交互矩阵还包括：第四交互矩阵，对所述询问信息向量和所述候选答案向量进行交互处理，得到与所述询问信息向量对应的第一类交互矩阵以及与所述候选答案向量对应的第二...

【专利技术属性】
技术研发人员：翁兆琦，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：