一种问答方法技术

本申请公开了一种问答方法

【技术实现步骤摘要】
一种问答方法、装置、设备及介质


[0001]本专利技术涉及计算机
，特别涉及一种问答方法
、
装置
、
设备及介质
。

技术介绍

[0002]当前，在各领域中的问答任务中，人们主要追求的是两类效果：一个是准确率，另一个则是问答的泛化性，即当真实场景中用户输入一个语义相似但表达方式不同的问题时，问答系统能否通过历史数据中的相似问答而给出答案
。
[0003]而传统的问题与答案匹配方式大多数是通过记录问答对数据，通过“正则匹配计算覆盖率”、“判别式分类模型判断匹配度”、“聚类模型判断相似度”等方式进行问答匹配计算，以上传统方式无法避免效率低下
、
随机性导致的结果不稳定
、
需要大量人工介入制定回答框架等等弊端
。
[0004]综上，如何提高问答的准确性和泛化性，并加快问答效率是当前亟待解决的问题
。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种问答方法
、
装置
、
设备及介质，能够提高问答的准确性和泛化性，并加快问答效率，其具体方案如下：
[0006]第一方面，本申请公开了一种问答方法，包括：
[0007]获取目标问题文本，并对所述目标问答文本进行切词处理得到各目标分词，然后对所述各目标分词进行向量化得到各目标向量；
[0008]通过目标问答模型中的问题编码器基于各目标向量生成问题文本矩阵；
[0009]通过所述目标问答模型中的相似度计算模块，并基于所述问题文本矩阵与各参考文本矩阵计算所述目标问题文本与各参考文本之间的目标相似度，并根据所述目标相似度由高至低的顺序进行排序，然后选取排序最前的目标数量个所述参考文本；所述参考文本矩阵为预先通过所述目标问答模型中的参考文本编码器基于预设参考文本库中的所述参考文本构建的矩阵；每个所述参考文本为标准问题文本和参考答案文本，或，所述参考答案文本；
[0010]通过答案生成器基于所述目标数量个所述参考文本生成所述目标问题文本对应的目标答案文本
。
[0011]可选的，所述获取目标问题文本之前，还包括：
[0012]在所述目标问答模型的部署阶段，对所述预设参考文本库中的每个所述参考文本进行切词处理得到各参考分词，并对所述各参考分词进行向量化得到的各参考向量；
[0013]通过所述参考文本编码器基于所述预设参考文本库中的每个所述参考文本对应的所述各参考向量生成每个所述参考文本对应的所述参考文本矩阵
。
[0014]可选的，所述参考文本矩阵和所述问题文本矩阵为二维矩阵；其中，第一维度表征对应分词的位置信息，第二维度表征对应分词的分词特征信息
。
[0015]可选的，所述通过所述目标问答模型中的相似度计算模块，并基于所述问题文本
矩阵与各参考文本矩阵计算所述目标问题文本与各参考文本之间的目标相似度，包括：
[0016]通过所述目标问答模型中的相似度计算模块计算所述问题文本矩阵与转置后的参考文本矩阵的点乘，得到表征每个所述目标分词与每个所述参考分词之间的相似度的第一相似度矩阵；
[0017]选取所述第一相似矩阵中每个所述目标分词对应的最大相似度构成第二相似矩阵；
[0018]对所述第二相似矩阵中的所有相似度进行加和操作得到总和相似度；
[0019]选取所述第二相似矩阵中的最大相似度作为关键相似度；
[0020]对所述第二相似矩阵中的所有相似度进行均值操作得到平均相似度；
[0021]基于所述总和相似度
、
关键相似度和平均相似度确定所述目标问题文本与所述参考文本矩阵对应的所述参考文本之间的目标相似度，以计算所述目标问题文本与各所述参考文本之间的所述目标相似度
。
[0022]可选的，所述获取目标问题文本之前，还包括：
[0023]获取待训练问题文本
、
待训练正确答案文本和待训练错误答案文本；
[0024]将所述待训练问题文本和所述待训练正确答案文本的第一组合作为用于计算所述待训练问题文本和所述待训练正确答案文本之间相似度的第一正样本，并将所述待训练问题文本以及所述第一组合的第二组合作为用于计算所述待训练问题文本以及所述第一组合之间相似度作为第二正样本；
[0025]将所述待训练问题文本和所述待训练错误答案文本的第三组合作为用于计算所述待训练问题文本和所述待训练错误答案文本之间相似度的第一负样本，并将所述待训练问题文本以及所述第三组合的第四组合作为用于计算所述待训练问题文本以及所述第三组合之间相似度的第二负样本；
[0026]对所述待训练问题文本
、
所述待训练正确答案文本和所述待训练错误答案文本进行切词处理得到若干待训练分词；
[0027]基于所述待训练分词，并根据所述第一正样本
、
所述第二正样本
、
所述第一负样本和所述第二负样本训练初始问答模型得到所述目标问答模型
。
[0028]可选的，所述初始问答模型中的索引器包括训练前双塔模型和训练前的所述相似度计算模块；其中，所述双塔模型为基于转换器模型中的单层编码层构成的模型；所述目标问答模型中的所述问题编码器和所述参考文本编码器由训练后双塔模型拆分得到
。
[0029]可选的，所述通过所述目标问答模型中的相似度计算模块，并基于所述问题文本矩阵与各参考文本矩阵计算所述目标问题文本与各参考文本之间的目标相似度，包括：
[0030]若所述参考文本矩阵分别存储于若干个图形处理器中，则通过所述相似度计算模块并利用每个所述图形处理器基于所述问题文本矩阵和存储在该图形处理器中的各参考文本矩阵计算所述目标问题文本与各所述参考文本之间的目标相似度；
[0031]相应的，所述根据所述目标相似度由高至低的顺序进行排序，然后选取排序最前的目标数量个所述参考文本，包括：
[0032]将每个所述图形处理器中存储的所述参考文本根据所述目标相似度由高至低的顺序进行排序，并选取每个所述图形处理器对应的排序最前的目标数量个所述参考文本；
[0033]利用所述若干个图形处理器中的任一所述图形处理器根据所述目标相似度由高
至低的顺序将选取出的所有所述参考文本重新排序，并从重新排序后的所述参考文本中选取出排序最前的所述目标数量个所述参考文本
。
[0034]第二方面，本申请公开了一种问答装置，包括：
[0035]向量生成模块，用于获取目标问题文本，并对所述目标问答文本进行切词处理得到各目标分词，然后对所述各目标分词进行向量化得到各目标向量
[0036]矩阵生成模块，用于通过目标问答模型中的问题编码器基于各目标向量生成问题文本矩阵；
[0037]参考文本选取模块，用于通过所述目标问答模型中的相似度计算模块，并基于所述问题文本矩阵与各参考本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种问答方法，其特征在于，包括：获取目标问题文本，并对所述目标问答文本进行切词处理得到各目标分词，然后对所述各目标分词进行向量化得到各目标向量；通过目标问答模型中的问题编码器基于各目标向量生成问题文本矩阵；通过所述目标问答模型中的相似度计算模块，并基于所述问题文本矩阵与各参考文本矩阵计算所述目标问题文本与各参考文本之间的目标相似度，并根据所述目标相似度由高至低的顺序进行排序，然后选取排序最前的目标数量个所述参考文本；所述参考文本矩阵为预先通过所述目标问答模型中的参考文本编码器基于预设参考文本库中的所述参考文本构建的矩阵；每个所述参考文本为标准问题文本和参考答案文本，或，所述参考答案文本；通过答案生成器基于所述目标数量个所述参考文本生成所述目标问题文本对应的目标答案文本
。2.
根据权利要求1所述的问答方法，其特征在于，所述获取目标问题文本之前，还包括：在所述目标问答模型的部署阶段，对所述预设参考文本库中的每个所述参考文本进行切词处理得到各参考分词，并对所述各参考分词进行向量化得到的各参考向量；通过所述参考文本编码器基于所述预设参考文本库中的每个所述参考文本对应的所述各参考向量生成每个所述参考文本对应的所述参考文本矩阵
。3.
根据权利要求2所述的问答方法，其特征在于，所述参考文本矩阵和所述问题文本矩阵为二维矩阵；其中，第一维度表征对应分词的位置信息，第二维度表征对应分词的分词特征信息
。4.
根据权利要求3所述的问答方法，其特征在于，所述通过所述目标问答模型中的相似度计算模块，并基于所述问题文本矩阵与各参考文本矩阵计算所述目标问题文本与各参考文本之间的目标相似度，包括：通过所述目标问答模型中的相似度计算模块计算所述问题文本矩阵与转置后的参考文本矩阵的点乘，得到表征每个所述目标分词与每个所述参考分词之间的相似度的第一相似度矩阵；选取所述第一相似矩阵中每个所述目标分词对应的最大相似度构成第二相似矩阵；对所述第二相似矩阵中的所有相似度进行加和操作得到总和相似度；选取所述第二相似矩阵中的最大相似度作为关键相似度；对所述第二相似矩阵中的所有相似度进行均值操作得到平均相似度；基于所述总和相似度
、
关键相似度和平均相似度确定所述目标问题文本与所述参考文本矩阵对应的所述参考文本之间的目标相似度，以计算所述目标问题文本与各所述参考文本之间的所述目标相似度
。5.
根据权利要求1所述的问答方法，其特征在于，所述获取目标问题文本之前，还包括：获取待训练问题文本
、
待训练正确答案文本和待训练错误答案文本；将所述待训练问题文本和所述待训练正确答案文本的第一组合作为用于计算所述待训练问题文本和所述待训练正确答案文本之间相似度的第一正样本，并将所述待训练问题文本以及所述第一组合的第二组合作为用于计算所述待训练问题文本以及所述第一组合之间相似度作为第二正样本；
将所述待训练问题文本和所述待训练错误答案文本的第三组合作为用于计算所述待训练问题文本和所述待训练错误答案文本之间相似度的第一负样本，并将所述待训练问题文本以及所述...

【专利技术属性】
技术研发人员：丁乐，刘子星，徐煌，王伟，马军明，周晏清，
申请(专利权)人：亿企赢网络科技有限公司，
类型：发明
国别省市：