文本处理方法及装置制造方法及图纸

本申请提供文本处理方法及装置，其中所述文本处理方法包括：获取待处理文本和问题文本，其中，所述问题文本与所述待处理文本相关；在所述待处理文本中提取所述问题文本对应的多个候选答案；将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理，获得所述问题文本匹配的预测答案；根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述问题文本的答复结果。及所述问题文本确定所述问题文本的答复结果。及所述问题文本确定所述问题文本的答复结果。

【技术实现步骤摘要】
文本处理方法及装置


[0001]本申请涉及计算机
，特别涉及文本处理方法及装置。

技术介绍

[0002]自然语言处理(Natural Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。而在机器阅读理解领域中对自然语言处理应用是最为广泛的，通过机器阅读理解在实现根据篇章回答问题时，通常是通过阅读器生成一个候选答案，并且根据阅读器的输出决定是否针对该问题进行回答，但是仅生成一个候选答案不仅限制了模型性能的提升，还无法有效的对候选答案进行正确的判断，故亟需一种有效的方案以解决该问题。

技术实现思路

[0003]有鉴于此，本申请实施例提供了一种文本处理方法，以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种文本处理装置，一种计算设备，以及一种计算机可读存储介质。
[0004]根据本申请实施例的第一方面，提供了一种文本处理方法，包括：
[0005]获取待处理文本和问题文本，其中，所述问题文本与所述待处理文本相关；
[0006]在所述待处理文本中提取所述问题文本对应的多个候选答案；
[0007]将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理，获得所述问题文本匹配的预测答案；
[0008]根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述问题文本的答复结果。
[0009]可选的，所述在所述待处理文本中提取所述问题文本对应的多个候选答案，包括：
[0010]对所述待处理文本和所述问题文本进行分词处理，并根据分词处理结果组成字单元集合；
[0011]将所述字单元集合中包含的各个字单元输入至文本处理模型进行处理，获得所述问题文本对应的多个候选答案。
[0012]可选的，所述将所述字单元集合中包含的各个字单元输入至文本处理模型进行处理，获得所述问题文本对应的多个候选答案，包括：
[0013]将所述字单元集合中包含的各个字单元输入至所述文本处理模型，通过所述文本处理模型中的预测模块计算各个字单元作为答案起始字的第一概率，以及各个字单元作为答案末端字的第二概率；
[0014]根据所述第一概率生成起始概率分布，以及根据所述第二概率生成末端概率分布；
[0015]将所述起始概率分布和所述末端概率分布输入至所述文本处理模型中的筛选模块进行答案筛选处理，获得所述问题文本对应的多个候选答案。
[0016]可选的，所述将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理，获得所述问题文本匹配的预测答案，包括：
[0017]将所述多个候选答案和所述问题文本输入至所述语义匹配模型；
[0018]通过所述语义匹配模型中的特征提取模块对所述多个候选答案和所述问题文本进行特征提取，获得各个候选答案对应的第一特征向量，以及所述问题文本对应的第二特征向量；
[0019]通过所述语义匹配模型中的语义匹配模块分别计算所述第一特征向量与所述第二特征向量的匹配度，获得所述各个候选答案与所述问题文本的匹配度；
[0020]选择匹配度最高的候选答案作为所述预测答案，并通过所述语义匹配模型的输出模块输出所述问题文本匹配的所述预测答案。
[0021]可选的，所述根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述问题文本的答复结果，包括：
[0022]确定所述预测答案在所述待处理文本中所属的所述语句；
[0023]根据所述语句、所述问题文本和所述预测答案生成待验证文本组，并将所述待验证文本组输入至验证模型进行预测答案验证，获得所述预测答案的正确率，其中，所述正确率表示将所述预测答案作为与所述问题文本匹配的答案的概率；
[0024]根据所述正确率确定所述问题文本的所述答复结果。
[0025]可选的，所述根据所述正确率确定所述问题文本的所述答复结果，包括：
[0026]判断所述正确率是否大于预设正确率阈值；
[0027]若是，将所述预测答案确定为所述问题文本的目标答案，并根据所述目标答案生成所述问题文本的答复结果；
[0028]若否，根据所述预测答案生成提醒信息，并基于所述提醒信息生成所述问题文本的答复结果。
[0029]可选的，所述获取待处理文本和问题文本步骤执行之后，还包括：
[0030]对所述待处理文本进行分词处理获得第一词单元集合，以及对所述问题文本进行分词处理获得第二词单元集合；
[0031]分别针对所述第一词单元集合和所述第二词单元集合添加句首标志符号和分句标志符号，获得第三词单元集合和第四词单元集合；
[0032]将所述第三词单元集合和所述第四词单元集合输入至文本处理模型进行特征提取，获得文本特征向量和问题特征向量。
[0033]可选的，还包括：
[0034]计算所述问题特征向量和所述文本特征向量的特征向量相似度；
[0035]在所述特征向量相似度大于相似度阈值的情况下，根据所述特征向量相似度确定所述问题文本和所述待处理文本的匹配率。
[0036]可选的，所述将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理，获得所述问题文本匹配的预测答案步骤执行之后，还包括：
[0037]根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述预测答案的正确率；
[0038]基于所述正确率和所述正确率对应的权重，以及所述匹配率和所述匹配率对应的
权重进行加权和计算，获得针对所述问题文本进行答复的答复率；
[0039]在所述答复率大于预设答复率阈值的情况下，将所述预测答案作为所述问题文本的答复结果。
[0040]可选的，所述语义匹配模型，采用如下方式训练：
[0041]获取训练文本以及所述训练文本对应的训练问题文本；
[0042]在所述训练文本中提取多个训练候选答案，并对所述多个训练候选答案进行分值标注；
[0043]基于分值标注后的多个训练候选答案以及所述训练文本组成样本集，并输入至初始语义匹配模型进行训练，获得所述语义匹配模型。
[0044]可选的，所述对所述多个训练候选答案进行分值标注，包括：
[0045]根据评价指标对所述多个候选答案进行分值标注，或者根据评测指标对所述多个候选答案进行分值标注。
[0046]可选的，所述文本处理模型与所述语义匹配模型的预训练模型的模型类型相同。
[0047]根据本申请实施例的第二方面，提供了一种文本处理装置，包括：
[0048]获取模块，被配置为获取待处理文本和问题文本，其中，所述问题文本与所述待处理文本相关；
[0049]提取模块，被配置为在所述待处理文本中提取所述问题文本对应的多个候选答案；
[0050]预测模块，被配置为将所述多个候选答案和所述问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本处理方法，其特征在于，包括：获取待处理文本和问题文本，其中，所述问题文本与所述待处理文本相关；在所述待处理文本中提取所述问题文本对应的多个候选答案；将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理，获得所述问题文本匹配的预测答案；根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述问题文本的答复结果。2.根据权利要求1所述的文本处理方法，其特征在于，所述在所述待处理文本中提取所述问题文本对应的多个候选答案，包括：对所述待处理文本和所述问题文本进行分词处理，并根据分词处理结果组成字单元集合；将所述字单元集合中包含的各个字单元输入至文本处理模型进行处理，获得所述问题文本对应的多个候选答案。3.根据权利要求2所述的文本处理方法，其特征在于，所述将所述字单元集合中包含的各个字单元输入至文本处理模型进行处理，获得所述问题文本对应的多个候选答案，包括：将所述字单元集合中包含的各个字单元输入至所述文本处理模型，通过所述文本处理模型中的预测模块计算各个字单元作为答案起始字的第一概率，以及各个字单元作为答案末端字的第二概率；根据所述第一概率生成起始概率分布，以及根据所述第二概率生成末端概率分布；将所述起始概率分布和所述末端概率分布输入至所述文本处理模型中的筛选模块进行答案筛选处理，获得所述问题文本对应的多个候选答案。4.根据权利要求1所述的文本处理方法，其特征在于，所述将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理，获得所述问题文本匹配的预测答案，包括：将所述多个候选答案和所述问题文本输入至所述语义匹配模型；通过所述语义匹配模型中的特征提取模块对所述多个候选答案和所述问题文本进行特征提取，获得各个候选答案对应的第一特征向量，以及所述问题文本对应的第二特征向量；通过所述语义匹配模型中的语义匹配模块分别计算所述第一特征向量与所述第二特征向量的匹配度，获得所述各个候选答案与所述问题文本的匹配度；选择匹配度最高的候选答案作为所述预测答案，并通过所述语义匹配模型的输出模块输出所述问题文本匹配的所述预测答案。5.根据权利要求1所述的文本处理方法，其特征在于，所述根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述问题文本的答复结果，包括：确定所述预测答案在所述待处理文本中所属的所述语句；根据所述语句、所述问题文本和所述预测答案生成待验证文本组，并将所述待验证文本组输入至验证模型进行预测答案验证，获得所述预测答案的正确率，其中，所述正确率表示将所述预测答案作为与所述问题文本匹配的答案的概率；根据所述正确率确定所述问题文本的所述答复结果。
6.根据权利要求5所述的文本处理方法，其特征在于，所述根据所述正确率确定所述问题文本的所述答复结果，包括：判断所述正确率是否大于预设正确率阈值；若是，将所述预测答案确定为所述问题文本的目标答案，并根据所述目标答案生成所述问题文本的答复结果；若否，根据所述预测答案生成提醒信息，并基于所述提醒信息...

【专利技术属性】
技术研发人员：周安桥，李长亮，李小龙，
申请(专利权)人：北京金山数字娱乐科技有限公司，
类型：发明
国别省市：