文本匹配方法及装置制造方法及图纸

本申请公开了文本匹配方法及装置，该方法包括：将第一文本和第二文本输入文本匹配模型进行文本匹配处理，输出相应的匹配结果；其中，文本匹配模型的第一分布式层分别对第一文本和第二文本进行表示学习，输出第一文本向量和第二文本向量；第一交互层将第一分布式层输出的向量进行交叉注意力学习，输出第三文本向量和第四文本向量；第二分布式层分别对第三文本向量和第四文本向量进行表示学习，输出第五文本向量和第六文本向量；第二交互层将第二分布式层输出的向量进行拼接得到第七文本向量，以及将第七文本向量进行自注意力学习及计算文本相似度，输出匹配结果。采用本申请实施例可提高文本匹配的准确性。提高文本匹配的准确性。提高文本匹配的准确性。

【技术实现步骤摘要】
文本匹配方法及装置


[0001]本申请涉及文本处理
，特别涉及文本匹配方法及装置。

技术介绍

[0002]文本匹配任务是自然语言处理(Natural Language Processing，NLP)中重要的研究方向，不论是在信息检索(Information Retrieval，IR)、问题回答(Question Answer，QA)还是复述识别(Paraphrase Recognition，PR)等任务中都扮演着重要的角色。传统的文本匹配方法依赖于预定义的模板和人工提取的规则。
[0003]随着深度学习的发展，深度神经网络已经普遍应用于自然语言处理任务中，以降低人工提取特征所耗费的成本和时间。文本匹配任务旨在给定两段文本Q和D，通过提取文本中存在的语义信息和相似度特征来给出两段文本的相似度值，由最终的相似度值可以得知两段文本的内容是否属于相似的描述。该种文本匹配方式存在准确性不足的问题。

技术实现思路

[0004]为了解决上述问题，本申请提供文本匹配方法及装置，能够提高文本匹配的准确性。
>[0005]为解决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本匹配方法，其特征在于，所述方法包括：将待匹配的第一文本和第二文本输入文本匹配模型进行文本匹配处理，输出所述第一文本和所述第二文本的匹配结果；其中，所述文本匹配模型包括第一分布式层、第一交互层、第二分布式层和第二交互层；所述第一分布式层，用于分别对输入的所述第一文本和所述第二文本进行表示学习，输出第一文本向量和第二文本向量；所述第一交互层，用于将所述第一分布式层输出的所述第一文本向量和所述第二文本向量进行交叉注意力学习，输出第三文本向量和第四文本向量；所述第二分布式层，用于分别对所述第一交互层输出的所述第三文本向量和所述第四文本向量进行表示学习，输出第五文本向量和第六文本向量；所述第二交互层，用于将所述第二分布式层输出的所述第五文本向量和所述第六文本向量进行拼接得到第七文本向量，以及将所述第七文本向量进行自注意力学习及计算文本相似度，输出所述匹配结果。2.根据权利要求1所述的方法，其特征在于，所述第一分布式层包括第一嵌入层、第一Transformer网络、第二嵌入层、第二Transformer网络；所述第一嵌入层，用于对所述第一文本进行词嵌入处理和位置嵌入处理，输出第一处理文本；所述第一Transformer网络，用于将所述第一嵌入层输出的所述第一处理文本进行表示学习，输出所述第一文本向量；所述第二嵌入层，用于对所述第二文本进行词嵌入处理和位置嵌入处理，输出第二处理文本；所述第二Transformer网络，用于将所述第二嵌入层输出的所述第二处理文本进行表示学习，输出所述第二文本向量。3.根据权利要求1所述的方法，其特征在于，所述第一交互层包括第三Transformer网络；所述第三Transformer网络，用于对所述第一文本向量和所述第二文本向量进行交叉注意力学习，输出所述第三文本向量和所述第四文本向量。4.根据权利要求3所述的方法，其特征在于，所述第三Transformer网络包括交叉注意力机制，所述交叉注意力机制包括：Q
att
＝sum
row
(softmax
row
(Q
·
K))
·
Q；K
att
＝sum
col
(softmax
col
(Q
·
K))
·
K；其中，Q和K均表示输入的文本向量，softmax
row
(Q
·
K)为Q与K进行词相似度计算得到的相似度矩阵按行进行归一化处理的结果，softmax
col
(Q
·
K)为Q与K进行词相似度计算得到的相似度矩阵按列进行归一化处理的结果，sum
row
(softmax
row
(Q
·
K))表示Q对应的交叉注意力权重，sum
col
(...

【专利技术属性】
技术研发人员：吕乐宾，蒋宁，王洪斌，吴海英，权佳成，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：