本申请提供了一种文本相似度确定方法、装置、设备及存储介质，其中，该方法包括：将目标文本对输入语言模型中，得到语言模型的各输出层输出的各目标文本对应的输出向量；根据各输出层输出的输出向量，得到各目标文本的特征矩阵；将各目标文本的特征矩阵输入对应的预先训练得到的特征融合模型中，得到各目标文本的文本向量；根据各目标文本的文本向量，确定目标文本对中各目标文本的文本相似度。本申请的文本向量由于融合了语言模型中各输出层的特征，因此可以更全面的表示句子的语义特征，从而提高后续文本相似度计算的准确性。高后续文本相似度计算的准确性。高后续文本相似度计算的准确性。
【技术实现步骤摘要】
文本相似度确定方法、装置、设备及存储介质
[0001]本申请涉及自然语言处理
，具体而言，涉及一种文本相似度确定方法、装置、设备及存储介质。
技术介绍
[0002]自然语言处理(Natural Language Processing,NLP)是以语言为对象，利用计算机技术来分析、理解和处理自然语言的一种技术，随着NLP技术的快速发展，其应用场景也越来越多元化。
[0003]文本相似度计算是NLP技术一种常见的应用场景，目前的文本相似度模型都是对预训练语言模型(Bidirectional Encoder Representation from Transformers，Bert)微调得到，将模型最后一层的输出向量作为句向量的表示，并将其用于文本相似度对比。
[0004]但是，现有技术仅将Bert模型的最后一层的输出向量作为句向量的标识，可能导致句向量无法充分表达句子含义，进而可能影响文本相似度比对结果的准确性。
技术实现思路
[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种文本相似度确定方法、装置、设备及存储介质，以解决现有技术中文本相似度比对结果的准确性低的问题。
[0006]为实现上述目的，本申请采用的技术方案如下：
[0007]第一方面，本申请提供了一种文本相似度确定方法，所述方法包括：
[0008]将目标文本对输入语言模型中，得到所述语言模型的各输出层输出的各目标文本对应的输出向量，其中，所述目标文本对中包括待比较的多个目标文本，所述输出层包括：所述语言模型的中间层以及最后一层，所述输出向量用于表征所述目标文本的语义特征；
[0009]根据各输出层输出的输出向量，得到各所述目标文本的特征矩阵；
[0010]将各所述目标文本的特征矩阵输入对应的预先训练得到的特征融合模型中，得到各所述目标文本的文本向量，所述特征融合模型为卷积神经网络模型；
[0011]根据各所述目标文本的文本向量，确定所述目标文本对中各所述目标文本的文本相似度。
[0012]可选的，所述语言模型包括：融合层，所述中间层以及所述最后一层均连接至所述融合层；
[0013]所述根据各输出层输出的输出向量，得到各所述目标文本的特征矩阵，包括：
[0014]通过所述融合层接收各所述中间层以及所述最后一层的输出向量；
[0015]通过所述融合层将各所述中间层以及所述最后一层的输出向量整合为所述目标文本的特征矩阵。
[0016]可选的，所述将各所述目标文本的特征矩阵输入对应的预先训练得到的特征融合模型中，得到各所述目标文本的文本向量，包括：
[0017]在所述特征融合模型中，对所述特征矩阵进行常规卷积和膨胀卷积，得到所述特
征矩阵对应的多个特征映射结果；
[0018]对各所述特征映射结果进行池化和组合，得到各所述特征映射结果的中间特征映射结果；
[0019]将各所述中间特征映射结果拼接，得到所述特征矩阵的特征向量；
[0020]根据所述特征向量和所述特征矩阵，得到所述目标文本的文本向量。
[0021]可选的，所述根据所述特征向量和所述特征矩阵，确定所述目标文本的文本向量，包括：
[0022]通过所述特征融合模型的全连接层对所述特征向量进行全连接处理，得到中间向量；
[0023]通过所述特征融合模型的归一化层对所述中间向量进行归一化处理，得到权重向量；
[0024]对所述权重向量和所述特征矩阵进行加权求和，得到所述目标文本的文本向量。
[0025]可选的，所述将目标文本对输入语言模型中，得到所述语言模型的各输出层输出的各目标文本对应的输出向量，包括：
[0026]获取多个目标文本对；
[0027]将各所述目标文本对分别输入所述语言模型中，得到所述语言模型的各输出层输出的各目标文本对中各目标文本对应的输出向量。
[0028]可选的，所述将目标文本对输入语言模型中之前，包括：
[0029]将训练样本输入语言模型，得到各所述训练文本的特征矩阵；
[0030]将各所述训练文本的特征矩阵输入对应的初始融合模型中，得到各所述训练文本的文本向量；
[0031]根据各所述训练文本的文本向量，确定所述训练样本中各所述训练文本的相似度；
[0032]根据各所述训练文本的文本向量以及所述相似度，确定所述初始融合模型的损失值；
[0033]根据所述损失值对所述初始融合模型进行迭代调整，得到所述特征融合模型。
[0034]可选的，所述将各所述训练文本的特征矩阵输入对应的初始融合模型中，得到各所述训练文本的文本向量，包括：
[0035]在所述初始融合模型中，对所述特征矩阵进行常规卷积和膨胀卷积，得到所述特征矩阵对应的多个特征映射结果；
[0036]对各所述特征映射结果进行池化和组合，得到各所述特征映射结果的中间特征映射结果；
[0037]将各所述中间特征映射结果拼接，得到所述特征矩阵的特征向量；
[0038]根据所述特征向量和所述特征矩阵，得到所述训练文本的文本向量。
[0039]第二方面，本申请提供了一种文本相似度确定装置，所述装置包括：
[0040]向量输出模块，用于：将目标文本对输入语言模型中，得到所述语言模型的各输出层输出的各目标文本对应的输出向量，其中，所述目标文本对中包括待比较的多个目标文本，所述输出层包括：所述语言模型的中间层以及最后一层，所述输出向量用于表征所述目标文本的语义特征；
[0041]矩阵确定模块，用于：根据各输出层输出的输出向量，得到各所述目标文本的特征矩阵；
[0042]向量确定模块，用于：将各所述目标文本的特征矩阵输入对应的预先训练得到的特征融合模型中，得到各所述目标文本的文本向量，所述特征融合模型为卷积神经网络模型；
[0043]相似度确定模块，用于：根据各所述目标文本的文本向量，确定所述目标文本对中各所述目标文本的文本相似度。
[0044]可选的，所述语言模型包括：融合层，所述中间层以及所述最后一层均连接至所述融合层；
[0045]所述矩阵确定模块具体用于：
[0046]通过所述融合层接收各所述中间层以及所述最后一层的输出向量；
[0047]通过所述融合层将各所述中间层以及所述最后一层的输出向量整合为所述目标文本的特征矩阵。
[0048]可选的，所述向量确定模块具体用于：
[0049]在所述特征融合模型中，对所述特征矩阵进行常规卷积和膨胀卷积，得到所述特征矩阵对应的多个特征映射结果；
[0050]对各所述特征映射结果进行池化和组合，得到各所述特征映射结果的中间特征映射结果；
[0051]将各所述中间特征映射结果拼接，得到所述特征矩阵的特征向量；
[0052]根据所述特征向量和所述特征矩阵，得到所述目标文本的文本向量。
[0053]可选的，所述向量确本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文本相似度确定方法，其特征在于，包括：将目标文本对输入语言模型中，得到所述语言模型的各输出层输出的各目标文本对应的输出向量，其中，所述目标文本对中包括待比较的多个目标文本，所述输出层包括：所述语言模型的中间层以及最后一层，所述输出向量用于表征所述目标文本的语义特征；根据各输出层输出的输出向量，得到各所述目标文本的特征矩阵；将各所述目标文本的特征矩阵输入对应的预先训练得到的特征融合模型中，得到各所述目标文本的文本向量，所述特征融合模型为卷积神经网络模型；根据各所述目标文本的文本向量，确定所述目标文本对中各所述目标文本的文本相似度。2.根据权利要求1所述的方法，其特征在于，所述语言模型包括：融合层，所述中间层以及所述最后一层均连接至所述融合层；所述根据各输出层输出的输出向量，得到各所述目标文本的特征矩阵，包括：通过所述融合层接收各所述中间层以及所述最后一层的输出向量；通过所述融合层将各所述中间层以及所述最后一层的输出向量整合为所述目标文本的特征矩阵。3.根据权利要求1所述的方法，其特征在于，所述将各所述目标文本的特征矩阵输入对应的预先训练得到的特征融合模型中，得到各所述目标文本的文本向量，包括：在所述特征融合模型中，对所述特征矩阵进行常规卷积和膨胀卷积，得到所述特征矩阵对应的多个特征映射结果；对各所述特征映射结果进行池化和组合，得到各所述特征映射结果的中间特征映射结果；将各所述中间特征映射结果拼接，得到所述特征矩阵的特征向量；根据所述特征向量和所述特征矩阵，得到所述目标文本的文本向量。4.根据权利要求3所述的方法，其特征在于，所述根据所述特征向量和所述特征矩阵，确定所述目标文本的文本向量，包括：通过所述特征融合模型的全连接层对所述特征向量进行全连接处理，得到中间向量；通过所述特征融合模型的归一化层对所述中间向量进行归一化处理，得到权重向量；对所述权重向量和所述特征矩阵进行加权求和，得到所述目标文本的文本向量。5.根据权利要求1所述的方法，其特征在于，所述将目标文本对输入语言模型中，得到所述语言模型的各输出层输出的各目标文本对应的输出向量，包括：获取多个目标文本对；将各所述目标文本对分别输入所述语言模型中，得到所述语言模型的各输出层输出的各目标文本对中各目标文...
【专利技术属性】
技术研发人员：蔡志伟，杜新凯，吕超，纪诚，姚雷，
申请(专利权)人：阳光保险集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。