文本处理方法技术

本申请实施例提供了一种文本处理方法

【技术实现步骤摘要】
文本处理方法、装置、设备、存储介质及产品


[0001]本申请涉及自然语言处理
，尤其涉及一种文本处理方法
、
装置
、
设备
、
存储介质及产品
。

技术介绍

[0002]有监督的句子表征模型
Sentence
‑
BERT
，表现出在句向量表示和文本匹配任务上
SOTA
的效果，证明了其有效性
。Sentence
‑
BERT
的训练过程是把
(u,v,|u
‑
v|)
拼接起来后接分类
softmax
层分类
。
但
Sentence
‑
BERT
训练和预测的过程不一致，存在一定概率过拟合甚至“训崩”，表现为训练
loss
在下降，训练
accuracy
在上升，但基于余弦的评测值
Spearman
系数却下降明显，训练集和测试集都会如此
。Sentence
‑
BERT
这种训练预测方式导致文本对的相似度的预测准确度较低
。

技术实现思路

[0003]本申请实施例提供了一种文本处理方法
、
装置
、
设备
、
存储介质及产品，可以提升对文本对的相似度的预测准确度
。
[0004]第一方面，本申请实施例提供了一种文本处理方法，所述方法包括：
[0005]获取
M
个样本文本对，以及所述
M
个样本文本对分别对应的标注文本相似度；
M
为大于或等于2的整数，一个样本文本对包括两个样本文本；
[0006]将所述
M
个样本文本输入至初始文本相似度识别模型，通过所述初始文本相似度识别模型分别对所述
M
个样本文本对进行相似度识别，输出
M
个预测文本相似度；
[0007]获取所述
M
个预测文本相似度之间的区分参数，根据所述区分参数
、
所述
M
个样本文本对分别对应的标注文本相似度以及所述
M
个预测文本相似度，确定所述初始文本相似度识别模型的相似度预测总误差；
[0008]根据所述相似度预测总误差，对所述初始文本相似度识别模型进行调整，得到用于识别目标文本对的目标相似度的目标文本相似度识别模型
。
[0009]第二方面，本申请实施例提供了一种文本处理装置，所述装置包括：
[0010]获取模块，用于获取
M
个样本文本对，以及所述
M
个样本文本对分别对应的标注文本相似度；
M
为大于或等于2的整数，一个样本文本对包括两个样本文本；
[0011]识别模块，用于将所述
M
个样本文本输入至初始文本相似度识别模型，通过所述初始文本相似度识别模型分别对所述
M
个样本文本对进行相似度识别，输出
M
个预测文本相似度；
[0012]确定模块，用于通过获取模块获取所述
M
个预测文本相似度之间的区分参数，根据所述区分参数
、
所述
M
个样本文本对分别对应的标注文本相似度以及所述
M
个预测文本相似度，确定所述初始文本相似度识别模型的相似度预测总误差；
[0013]调整模块，用于根据所述相似度预测总误差，对所述初始文本相似度识别模型进行调整，得到用于识别目标文本对的目标相似度的目标文本相似度识别模型
。
[0014]第三方面，本申请实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的方法的步骤
。
[0015]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法的步骤
。
[0016]第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现第一方面所述的方法的步骤
。
[0017]综上所述，计算机设备可获取
M
个样本文本对，以及
M
个样本文本对分别对应的标注文本相似度，并通过初始文本相似度识别模型分别对
M
个样本文本对进行相似度识别，输出
M
个预测文本相似度；计算机设备还可根据
M
个预测文本相似度之间的区分参数
、M
个样本文本对分别对应的标注文本相似度以及
M
个预测文本相似度，确定初始文本相似度识别模型的相似度预测总误差，从而根据相似度预测总误差，对初始文本相似度识别模型进行调整，得到用于识别目标文本对的目标相似度的目标文本相似度识别模型，上述方式将相似度计算引入模型训练过程，使得模型的训练方式和预测方式能够一致，进而使得目标文本相似度识别模型识别出的相似度更加准确，并且上述方式引入排序特征到训练过程中，也使得目标相似度识别模型生成的相似度能够用于排序
、
召回等场景
。
附图说明
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0019]图1是本申请实施例提供的一种文本处理系统的网络架构示意图；
[0020]图
2A
是本申请实施例提供的一种文本处理方法的流程示意图；
[0021]图
2B
是本申请实施例提供的一种文本相似度计算过程的示意图；
[0022]图3是本申请实施例提供的再一种文本处理方法的流程示意图；
[0023]图4是本申请实施例提供的一种文本处理装置的结构示意图；
[0024]图5是本申请实施例提供的一种计算机设备的结构示意图
。
具体实施方式
[0025]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述
。
[0026]人工智能
(Artificial Intelligence,AI)
是利用数字计算机或者数字计算机控制的机器模拟
、
延伸和扩展人的智能，感知环境
、
获取知识并使用知识获得最佳结果的理论
、
方法
、
技术及应用系统
。
换句话说，人工智能是计算机科学的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种文本处理方法，其特征在于，所述方法包括：获取
M
个样本文本对，以及所述
M
个样本文本对分别对应的标注文本相似度；
M
为大于或等于2的整数，一个样本文本对包括两个样本文本；将所述
M
个样本文本对输入至初始文本相似度识别模型，通过所述初始文本相似度识别模型分别对所述
M
个样本文本对进行相似度识别，输出
M
个预测文本相似度；获取所述
M
个预测文本相似度之间的区分参数，根据所述区分参数
、
所述
M
个样本文本对分别对应的标注文本相似度以及所述
M
个预测文本相似度，确定所述初始文本相似度识别模型的相似度预测总误差；根据所述相似度预测总误差，对所述初始文本相似度识别模型进行调整，得到用于识别目标文本对的目标相似度的目标文本相似度识别模型
。2.
根据权利要求1所述的方法，其特征在于，所述获取所述
M
个预测文本相似度之间的区分参数，根据所述区分参数
、
所述
M
个样本文本对分别对应的标注文本相似度以及所述
M
个预测文本相似度，确定所述初始文本相似度识别模型的相似度预测总误差，包括：获取所述
M
个样本文本对的相似预测顺序，以及所述
M
个预测文本相似度的模型输出顺序；根据所述模型输出顺序
、
所述相似预测顺序
、
所述
M
个样本文本对分别对应的标注文本相似度以及所述
M
个预测文本相似度，确定所述
M
个预测文本相似度之间的区分参数；根据所述区分参数，确定所述初始文本相似度识别模型的顺序预测误差；根据所述
M
个样本文本对分别对应标注文本相似度以及所述
M
个预测文本相似度，确定所述初始文本相似度识别模型的相似度预测误差；将所述初始文本相似度识别模型的顺序预测误差，以及所述初始文本相似度识别模型的相似度预测误差之间的和，确定为所述初始文本相似度识别模型的相似度预测总误差
。3.
根据权利要求1所述的方法，其特征在于，所述获取所述
M
个预测文本相似度之间的区分参数，根据所述区分参数
、
所述
M
个样本文本对分别对应的标注文本相似度以及所述
M
个预测文本相似度，确定所述初始文本相似度识别模型的相似度预测总误差，包括：获取所述
M
个样本文本对的相似预测顺序，以及所述
M
个预测文本相似度的模型输出顺序；根据所述模型输出顺序
、
所述相似预测顺序
、
所述
M
个样本文本对分别对应标注文本相似度以及所述
M
个预测文本相似度，确定所述
M
个预测文本相似度之间的区分参数；根据所述区分参数，确定所述初始文本相似度识别模型的顺序预测误差；将所述初始文本相似度识别模型的顺序预测误差，确定为所述初始文本相似度识别模型的相似度预测总误差
。4.
根据权利要求2或3所述的方法，其特征在于，所述
M
个样本文本对分别对应的标注文本相似度包括标注文本相似度
P
r
，以及标注文本相似度
P
r+1
；
r
为大于或等于2且小于或等于
M
的整数；所述
M
个预测文本相似度包括预测文本相似度
Q
r
，以及预测文本相似度
Q
r+1
，所述标注文本相似度
P
r
对应的样本文本对的相似预测顺序与所述预测文本相似度
Q
r
对应的样本文本对的模型输出顺序相同，所述标注文本相似度
P
r+1
对应的样本文本对的相似预测顺序与所述预测文本相似度
Q
r+1
对应的样本文本对的模型输出顺序相同；所述根据所述模型输出顺序
、
所述相似预测顺序
、
所述
M
个样本文本对分别对应的标注
文本相似度以及所述
M
个预测文本相似度，确定所述
M
个预测文本相似度之间的区分参数，包括：获取所述标注文本相似度
P
r
与所述标注文本相似度
P
r+1
之间的大小关系；根据所述大小关系，对所述预测文...

【专利技术属性】
技术研发人员：徐明，侯树超，
申请(专利权)人：腾讯科技上海有限公司，
类型：发明
国别省市：