【技术实现步骤摘要】
文本相似度计算模型的更新方法、装置、设备及存储介质
本申请涉及人工智能
,尤其涉及一种文本相似度计算模型的更新方法、装置、设备及存储介质。
技术介绍
文本相似技术在搜索、推荐、FAQ等领域中有着广泛的应用。由于深度学习文本相似度技术大部分都是采用单任务进行训练,目前现有的一些文本相似度计算模型通常都是通过模型本身的损失来对模型进行迭代更新的,而专利技术人发现,通过此种方式进行模型迭代更新时,效果不明显,无法快速地提升相似度计算任务的准确率。
技术实现思路
有鉴于此,本申请实施例提供了一种文本相似度计算模型的更新方法、装置、设备及存储介质,可以通过引入关键词识别任务,增强文本相似度识别模型的迭代更新效果,实现快速地提升相似度计算的准确率。本申请实施例的第一方面提供了一种文本相似度计算模型的更新方法,包括:引入关键词识别任务,分别计算出第一文本在进行关键词识别任务时产生的第一损失值和第二文本在进行关键词识别任务时产生的第二损失值,所述第一文本和所述第二文本为输入至所述文本相似度计算模型中 ...
【技术保护点】
1.一种文本相似度计算模型的更新方法,其特征在于,包括:/n引入关键词识别任务,分别计算出第一文本在进行关键词识别任务时产生的第一损失值和第二文本在进行关键词识别任务时产生的第二损失值,所述第一文本和所述第二文本为输入至所述文本相似度计算模型中进行文本相似度计算的两个文本;/n获取文本相似度计算模型在计算所述第一文本与所述第二文本之间的文本相似度时产生的第三损失值;/n计算出所述第一损失值、所述第二损失值以及所述第三损失值的总和作为总损失值,按照所述总损失值对所述文本相似度计算模型进行迭代更新处理。/n
【技术特征摘要】
1.一种文本相似度计算模型的更新方法,其特征在于,包括:
引入关键词识别任务,分别计算出第一文本在进行关键词识别任务时产生的第一损失值和第二文本在进行关键词识别任务时产生的第二损失值,所述第一文本和所述第二文本为输入至所述文本相似度计算模型中进行文本相似度计算的两个文本;
获取文本相似度计算模型在计算所述第一文本与所述第二文本之间的文本相似度时产生的第三损失值;
计算出所述第一损失值、所述第二损失值以及所述第三损失值的总和作为总损失值,按照所述总损失值对所述文本相似度计算模型进行迭代更新处理。
2.根据权利要求1所述的文本相似度计算模型的更新方法,其特征在于,所述引入关键词识别任务,分别计算出第一文本在进行关键词识别任务时产生的第一损失值和第二文本在进行关键词识别任务时产生的第二损失值的步骤中,所述关键词识别任务被配置为关键词提取任务或关键词预测任务。
3.根据权利要求2所述的文本相似度计算模型的更新方法,其特征在于,若所述关键词识别任务被配置为关键词提取任务,所述引入关键词识别任务,分别计算出第一文本在进行关键词识别任务时产生的第一损失值和第二文本在进行关键词识别任务时产生的第二损失值的步骤,包括:
基于序列标注任务对所述第一文本和所述第二文本分别进行关键词提取处理,获取所述第一文本的关键词标注序列和所述第二文本的关键词标注序列;
根据所述第一文本的关键词标注序列,使用预设的条件随机场模型计算出所述第一文本在关键词提取处理过程中产生的损失值作为第一损失值;
根据所述第二文本的关键词标注序列,使用预设的条件随机场模型计算出所述第二文本在关键词提取处理过程中产生的损失值作为第二损失值。
4.根据权利要求2所述的文本相似度计算模型的更新方法,其特征在于,若所述关键词识别任务被配置为关键词预测任务,所述引入关键词识别任务,分别计算出第一文本在进行关键词识别任务时产生的第一损失值和第二文本在进行关键词识别任务时产生的第二损失值的步骤,包括:
基于掩膜词预测任务对所述第一文本和所述第二文本分别进行关键词预测处理,获取所述第一文本中的掩膜词对应的预测关键词以及所述第二文本中的掩膜词对应的预测关键词;
根据所述第一文本中的的掩膜词对应的预测关键词,通过比对掩膜词与预测关键词之间的相似度,计算出所述第一文本在关键词预测处理过程中产生的损失值作为第一损失值;
根据所述第二文本中的掩膜词对应的预测关键词,通过比对掩膜词语预测关键词之间的相似度,计算出所述第二文本在关键词预测处理过程中产生的损失值作为第二损失值。
5.根据权利要求4所述的文本相似度计算模型的更新方法,其特征在于,所述基于...
【专利技术属性】
技术研发人员:刘志慧,金培根,陆林炳,林加新,
申请(专利权)人:中国平安人寿保险股份有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。