用于确定文本相关度的模型训练方法、装置、电子设备及可读存储介质制造方法及图纸

本公开的实施例提供了一种用于确定文本相关度的模型训练方法、装置、电子设备及可读存储介质，方法包括：根据第一文本样本和第二文本样本确定第一输入序列；将第一输入序列输入初始模型，获得包括第一文本样本和第二文本样本的语义相关性的第一预测结果以及包括第一文本样本的第一实体特征和第二文本样本的第二实体特征的第二预测结果；根据第二预测结果，确定第一文本样本和第二文本样本的实体相关性；根据损失计算参数，计算模型损失值；根据模型损失值，对初始模型的模型参数进行调整，直到计算的模型损失值达到预设损失值，得到训练完成的目标模型。本公开实施例可以提高确定文本相关度的准确性，进而提高搜索结果的准确率。

【技术实现步骤摘要】
用于确定文本相关度的模型训练方法、装置、电子设备及可读存储介质
本公开的实施例涉及计算机
，尤其涉及一种用于确定文本相关度的模型训练方法方法、装置、电子设备及可读存储介质。
技术介绍
确定文本的相关度是自然语言处理的基本问题，在诸如信息检索系统和对话系统中，如何衡量句子或者短语之间的相关度尤为重要。O2O(OnlineToOffline，线上到线下)将线下商务的机会与互联网结合在一起，让互联网成为线下交易的前台。O2O搜索场景中用户搜索请求比较明确，通常以结构化的商家和商品为主，商家搜索和商品搜索占整个搜索流量的40％左右，因此，如何更加准确地判断用户的查询词与搜索的商家或商品之间的相关度是影响搜索准确率和用户搜索体验的关键因素。然而，在O2O搜索场景中，查询词与搜索结果的文本长度较短，相比正常文本，可挖掘的信息较少，相关度判断更加困难。例如，当查询词为“LadyM”，搜索结果为“LadyMarry婚纱”时，传统的文本相关度计算方法极可能判断两者语义相关，但是，用户输入的“LadyM”实际上是一家甜品店，而“LadyMarry婚纱”是一家婚纱店，二者虽然字面上语义相关，但是在O2O搜索场景，对用户来说二者差别较大，可能造成误判。又如，当查询词为“红酒”，搜索结果为“红酒开瓶器”时，由于二者的语义相关，也有可能造成误判。可以看出，在O2O搜索场景中，传统的文本相关度计算方法可能出现误判的情况，导致确定的文本相关度不够准确，进而影响搜索结果的准确率。
技术实现思路
本公开的实施例提供一种用于确定文本相关度的模型训练方法、装置、电子设备及可读存储介质，用以提高确定文本相关度的准确性，进而提高搜索结果的准确率。根据本公开的实施例的第一方面，提供了一种用于确定文本相关度的模型训练方法，所述方法包括：根据第一文本样本和第二文本样本确定第一输入序列；将所述第一输入序列输入初始模型，获得包括所述第一文本样本和所述第二文本样本的语义相关性的第一预测结果以及包括所述第一文本样本的第一实体特征和所述第二文本样本的第二实体特征的第二预测结果；根据所述第二预测结果，确定所述第一文本样本和所述第二文本样本的实体相关性；根据损失计算参数，计算模型损失值，所述损失计算参数包括：第一损失值和所述实体相关性，所述第一损失值为根据所述第一预测结果和第一标注信息计算得到，所述第一标注信息用于标注所述第一文本样本和所述第二文本样本的语义相关性；根据所述模型损失值，对所述初始模型的模型参数进行调整，直到计算的模型损失值达到预设损失值，得到训练完成的目标模型。根据本公开的实施例的第二方面，提供了一种确定文本相关度的方法，所述方法包括：根据第一文本和第二文本确定第二输入序列；将所述第二输入序列输入目标模型，通过所述目标模型输出所述第一文本和所述第二文本的相关度，所述目标模型根据上述用于确定文本相关度的模型训练方法训练得到。根据本公开的实施例的第三方面，提供了一种用于确定文本相关度的模型训练装置，所述装置包括：第一序列确定模块，用于根据第一文本样本和第二文本样本确定第一输入序列；初始预测模块，用于将所述第一输入序列输入初始模型，获得包括所述第一文本样本和所述第二文本样本的语义相关性的第一预测结果以及包括所述第一文本样本的第一实体特征和所述第二文本样本的第二实体特征的第二预测结果；相关性确定模块，用于根据所述第二预测结果，确定所述第一文本样本和所述第二文本样本的实体相关性；损失值计算模块，用于根据损失计算参数，计算模型损失值，所述损失计算参数包括：第一损失值和所述实体相关性，所述第一损失值为根据所述第一预测结果和第一标注信息计算得到，所述第一标注信息用于标注所述第一文本样本和所述第二文本样本的语义相关性；迭代调参模块，用于根据所述模型损失值，对所述初始模型的模型参数进行调整，直到计算的模型损失值达到预设损失值，得到训练完成的目标模型。根据本公开的实施例的第四方面，提供了一种确定文本相关度的装置，所述装置包括：第二序列确定模块，用于根据第一文本和第二文本确定第二输入序列；模型预测模块，用于将所述第二输入序列输入目标模型，通过所述目标模型输出所述第一文本和所述第二文本的相关度，所述目标模型根据上述用于确定文本相关度的模型训练方法训练得到。根据本公开的实施例的第五方面，提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现前述用于确定文本相关度的模型训练方法。根据本公开的实施例的第六方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述用于确定文本相关度的模型训练方法。本公开的实施例提供了一种用于确定文本相关度的模型训练方法、装置、电子设备及可读存储介质，所述方法包括：本公开实施例通过多任务学习模型确定文本相关度，将第一文本和第二文本对应的第一输入序列输入目标模型，通过所述目标模型分别确定第一任务的第一预测结果以及第二任务的第二预测结果，并基于所述第一预测结果和所述第二预测结果，确定所述第一文本与所述第二文本的相关度；以及通过所述目标模型输出所述第一文本与所述第二文本的相关度。其中，所述第一任务用于预测语义相关性，所述第二任务用于识别实体类别。本公开实施例在相关性分类的基础上引入实体识别任务，将两种任务进行联合训练得到目标模型，训练得到的目标模型在确定第一文本和第二文本的相关度过程中，以第一文本和第二文本的语义相关度为基础，以第一文本和第二文本的实体相关度为约束，使得目标模型确定的第一文本和第二文本的相关度同时满足语义相关和实体类别相关的需求，确定的相关度更加准确，可以进一步优化搜索结果。附图说明为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1示出了本公开的一个实施例中的用于确定文本相关度的模型训练方法的步骤流程图；图2示出了本公开的一个实施例中的训练目标模型的流程示意图；图3示出了本公开的一个实施例中的确定文本相关度的方法的步骤流程图；图4示出了本公开的一个实施例中的用于确定文本相关度的模型训练装置的结构图；图5示出了本公开的一个实施例中的确定文本相关度的装置的结构图；图6示出了本公开的一个实施例提供的电子设备的结构图。具体实施方式下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创本文档来自技高网...

【技术保护点】
1.一种用于确定文本相关度的模型训练方法，其特征在于，所述方法包括：/n根据第一文本样本和第二文本样本确定第一输入序列；/n将所述第一输入序列输入初始模型，获得包括所述第一文本样本和所述第二文本样本的语义相关性的第一预测结果以及包括所述第一文本样本的第一实体特征和所述第二文本样本的第二实体特征的第二预测结果；/n根据所述第二预测结果，确定所述第一文本样本和所述第二文本样本的实体相关性；/n根据损失计算参数，计算模型损失值，所述损失计算参数包括：第一损失值和所述实体相关性，所述第一损失值为根据所述第一预测结果和第一标注信息计算得到，所述第一标注信息用于标注所述第一文本样本和所述第二文本样本的语义相关性；/n根据所述模型损失值，对所述初始模型的模型参数进行调整，直到计算的模型损失值达到预设损失值，得到训练完成的目标模型。/n

【技术特征摘要】
1.一种用于确定文本相关度的模型训练方法，其特征在于，所述方法包括：
根据第一文本样本和第二文本样本确定第一输入序列；
将所述第一输入序列输入初始模型，获得包括所述第一文本样本和所述第二文本样本的语义相关性的第一预测结果以及包括所述第一文本样本的第一实体特征和所述第二文本样本的第二实体特征的第二预测结果；
根据所述第二预测结果，确定所述第一文本样本和所述第二文本样本的实体相关性；
根据损失计算参数，计算模型损失值，所述损失计算参数包括：第一损失值和所述实体相关性，所述第一损失值为根据所述第一预测结果和第一标注信息计算得到，所述第一标注信息用于标注所述第一文本样本和所述第二文本样本的语义相关性；
根据所述模型损失值，对所述初始模型的模型参数进行调整，直到计算的模型损失值达到预设损失值，得到训练完成的目标模型。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第二预测结果，确定所述第一文本样本和所述第二文本样本的实体相关性，包括：
将所述第二预测结果中的所述第一实体特征和所述第二实体特征分别进行平均池化后，计算余弦相似度；
根据所述余弦相似度，确定所述第一文本样本和所述第二文本样本的实体相关性。


3.根据权利要求1所述的方法，其特征在于，所述根据所述第二预测结果，确定所述第一文本样本和所述第二文本样本的实体相关性，包括：
对所述第二预测结果中的所述第一实体特征和所述第二实体特征计算最大公共子串；
根据所述最大公共子串，确定所述第一文本样本和所述第二文本样本的实体相关性。


4.根据权利要求1所述的方法，其特征在于，所述损失计算参数还包括：第二损失值，所述第二损失值为根据所述第二预测结果和第二标注信息计算得到，所述第二标注信息用于标注所述第一输入序列中每个字符对应的实体标签。


5.根据权利要求4所述的方法，其特征在于，所述根据损失计算参数，计算模型损失值，包括：
依据所述第一预测结果以及所述第一标注信息，通过第一损失函数计算第一损失值；
依据所述第二预测结果以及所述第二标注信息，通过第二损失函数计算第二损失值；
根据所述第一损失值、所述第二损失值、以及所述实体相关性，计算模型损失值。


6.根据权利要求5所述的方法，其特征在于，所述依据所述第一预测结果以及所述第一标注信息，通过第一损失函数计算第一损失值，包括：
依据所述第一预测结果，得到第一任务预测的所述第一文本样本和所述第二文本样本的语义相关概率；
根据所述语义相关概率以及所述第一标注信息，通过第一损失函数计算第一损失值。


7.根据权利要求5所述的方法，其特征在于，所述依据所...

【专利技术属性】
技术研发人员：王金刚，杨扬，步佳昊，任磊，李勇，周翔，张富峥，陈胜，仙云森，王仲远，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11