模型训练方法、装置、设备与存储介质制造方法及图纸

本申请涉及人工智能技术领域，本申请提供一种模型训练方法、装置、设备与存储介质，模型训练方法包括：获取输入样本，并根据输入样本构造第一样本对和第二样本对，第一样本对包含输入样本和与输入样本关联的正样本，第二样本对包含输入样本和与输入样本关联的负样本；将第一样本对输入第一模型，获得输入样本与正样本之间的第一相似度得分；将第二样本对输入第二模型，获得输入样本与负样本之间的第二相似度得分，第二模型与第一模型相同；计算第一相似度得分与第二相似度得分之间的得分差；若得分差不满足目标条件，对第一模型和第二模型参数进行调整，直到得分差满足目标条件。实施本申请，可以提高相似度匹配的准确性。可以提高相似度匹配的准确性。可以提高相似度匹配的准确性。

【技术实现步骤摘要】
模型训练方法、装置、设备与存储介质


[0001]本申请涉及人工智能
，尤其涉及一种模型训练方法、装置、设备与存储介质。

技术介绍

[0002]基于常见问题(frequently asked questions，FAQ)的问答系统通常采用检索知识库的方式来匹配客户的问答。整个检索过程通常分为两个部分，分别是召回部分和排序部分。召回部分主要是将知识库中可能的候选文本进行召回，缩小搜索范围，为后面排序阶段做准备。排序部分是将召回的候选文本输入模型得到各个候选文本与待查询文本的得分，从而将得分最高的候选文本所对应的回答文本作为待训文本所对应的回答文本。目前对该模型进行训练时，将两个句子组成句子对输入模型进行训练，从而让该模型学习两个输入的句子是否相似，这种方式只能让模型学习到输入的句子对中两个句子是否相似的特征，从而导致所计算的得分准确性比较低。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种模型训练方法、装置、设备与存储介质，不仅能够让模型学习到样本对中两个样本是否相似的特征，还可以让模型学习到样本对之间的差异特征，从而提高模型计算相似度得分的准确性，以提高相似度匹配的准确性。
[0004]第一方面，本申请提供一种模型训练方法，所述方法包括：
[0005]获取输入样本，并根据所述输入样本构造第一样本对和第二样本对，所述第一样本对包含所述输入样本和与所述输入样本关联的正样本，所述第二样本对包含所述输入样本和与所述输入样本关联的负样本；
[0006]将所述第一样本对输入第一模型，获得所述输入样本与所述正样本之间的第一相似度得分；
[0007]将所述第二样本对输入第二模型，获得所述输入样本与所述负样本之间的第二相似度得分，所述第二模型与所述第一模型相同；
[0008]计算所述第一相似度得分与所述第二相似度得分之间的得分差；
[0009]若所述得分差不满足目标条件，对所述第一模型和所述第二模型的参数进行调整，并从所述第一训练集的剩余样本中获取输入样本，所述剩余样本是所述第一训练集中未被获取的输入样本；根据从所述剩余样本中获取的输入样本构造第一样本对和第二样本对，直到所述得分差满足所述目标条件，将参数调整后的第一模型或第二模型确定为训练好的目标模型。
[0010]结合第一方面，在一些实施例中，所述正样本与所述输入样本之间的语义相似度大于相似度阈值，所述负样本与所述输入样本之间的语义相似度小于所述相似度阈值。
[0011]结合第一方面，在一些实施例中，若所述得分差不满足目标条件，对所述第一模型和所述第二模型的参数进行调整之前，还包括：
[0012]通过逻辑回归sigmoid函数将所述得分差进行归一化，获得归一化函数值；
[0013]根据所述归一化函数值与预设值之间的差异，确定所述得分差是否满足目标条件。
[0014]结合第一方面，在一些实施例中，所述预设值为1；
[0015]所述根据所述归一化函数值与预设值之间的差异，确定所述得分差是否满足目标条件，包括：
[0016]根据所述归一化函数值与1之间的差值，计算第一损失；
[0017]若所述第一损失大于或者等于第一阈值，则确定所述得分差不满足目标条件；
[0018]若所述第一损失小于所述第一阈值，则确定所述得分差满足目标条件。
[0019]结合第一方面，在一些实施例中，所述将参数调整后的第一模型或第二模型确定为训练好的目标模型之后，还包括：
[0020]获取待查询文本和至少两个候选文本；
[0021]将所述待查询文本分别与所述至少两个候选文本中的每个候选文本构建文本对，获得至少两个文本对，所述文本对包括所述待查询文本和一个候选文本；
[0022]将所述至少两个文本对中每个文本对输入所述训练好的目标模型，获得所述每个文本对的目标相似度得分；
[0023]从所述至少两个文本对中选择目标相似度得分最高的文本对，作为目标文本对；
[0024]将所述目标文本对中的候选文本所对应的预设文本确定为所述待查询文本的回答文本。
[0025]结合第一方面，在一些实施例中，所述从第一训练集中获取输入样本之前，还包括：
[0026]获取待训练的第三模型；
[0027]获取第二训练集，所述第二训练集包括多个第三样本对，所述第三样本对中包含第一训练样本和第二训练样本，所述第三样本对被标注实际相似度比较结果；
[0028]采用所述第二训练集对所述第三模型进行训练，获得训练好的第三模型，作为所述第一模型。
[0029]结合第一方面，在一些实施例中，所述采用所述第二训练集对所述第三模型进行训练，获得训练好的第三模型，包括：
[0030]从所述第二训练集中获取第三样本对，作为待训练样本对，所述第二训练集中包括多个第三样本对，每个第三样本对包括第一训练样本和第二训练样本；
[0031]将所述待训练样本对输入所述第三模型，获得所述待训练样本对的第三相似度得分；
[0032]基于所述第三相似度得分，确定所述第三样本对的预测相似度比较结果，所述预测相似度比较结果用于指示所述第三样本对中的所述第一训练样本和所述第二训练样本是否相似；
[0033]根据所述第三样本对的预测相似度比较结果和所述第三样本对的实际相似度比较结果之间的差异，计算第二损失；
[0034]若所述第二损失大于或者等于第二阈值，调整所述第三模型的参数，并从所述第二训练集的剩余样本对中获取第三样本对，作为待训练样本对，直到所述第二损失小于所
述第二阈值，将参数调整后的第三模型确定为训练好的第三模型，所述剩余样本对包括所述第二训练集中未被获取的第三样本对。
[0035]第二方面，本申请提供一种模型训练装置，该装置包括：
[0036]第一获取单元，用于获取输入样本，并根据所述输入样本构造第一样本对和第二样本对，所述第一样本对包含所述输入样本和与所述输入样本关联的正样本，所述第二样本对包含所述输入样本和与所述输入样本关联的负样本；
[0037]第二获取单元，用于将所述第一样本对输入第一模型，获得所述输入样本与所述正样本之间的第一相似度得分；
[0038]第三获取单元，用于将所述第二样本对输入第二模型，获得所述输入样本与所述负样本之间的第二相似度得分，所述第二模型与所述第一模型相同；
[0039]计算单元，用于计算所述第一相似度得分与所述第二相似度得分之间的得分差；
[0040]第一模型训练单元，用于若所述得分差不满足目标条件，对所述第一模型和所述第二模型的参数进行调整，并从所述第一训练集的剩余样本中获取输入样本，所述剩余样本是所述第一训练集中未被获取的输入样本；根据从所述剩余样本中获取的输入样本构造第一样本对和第二样本对，直到所述得分差满足所述目标条件，将参数调整后的第一模型或第二模型确定为训练好的目标模型。
[0041]结合第二方面，在一些实施例中，所述正样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：从第一训练集中获取输入样本，并根据所述输入样本构造第一样本对和第二样本对，所述第一样本对包含所述输入样本和与所述输入样本关联的正样本，所述第二样本对包含所述输入样本和与所述输入样本关联的负样本，所述输入样本为问答系统中用户的语音数据转换得到的文本数据；将所述第一样本对输入第一模型，获得所述输入样本与所述正样本之间的第一相似度得分；将所述第二样本对输入第二模型，获得所述输入样本与所述负样本之间的第二相似度得分，所述第二模型与所述第一模型相同；计算所述第一相似度得分与所述第二相似度得分之间的得分差；若所述得分差不满足目标条件，对所述第一模型和所述第二模型的参数进行调整，并从所述第一训练集的剩余样本中获取输入样本，所述剩余样本是所述第一训练集中未被获取的输入样本；根据从所述剩余样本中获取的输入样本构造第一样本对和第二样本对，直到所述得分差满足所述目标条件，将参数调整后的第一模型或第二模型确定为训练好的目标模型。2.如权利要求1所述的方法，其特征在于，所述正样本与所述输入样本之间的语义相似度大于相似度阈值，所述负样本与所述输入样本之间的语义相似度小于所述相似度阈值。3.如权利要求1或2所述的方法，其特征在于，所述若所述得分差不满足目标条件，对所述第一模型和所述第二模型的参数进行调整之前，还包括：通过逻辑回归sigmoid函数将所述得分差进行归一化，获得归一化函数值；根据所述归一化函数值与预设值之间的差异，确定所述得分差是否满足目标条件。4.如权利要求3所述的方法，其特征在于，所述预设值为1；所述根据所述归一化函数值与预设值之间的差异，确定所述得分差是否满足目标条件，包括：根据所述归一化函数值与1之间的差值，计算第一损失；若所述第一损失大于或者等于第一阈值，则确定所述得分差不满足目标条件；若所述第一损失小于所述第一阈值，则确定所述得分差满足目标条件。5.如权利要求4所述的方法，其特征在于，所述将参数调整后的第一模型或第二模型确定为训练好的目标模型之后，还包括：获取待查询文本和至少两个候选文本；将所述待查询文本分别与所述至少两个候选文本中的每个候选文本构建文本对，获得至少两个文本对，所述文本对包括所述待查询文本和一个候选文本；将所述至少两个文本对中每个文本对输入所述训练好的目标模型，获得所述每个文本对的目标相似度得分；从所述至少两个文本对中选择目标相似度得分最高的文本对，作为目标文本对；将所述目标文本对中的候选文本所对应的预设文本确定为所述待查询文本的回答文本。6.如权利要求1
‑
5任一项所述的方法，其特征在于，所述从第一训练集中获取输入样本之前，还包括：
获取待训练的第三模型；获取第二训练集，所述第二训练集包括多个第三样本对，...

【专利技术属性】
技术研发人员：严力，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：