搜索排序模型训练方法及装置、搜索排序方法及装置制造方法及图纸

本申请公开了一种搜索排序模型训练方法，属于计算机技术领域，有助于提升搜索排序结果的准确性。所述方法包括：基于搜索查询领域的预设训练样本集对BERT模型进行预训练，得到与搜索查询领域匹配的BERT模型参数；通过BERT模型参数初始化预设匹配识别模型的BERT编码网络，并基于对预设训练样本集进行抽样后得到的若干单个搜索内容组成的第一训练样本学习查询输入和搜索内容的匹配关系，训练匹配识别模型；通过匹配识别模型的网络参数初始化预设搜索排序模型的BERT编码网络，并基于对预设训练样本集进行抽样得到的包括多个搜索内容的若干第二训练样本，训练预设搜索排序模型,提升了搜索排序模型的搜索排序结果准确性。

【技术实现步骤摘要】
搜索排序模型训练方法及装置、搜索排序方法及装置
本申请实施例涉及计算机
，特别是涉及一种搜索排序模型训练方法及装置、搜索排序方法及装置、电子设备及计算机可读存储介质。
技术介绍
在搜索应用领域中，查询输入和搜索内容的相关性计算以及排序的性能直接影响搜索性能，如搜索结果的准确性。因此，查询输入与搜索内容的搜索排序方法的改进，是本领域技术人员一直探索的问题。现有技术中常见的搜索排序方法包括：基于传统特征拟合的方法、基于pointwise(单个文档排序)的搜索排序方法、基于listwise(多个文档排序)的搜索排序方法等。然而，基于传统特征拟合的方法需要手动设计大量的特征，人工成本较高；基于pointwise的搜索排序方法不能做样本的比较，因此不太适合训练排序的模型；基于listwise的搜索排序方法存在可见，现有技术中的搜索排序方法仍需要改进。
技术实现思路
本申请实施例提供一种搜索排序模型训练方法、搜索排序方法，有助于提升搜索排序结果的准确性。第一方面，本申请实施例提供了一种搜索排序模型训练方法，包括：基于搜索查询领域的预设训练样本集对BERT模型进行预训练，得到与所述搜索查询领域匹配的BERT模型参数；通过所述BERT模型参数初始化预设匹配识别模型的BERT编码网络，并基于对所述预设训练样本集进行抽样后得到的第一样本集合，训练所述预设匹配识别模型，其中，所述基于对所述预设训练样本集进行抽样后得到的第一样本集合，训练所述预设匹配识别模型，包括：通过分别对所述第一样本集合中各第一训练样本的样本数据中各维度信息之间的匹配关系进行学习，确定所述BERT编码网络用于进行特征编码的网络参数；通过所述网络参数初始化预设搜索排序模型的所述BERT编码网络，并基于对所述预设训练样本集进行抽样得到的第二样本集合，训练所述预设搜索排序模型；其中，所述第二样本集合中的每条第二训练样本包括与查询输入对应的多条正例搜索内容和多条负例搜索内容。第二方面，本申请实施例提供了一种搜索排序模型训练装置，包括：第一训练模块，用于基于搜索查询领域的预设训练样本集对BERT模型进行预训练，得到与所述搜索查询领域匹配的BERT模型参数；第二训练模块，用于通过所述BERT模型参数初始化预设匹配识别模型的BERT编码网络，并基于对所述预设训练样本集进行抽样后得到的第一样本集合，训练所述预设匹配识别模型，其中，所述基于对所述预设训练样本集进行抽样后得到的第一样本集合，训练所述预设匹配识别模型，包括：通过分别对所述第一样本集合中各第一训练样本的样本数据中各维度信息之间的匹配关系进行学习，确定所述BERT编码网络用于进行特征编码的网络参数；第三训练模块，用于通过所述网络参数初始化预设搜索排序模型的所述BERT编码网络，并基于对所述预设训练样本集进行抽样得到的第二样本集合，训练所述预设搜索排序模型；其中，所述第二样本集合中的每条第二训练样本包括与查询输入对应的多条正例搜索内容和多条负例搜索内容。第三方面，本申请实施例提供了一种搜索排序方法，包括：对于每个候选搜索内容，分别通过如本申请实施例中所述的搜索排序模型训练方法训练的搜索排序模型，获取所述候选搜索内容的排序得分；根据各所述候选搜索内容的所述排序得分，对所述候选搜索内容进行排序；其中，获取所述候选搜索内容的排序得分，包括：根据目标查询输入、所述目标查询收入匹配的查询类型和所述候选搜索内容，采用基于预设词表切词的方法确定序列输入；通过如本申请实施例中所述的搜索排序模型训练方法训练的搜索排序模型的BERT编码网络对所述序列输入进行编码映射，确定所述序列输入的第一向量表示；将所述第一向量表示与所述序列输入对应的精准匹配特征的向量表示进行融合，得到所述序列输入对应的向量表示，其中，所述序列输入对应的精准匹配特征的向量表示用于表达：所述查询输入和所述候选搜索内容的精准匹配信息；对所述序列输入对应的向量表示执行还原处理；对执行还原处理后得到的向量表示进行特征映射，得到所述候选搜索内容对应的隐层输出；通过所述搜索排序模型的单层感知机对所述隐层输出进行降维处理，得到所述候选搜索内容的排序得分。第四方面，本申请实施例提供了一种搜索排序装置，包括：排序得分确定模块，用于对于每个候选搜索内容，分别通过本申请实施例所述的搜索排序模型训练方法训练的搜索排序模型，获取所述候选搜索内容的排序得分；排序模块，用于根据各所述候选搜索内容的所述排序得分，对所述候选搜索内容进行排序；在获取所述候选搜索内容的排序得分时，所述排序得分确定模块，进一步包括：序列输入确定子模块，用于根据目标查询输入、所述目标查询收入匹配的查询类型和所述候选搜索内容，采用基于预设词表切词的方法确定序列输入；第一向量表示确定子模块，用于通过所述预设搜索排序模型的BERT编码网络对所述序列输入进行编码映射，确定所述序列输入的第一向量表示；向量融合子模块，用于将所述第一向量表示与所述序列输入对应的精准匹配特征的向量表示进行融合，得到所述序列输入对应的向量表示，其中，所述序列输入对应的精准匹配特征的向量表示用于表达：所述查询输入和所述候选搜索内容的精准匹配信息；向量还原子模块，用于对所述序列输入对应的向量表示执行还原处理；特征映射子模块，用于对执行还原处理后得到的向量表示进行特征映射，得到所述候选搜索内容对应的隐层输出；排序得分确定子模块，用于通过所述搜索排序模型的单层感知机对所述隐层输出进行降维处理，得到所述候选搜索内容的排序得分。第五方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的搜索排序模型训练方法和/或实现本申请实施例所述的搜索排序方法。第六方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的搜索排序模型训练方法的步骤和/或实现本申请实施例所述的搜索排序方法的步骤。本申请实施例公开的搜索排序模型训练方法，通过基于搜索查询领域的预设训练样本集对BERT模型进行预训练，得到与所述搜索查询领域匹配的BERT模型参数；通过所述BERT模型参数初始化预设匹配识别模型的BERT编码网络，并基于对所述预设训练样本集进行抽样后得到的第一样本集合，训练所述预设匹配识别模型，其中，所述基于对所述预设训练样本集进行抽样后得到的第一样本集合，训练所述预设匹配识别模型，包括：通过分别对所述第一样本集合中各第一训练样本的样本数据中各维度信息之间的匹配关系进行学习，确定所述BERT编码网络用于进行特征编码的网络参数；通过所述网络参数初始化预设搜索排序模型的所述BERT编码网络，并基于对所述预设训练样本集进行抽样得到的第二样本集合，训练所述预设搜索排序模型；其中，所述第二样本集合中的每条第二训练样本包本文档来自技高网...

【技术保护点】
1.一种搜索排序模型训练方法，其特征在于，包括：/n基于搜索查询领域的预设训练样本集对BERT模型进行预训练，得到与所述搜索查询领域匹配的BERT模型参数；/n通过所述BERT模型参数初始化预设匹配识别模型的BERT编码网络，并基于对所述预设训练样本集进行抽样后得到的第一样本集合，训练所述预设匹配识别模型，其中，所述基于对所述预设训练样本集进行抽样后得到的第一样本集合，训练所述预设匹配识别模型，包括：通过分别对所述第一样本集合中各第一训练样本的样本数据中各维度信息之间的匹配关系进行学习，确定所述BERT编码网络用于进行特征编码的网络参数；/n通过所述网络参数初始化预设搜索排序模型的所述BERT编码网络，并基于对所述预设训练样本集进行抽样得到的第二样本集合，训练所述预设搜索排序模型；其中，所述第二样本集合中的每条第二训练样本包括与查询输入对应的多条正例搜索内容和多条负例搜索内容。/n

【技术特征摘要】
1.一种搜索排序模型训练方法，其特征在于，包括：
基于搜索查询领域的预设训练样本集对BERT模型进行预训练，得到与所述搜索查询领域匹配的BERT模型参数；
通过所述BERT模型参数初始化预设匹配识别模型的BERT编码网络，并基于对所述预设训练样本集进行抽样后得到的第一样本集合，训练所述预设匹配识别模型，其中，所述基于对所述预设训练样本集进行抽样后得到的第一样本集合，训练所述预设匹配识别模型，包括：通过分别对所述第一样本集合中各第一训练样本的样本数据中各维度信息之间的匹配关系进行学习，确定所述BERT编码网络用于进行特征编码的网络参数；
通过所述网络参数初始化预设搜索排序模型的所述BERT编码网络，并基于对所述预设训练样本集进行抽样得到的第二样本集合，训练所述预设搜索排序模型；其中，所述第二样本集合中的每条第二训练样本包括与查询输入对应的多条正例搜索内容和多条负例搜索内容。


2.根据权利要求1所述的方法，其特征在于，所述第一样本集合中每条第一训练样本的样本数据包括以下维度信息：查询输入、查询类型、与查询输入对应的一条搜索内容；所述通过分别对所述第一样本集合中各第一训练样本的样本数据中各维度信息之间的匹配关系进行学习，确定所述BERT编码网络用于进行特征编码的网络参数的步骤，包括：
根据所述第一样本集合中每个第一训练样本包括的查询输入、查询类型、与查询输入对应的一条搜索内容，分别确定与每条所述第一训练样本对应的序列输入；
通过预设匹配识别模型的BERT编码网络对每个所述序列输入进行编码映射，分别确定各所述第一训练样本对应的隐层输出；
通过所述预设匹配识别模型的输出层将每个所述隐层输出映射为所述第一训练样本对应的匹配度预测值；
通过交叉熵损失函数，根据所有所述第一训练样本对应的匹配度预测值，优化所述预设匹配识别模型的网络参数。


3.根据权利要求1所述的方法，其特征在于，所述基于对所述预设训练样本集进行抽样得到的第二样本集合，训练所述预设搜索排序模型的步骤，包括：
分别确定与所述第二样本集合中每条第二训练样本对应的多个序列输入；
通过所述预设搜索排序模型的BERT编码网络，对每个所述序列输入进行编码映射，分别确定各所述序列输入对应的正例搜索内容或负例搜索内容对应的隐层输出；
通过所述预设搜索排序模型的单层感知机分别对各所述正例搜索内容或负例搜索内容对应的隐层输出进行降维处理，得到各所述正例搜索内容或负例搜索内容对应的排序得分；
对各所述正例搜索内容或负例搜索内容对应的排序得分进行归一化处理，得到各所述正例搜索内容或负例搜索内容对应的归一化排序得分；
通过对正例搜索内容对应的归一化排序得分进行负对数似然损失优化，训练所述预设搜索排序模型的网络参数。


4.根据权利要求3所述的方法，其特征在于，所述分别确定与所述第二样本集合中每条第二训练样本对应的多个序列输入，包括：
对于所述第二样本集合中每个第二训练样本，分别执行以下操作：
通过预设匹配识别模型的BERT编码网络，对所述第二训练样本包括的查询输入中未包含在预设词表内的词、所述第二训练样本包括的正例搜索内容和负例搜索内容中未包含在所述预设词表中的词，分别基于所述预设词表进行切分，得到每个所述词对应的词语片段；
将所述查询输入中包含在所述预设词表中的词、对所述查询输入中未包含在所述预设词表中的词切分得到的词语片段、查询类型、所述正例搜索内容和负例搜索内容中包含在所述预设词表中的词、对所述正例搜索内容和负例搜索内容中未包含在所述预设词表中的词切分得到的词语片段，进行拼接，确定所述第二训练样本对应的多个序列输入，其中，所述第二训练样本对应的每个序列输入分别对应所述第二训练样本包括的一个正例搜索内容或一个负例搜索内容。


5.根据权利要求4所述的方法，其特征在于，所述通过所述预设搜索排序模型的BERT编码网络，对每个所述序列输入进行编码映射，分别确定各所述序列输入对应的正例搜索内容或负例搜索内容对应的隐层输出的步骤之前，还包括：
对于所述第二样本集合中每个第二训练样本，分别通过预设搜索排序模型的BERT编码网络确定所述第二训练样本中各正例搜索内容和各负例搜索内容的精准匹配特征的向量表示，其中，所述精准匹配特征用于表达所述第二训练样本包括的所述查询输入和所述正例搜索内容或所述负例搜索内容的精准匹配信息；
所述通过所述预设搜索排序模型的BERT编码网络，对每个所述序列输入进行编码映射，分别确定各所述序列输入对应的正例搜索内容或负例搜索内容对应的隐层输出的步骤，包括：
对于每个所述序列输入，通过预设搜索排序模型的BERT编码网络对所述序列输入进行编码映射，得到所述序列输入的第一向量表示；
将所述第一向量表示与所述序列输入对应的所述正例搜索内容或负例搜索内容的所述精准匹配特征的向量表示进行融合，得到所述序列输入对应的向量表示；
对所述序列输入对应的向量表示执行还原处理；对执行还原处理后得到的向量表示进行特征映射，得到所述第二训练样本中包括的各正例搜索内容和各负例搜索内容对应的隐层输出。


6.一种搜索排序方法，其特征在于，包括：
对于每个候选搜索内容，分别通过如权利要求1至5任一项所述的搜索排序模型训练方法训练的搜索排序模型，获取所述候选搜索内容的排序得分；
根据各所...

【专利技术属性】
技术研发人员：孙兴武，唐弘胤，张富峥，王仲远，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11