训练搜索词生成模型的方法、生成搜索词的方法和装置制造方法及图纸

技术编号:43585529 阅读:22 留言:0更新日期:2024-12-06 17:48
本申请公开了训练搜索词生成模型的方法、生成训练搜索词的方法和装置。训练搜索词生成模型的方法包括:生成步骤,将文本输入预训练模型,生成多个搜索词;计算步骤,将多个搜索词和文本输入相关性模型,计算得到每个搜索词和文本的相关性分数;分类步骤,基于多个相关性分数,将多个搜索词中的一个或多个第一搜索词分类作为正样本,并将多个搜索词中的一个或多个第二搜索词分类作为负样本;训练步骤,使用多个搜索词构成的第一损失函数、以及正样本和负样本构成的第二损失函数对预训练模型进行训练,以得到训练后的搜索词生成模型。本发明专利技术可以保证生成的搜索词与文本之间保持高度的相关性,同时也极大地提升了搜索词的质量。

【技术实现步骤摘要】

本专利技术涉及人工智能领域,特别涉及训练搜索词生成模型的方法、生成搜索词的方法和装置、存储介质、电子设备以及计算机程序产品。


技术介绍

1、搜索词是指用户进行搜索时所使用的词语。希望通过文本生成一系列与文本高相关的搜索词,从而为后续的搜索召回以及文本推词提供支撑。

2、现有的搜索词生成方法主要存在以下两个缺点:

3、1.由于目前的方法是直接将文档内容输入到transformer模型中进行训练及推理,该模型仅针对文本进行编码,缺少针对文本与搜索词计算的过程,因此生成的搜索词很多都与文档不相关。

4、2.生成搜索词的任务属于文本生成领域的一个任务,因此生成的文本会遇到曝光过度的问题,从而导致生成的搜索词质量差,会出现叠词情况。曝光过度的问题是指,在训练的时候由于训练数据被模型记住,因此在推理的时候,当遇到没有见过的训练数据时,模型无法生成合适的搜索词。

5、因此,现有的搜索词生成方法并不理想。


技术实现思路

1、本申请实施例提供了训练搜索词生成模型的方法、生成搜索词本文档来自技高网...

【技术保护点】

1.一种训练搜索词生成模型的方法,用于电子设备,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在分类步骤中,将所述相关性分数大于第一阈值的搜索词作为所述第一搜索词,并将所述相关性分数小于第二阈值的搜索词作为所述第二搜索词,

3.根据权利要求1所述的方法,其特征在于,所述第一损失函数被赋予第一权重,并且所述第二损失函数被赋予第二权重。

4.根据权利要求3所述的方法,其特征在于,在对所述预训练模型进行训练的过程中,动态地调整所述第一权重和所述第二权重。

5.根据权利要求1-4中任一项所述的方法,其特征在于,所述预训练模型...

【技术特征摘要】

1.一种训练搜索词生成模型的方法,用于电子设备,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在分类步骤中,将所述相关性分数大于第一阈值的搜索词作为所述第一搜索词,并将所述相关性分数小于第二阈值的搜索词作为所述第二搜索词,

3.根据权利要求1所述的方法,其特征在于,所述第一损失函数被赋予第一权重,并且所述第二损失函数被赋予第二权重。

4.根据权利要求3所述的方法,其特征在于,在对所述预训练模型进行训练的过程中,动态地调整所述第一权重和所述第二权重。

5.根据权利要求1-4中任一项所述的方法,其特征在于,所述预训练模型是预训练的mt5模型,所述相关性模型是bert模型。

6.根据权利要求1-4中任一项所述的方法,其特征在于,所述第一损失函数是最大似然损失函数,所述第二损失函数是对比学习损失函数。

7.一种生成搜索词的...

【专利技术属性】
技术研发人员:汪自力
申请(专利权)人:小红书科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1