System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 查询词改写模型的训练方法、查询方法及相关产品技术_技高网

查询词改写模型的训练方法、查询方法及相关产品技术

技术编号:40748322 阅读:2 留言:0更新日期:2024-03-25 20:05
本申请公开了一种查询词改写模型的训练方法、查询方法及相关产品。该方法包括:获取第一待训练改写模型、目标相关性模型和第一查询词,所述目标相关性模型用于确定词与词的相关性;利用所述第一待训练改写模型对所述第一查询词进行处理,生成与所述第一查询词匹配的第一改写词;利用所述目标相关性模型确定所述第一查询词与所述第一改写词的第一相关性;在所述第一相关性大于或等于第一阈值的情况下,通过将所述第一改写词作为所述第一查询词的标注数据,利用所述第一查询词和所述第一改写词对所述第一待训练改写模型进行训练,得到所述第一待训练改写模型的第一损失;基于所述第一损失,更新所述第一待训练改写模型的参数,得到查询词改写模型。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种查询词改写模型的训练方法、查询方法及相关产品


技术介绍

1、在使用查询词进行查询时,若与查询词相关的查询结果的数量少,那么通过该查询词召回的查询结果的数量少,因此为提高召回量,通常采用先将查询词改写为与查询词匹配的改写词,再使用改写词进行查询。

2、目前常见的将查询词改写为改写词的方法是,利用深度学习模型对查询词进行处理,生成与该查询词匹配的改写词。但在利用深度学习模型生成改写词之前,需要对深度学习模型进行训练,因此如何对深度学习模型进行训练具有非常重要的意义。


技术实现思路

1、本申请提供一种查询词改写模型的训练方法、查询方法及相关产品。

2、第一方面,提供了一种查询词改写模型的训练方法,所述训练方法包括:

3、获取第一待训练改写模型、目标相关性模型和第一查询词,所述目标相关性模型用于确定词与词的相关性;

4、利用所述第一待训练改写模型对所述第一查询词进行处理,生成与所述第一查询词匹配的第一改写词;

5、利用所述目标相关性模型确定所述第一查询词与所述第一改写词的第一相关性;

6、在所述第一相关性大于或等于第一阈值的情况下,通过将所述第一改写词作为所述第一查询词的标注数据,利用所述第一查询词和所述第一改写词对所述第一待训练改写模型进行训练,得到所述第一待训练改写模型的第一损失;

7、基于所述第一损失,更新所述第一待训练改写模型的参数,得到查询词改写模型。

8、结合本申请任一实施方式,所述获取目标相关性模型,包括:

9、获取待训练相关性模型、第二查询词以及与所述第二查询词匹配的第二改写词;

10、利用所述待训练相关性模型对所述第二查询词和所述第二改写词进行处理,得到所述第二查询词与所述第二改写词的第二相关性;

11、根据所述第二相关性,得到所述待训练相关性模型的第二损失,所述第二损失与所述第二相关性呈负相关;

12、基于所述第二损失,更新所述待训练相关性模型的参数,得到所述目标相关性模型。

13、结合本申请任一实施方式,所述利用所述待训练相关性模型对所述第二查询词和所述第二改写词进行处理,得到所述第二查询词与所述第二改写词的第二相关性,包括:

14、利用所述待训练相关性模型对所述第二查询词进行处理,得到所述第二查询词的第一特征数据;

15、利用所述待训练相关性模型对所述第二改写词进行处理,得到所述第二改写词的第二特征数据;

16、所述待训练相关性模型确定所述第一特征数据与所述第二特征数据的第一相似度;

17、所述待训练相关性模型根据所述第一相似度,得到所述第二相关性,所述第二相关性与所述第一相似度呈正相关。

18、结合本申请任一实施方式,获取第一待训练改写模型,包括:

19、获取第二待训练改写模型、第三查询词以及与所述第三查询词匹配的第三改写词;

20、利用所述第二待训练改写模型对所述第三查询词进行处理,生成与所述第三查询词匹配的第四改写词;

21、根据所述第三改写词与所述第四改写词的第二相似度,得到所述第二待训练改写模型的第三损失,所述第三损失与所述第二相似度呈负相关;

22、基于所述第三损失,更新所述第二待训练改写模型的参数,得到所述第一待训练改写模型。

23、结合本申请任一实施方式,所述获取第三查询词以及与所述第三查询词匹配的第三改写词,包括:

24、获取目标查询记录,所述目标查询记录包括至少两个历史查询词,以及根据所述至少两个历史查询词得到的至少一个历史查询结果;

25、从所述至少两个历史查询词中确定与同一个历史查询结果对应的至少两个目标查询词;

26、从所述至少两个目标查询词中选取两个目标查询词分别作为所述第三查询词和所述第三改写词。

27、结合本申请任一实施方式,所述查询词记录还包括:所述至少两个历史查询词的查询时间和所述至少一个历史查询结果的选择结果,所述选择结果包括所述历史查询结果已被选择或所述历史查询结果未被选择;

28、所述从所述至少两个历史查询词中确定与同一个历史查询结果对应的至少两个目标查询词,包括:

29、根据所述至少两个历史查询词的查询时间和所述至少一个历史查询结果的选择结果,从所述至少两个历史查询词中确定与同一个历史查询结果对应的至少两个目标查询词;

30、所述至少两个目标查询词中查询时间相邻的两个目标查询词的查询时间差小于或等于第二阈值,且所述至少两个目标查询词中的参考查询词的数量小于或等于第三阈值,所述参考查询词的历史查询结果的选择结果为已被选择。

31、结合本申请任一实施方式,所述利用所述第二待训练改写模型对所述第三查询词进行处理,生成与所述第三查询词匹配的第四改写词,包括:

32、利用所述第二待训练改写模型对所述第三查询词进行处理,生成所述第三查询词的同义词,作为所述第四改写词。

33、第二方面,提供了一种查询方法,所述查询方法包括:

34、获取针对目标查询词的查询请求;

35、获取根据第一方面及其任一实施方式得到的查询词改写模型;

36、利用所述查询词改写模型对所述目标查询词进行处理,生成与所述目标查询词匹配的目标改写词;

37、利用所述目标改写词进行查询,得到目标查询结果;

38、将所述目标查询结果作为所述查询请求的查询结果。

39、第三方面,提供了一种查询词改写模型的训练装置,所述训练装置包括:

40、获取单元,用于获取第一待训练改写模型、目标相关性模型和第一查询词,所述目标相关性模型用于确定词与词的相关性;

41、生成单元,用于利用所述第一待训练改写模型对所述第一查询词进行处理,生成与所述第一查询词匹配的第一改写词;

42、确定单元,用于利用所述目标相关性模型确定所述第一查询词与所述第一改写词的第一相关性;

43、训练单元,用于在所述第一相关性大于或等于第一阈值的情况下,通过将所述第一改写词作为所述第一查询词的标注数据,利用所述第一查询词和所述第一改写词对所述第一待训练改写模型进行训练,得到所述第一待训练改写模型的第一损失;

44、所述训练单元,还用于基于所述第一损失,更新所述第一待训练改写模型的参数,得到查询词改写模型。

45、结合本申请任一实施方式,所述获取单元,用于:

46、获取待训练相关性模型、第二查询词以及与所述第二查询词匹配的第二改写词;

47、利用所述待训练相关性模型对所述第二查询词和所述第二改写词进行处理,得到所述第二查询词与所述第二改写词的第二相关性;

48、根据所述第二相关性,得到所述待训练相关性模型的第二损失,所述第二损失与所述第二相关性呈负相关;本文档来自技高网...

【技术保护点】

1.一种查询词改写模型的训练方法,其特征在于,所述训练方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取目标相关性模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述利用所述待训练相关性模型对所述第二查询词和所述第二改写词进行处理,得到所述第二查询词与所述第二改写词的第二相关性,包括:

4.根据权利要求1至3中任意一项所述的方法,其特征在于,获取第一待训练改写模型,包括:

5.根据权利要求4所述的方法,其特征在于,所述获取第三查询词以及与所述第三查询词匹配的第三改写词,包括:

6.根据权利要求5所述的方法,其特征在于,所述查询词记录还包括:所述至少两个历史查询词的查询时间和所述至少一个历史查询结果的选择结果,所述选择结果包括所述历史查询结果已被选择或所述历史查询结果未被选择;

7.根据权利要求4所述的方法,其特征在于,所述利用所述第二待训练改写模型对所述第三查询词进行处理,生成与所述第三查询词匹配的第四改写词,包括:

8.一种查询方法,其特征在于,所述查询方法包括:

>9.一种查询词改写模型的训练装置,其特征在于,所述训练装置包括:

10.一种查询装置,其特征在于,所述查询装置包括:

11.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令;

...

【技术特征摘要】

1.一种查询词改写模型的训练方法,其特征在于,所述训练方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取目标相关性模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述利用所述待训练相关性模型对所述第二查询词和所述第二改写词进行处理,得到所述第二查询词与所述第二改写词的第二相关性,包括:

4.根据权利要求1至3中任意一项所述的方法,其特征在于,获取第一待训练改写模型,包括:

5.根据权利要求4所述的方法,其特征在于,所述获取第三查询词以及与所述第三查询词匹配的第三改写词,包括:

6.根据权利要求5所述的方法,其特征在于,所述查询词记录还包括:所述至少两个历史查询词的查询时间和所述至少一个历史查询结果的选择结果...

【专利技术属性】
技术研发人员:汪自力
申请(专利权)人:小红书科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1