System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 训练方法、查询方法及相关产品技术_技高网

训练方法、查询方法及相关产品技术

技术编号:40765934 阅读:2 留言:0更新日期:2024-03-25 20:16
本申请公开了一种训练方法、查询方法及相关产品,所述训练方法包括:获取训练查询词中的第一词语的第一特征向量、所述训练查询词中的第二词语的第二特征向量、与所述训练查询词匹配的训练查询结果的第三特征向量;获取第一待训练向量;基于所述第一待训练向量,确定所述第一特征向量的第一权重和所述第二特征向量的第二权重;根据所述第一权重和所述第二权重,对所述第一特征向量和所述第二特征向量进行加权融合,得到所述训练查询词的第四特征向量;确定所述第三特征向量与所述第四特征向量的第一相似度;根据所述第一相似度,得到第一损失;基于所述第一损失,更新所述第一待训练向量的参数,得到目标向量。

【技术实现步骤摘要】

本申请涉及深度学习,尤其涉及一种训练方法、查询方法及相关产品


技术介绍

1、在使用查询词进行查询时,通常需要通过确定查询词中的词语的重要性,以确定词语的权重,然后根据查询词中的词语的权重对查询词中的词语进行加权融合,确定查询词所表达的信息。

2、目前的技术中,通常是利用一个表征查询词的全局信息的向量衡量查询词中的词语的重要性,进而确定词语的权重。因此,如何提高该向量对查询词中的词语的重要性的判断准确度具有非常重要的意义。


技术实现思路

1、本申请提供一种训练方法、查询方法及相关产品。

2、第一方面,提供了一种训练方法,所述训练方法包括:

3、获取训练查询词中的第一词语的第一特征向量、所述训练查询词中的第二词语的第二特征向量、与所述训练查询词匹配的训练查询结果的第三特征向量;

4、获取第一待训练向量,所述第一待训练向量表征所述训练查询词的全局信息;

5、基于所述第一待训练向量,确定所述第一特征向量的第一权重和所述第二特征向量的第二权重;

6、根据所述第一权重和所述第二权重,对所述第一特征向量和所述第二特征向量进行加权融合,得到所述训练查询词的第四特征向量;

7、确定所述第三特征向量与所述第四特征向量的第一相似度;

8、根据所述第一相似度,得到第一损失,所述第一损失与所述第一相似度呈负相关;

9、基于所述第一损失,更新所述第一待训练向量的参数,得到目标向量。

10、结合本申请任一实施方式,在得到所述训练查询词的第四特征向量之后,在所述根据所述第一相似度,得到第一损失之前,所述训练方法还包括:

11、获取所述训练查询词的参考类目;

12、根据所述第四特征向量,预测所述训练查询词的预测类目;

13、根据所述参考类目与所述预测类目的差异,得到第二损失,所述第二损失与所述差异呈正相关;

14、所述根据所述第一相似度,得到第一损失,包括:

15、根据所述第二损失和所述第一相似度,得到第一损失,所述第一损失与所述第二损失呈正相关,且所述第一损失与所述第一相似度呈负相关。

16、结合本申请任一实施方式,所述基于所述第一待训练向量,确定所述第一特征向量的第一权重和所述第二特征向量的第二权重,包括:

17、确定所述第一待训练向量与所述第一特征向量的第二相似度;

18、确定所述第一待训练向量与所述第二特征向量的第三相似度;

19、根据所述第二相似度和所述第三相似度,确定所述第一权重和所述第二权重;在所述第二相似度大于所述第三相似度的情况下,所述第一权重大于所述第二权重,在所述第二相似度等于所述第三相似度的情况下,所述第一权重等于所述第二权重。

20、结合本申请任一实施方式,所述获取训练查询词中的第一词语的第一特征向量、所述训练查询词中的第二词语的第二特征向量,包括:

21、获取所述训练查询词;

22、对所述训练查询词进行分词,得到所述第一词语和所述第二词语;

23、对所述第一词语进行编码,得到所述第一特征向量;

24、对所述第二词语进行编码,得到所述第二特征向量。

25、结合本申请任一实施方式,所述训练查询结果为与所述训练查询词匹配的查询结果中被选择的查询结果。

26、结合本申请任一实施方式,所述训练查询结果为文档,所述获取与所述训练查询词匹配的训练查询结果的第三特征向量,包括:

27、获取所述训练查询结果中的第三词语的第五特征向量和所述训练查询结果中的第四词语的第六特征向量;

28、获取第二待训练向量,所述第二待训练向量表征所述训练查询结果的全局信息;

29、基于所述第二待训练向量,确定所述第五特征向量的第三权重和所述第六特征向量的第四权重;

30、根据所述第三权重和所述第四权重,对所述第五特征向量和所述第六特征向量进行加权融合,得到所述训练查询结果的第三特征向量。

31、结合本申请任一实施方式,在得到所述第一损失之后,所述方法还包括:

32、基于所述第一损失,更新所述第二待训练向量的参数。

33、第二方面,提供了一种查询方法,所述查询方法包括:

34、获取目标查询词和根据第一方面及其任一实施方式得到的目标向量;

35、对所述目标查询词进行分词,得到第五词语和第六词语;

36、对所述第五词语进行编码,得到所述第五词语的特征向量;

37、对所述第六词语进行编码,得到所述第六词语的特征向量;

38、利用所述目标向量,确定所述第五词语的特征向量的第五权重和所述第六词语的特征向量的第六权重。

39、结合本申请任一实施方式,在所述利用所述目标向量,确定所述第五词语的特征向量的第五权重和所述第六词语的特征向量的第六权重之后,所述查询方法还包括:

40、根据所述第五权重和所述第六权重,对所述第五词语的特征向量和所述第六词语的特征向量进行加权融合,得到所述目标查询词的特征向量。

41、结合本申请任一实施方式,在得到所述目标查询词的特征向量之后,所述查询方法还包括:

42、获取待查询数据库,所述待查询数据库包括待查询数据和所述待查询数据的特征向量;

43、从所述待查询数据库中确定与所述目标查询词的特征向量匹配的目标特征向量;

44、将与所述目标特征向量对应的待查询数据作为与所述目标查询词匹配的查询结果。

45、第三方面,提供了一种训练装置,所述训练装置包括:

46、获取单元,用于获取训练查询词中的第一词语的第一特征向量、所述训练查询词中的第二词语的第二特征向量、与所述训练查询词匹配的训练查询结果的第三特征向量;

47、所述获取单元,还用于获取第一待训练向量,所述第一待训练向量表征所述训练查询词的全局信息;

48、确定单元,用于基于所述第一待训练向量,确定所述第一特征向量的第一权重和所述第二特征向量的第二权重;

49、融合单元,用于根据所述第一权重和所述第二权重,对所述第一特征向量和所述第二特征向量进行加权融合,得到所述训练查询词的第四特征向量;

50、所述确定单元,还用于确定所述第三特征向量与所述第四特征向量的第一相似度;

51、处理单元,用于根据所述第一相似度,得到第一损失,所述第一损失与所述第一相似度呈负相关;

52、所述处理单元,还用于基于所述第一损失,更新所述第一待训练向量的参数,得到目标向量。

53、结合本申请任一实施方式,所述获取单元,还用于获取所述训练查询词的参考类目;

54、所述处理单元,还用于:

55、根据所述第四特征向量,预测所述训练查询词的预测类目;

56、根据所述本文档来自技高网...

【技术保护点】

1.一种训练方法,其特征在于,所述训练方法包括:

2.根据权利要求1所述的方法,其特征在于,在得到所述训练查询词的第四特征向量之后,在所述根据所述第一相似度,得到第一损失之前,所述训练方法还包括:

3.根据权利要求1或2所述的方法,其特征在于,所述基于所述第一待训练向量,确定所述第一特征向量的第一权重和所述第二特征向量的第二权重,包括:

4.根据权利要求1或2所述的方法,其特征在于,所述获取训练查询词中的第一词语的第一特征向量、所述训练查询词中的第二词语的第二特征向量,包括:

5.根据权利要求1或2所述的方法,其特征在于,所述训练查询结果为与所述训练查询词匹配的查询结果中被选择的查询结果。

6.根据权利要求1所述的方法,其特征在于,所述训练查询结果为文档,所述获取与所述训练查询词匹配的训练查询结果的第三特征向量,包括:

7.根据权利要求6所述的方法,其特征在于,在得到所述第一损失之后,所述方法还包括:

8.一种查询方法,其特征在于,所述查询方法包括:

9.根据权利要求8所述的方法,其特征在于,在所述利用所述目标向量,确定所述第五词语的特征向量的第五权重和所述第六词语的特征向量的第六权重之后,所述查询方法还包括:

10.根据权利要求9所述的方法,其特征在于,在得到所述目标查询词的特征向量之后,所述查询方法还包括:

11.一种训练装置,其特征在于,所述训练装置包括:

12.一种查询装置,其特征在于,所述查询装置包括:

13.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令;

...

【技术特征摘要】

1.一种训练方法,其特征在于,所述训练方法包括:

2.根据权利要求1所述的方法,其特征在于,在得到所述训练查询词的第四特征向量之后,在所述根据所述第一相似度,得到第一损失之前,所述训练方法还包括:

3.根据权利要求1或2所述的方法,其特征在于,所述基于所述第一待训练向量,确定所述第一特征向量的第一权重和所述第二特征向量的第二权重,包括:

4.根据权利要求1或2所述的方法,其特征在于,所述获取训练查询词中的第一词语的第一特征向量、所述训练查询词中的第二词语的第二特征向量,包括:

5.根据权利要求1或2所述的方法,其特征在于,所述训练查询结果为与所述训练查询词匹配的查询结果中被选择的查询结果。

6.根据权利要求1所述的方法,其特征在于,所述训练查询结果为文档,所述获取与所述训练查询词匹配的训练查询结果的第三特征向量,包括:

7.根据权利...

【专利技术属性】
技术研发人员:汪自力
申请(专利权)人:小红书科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1