System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种文本处理方法、装置、设备及存储介质、程序产品制造方法及图纸_技高网

一种文本处理方法、装置、设备及存储介质、程序产品制造方法及图纸

技术编号:41280750 阅读:8 留言:0更新日期:2024-05-11 09:31
本申请实施例提供了一种文本处理方法、装置、设备及存储介质、程序产品,该方法包括:响应于包括查询文本的搜索请求,对查询文本进行编码处理,得到查询文本的查询编码信息;将查询文本的查询编码信息分别与各个候选文本的语义编码信息集中的语义编码信息进行相关性匹配,语义编码信息集包括多个语义编码信息,候选文本中包括多个通过不同的语义编码信息来描述的文本对象;根据相关性匹配的匹配结果,从各个候选文本中确定出目标文本,目标文本的语义编码信息集中包括多个语义编码信息与查询编码信息之间的相关性参数满足相似条件;根据N个目标文本向发起搜索请求的发起端返回查询结果信息。采用本申请,能有效提升搜索准确率。

【技术实现步骤摘要】

本申请涉及计算机应用,尤其涉及一种文本处理方法、装置、设备及存储介质、程序产品


技术介绍

1、文本搜索与图像搜索、声音搜索、视频搜索等一样均属于信息搜索,在现有技术中,会通过比对查询文本与文档内容之间的相似度来实现文本搜索,但文档内容中会出现很多与查询文本不相关的字眼,例如,查询文本=“月嫂“,希望搜索提供月嫂等相关服务的单位,而某个单位对应的文档的主题或描述信息等内容=“xx公司家政保洁保姆搬家”,很可能因为该内容中包括的与查询文本无关的其他内容的干扰而导致查询文本和文档内容的相似度较低,这样一来,原本可以将“xx公司家政保洁保姆搬家”作为召回文本反馈给用户但是却由于相似度较低而被丢弃,出现搜索不够准确的问题。


技术实现思路

1、本申请实施例提供了一种文本处理方法、装置、设备及存储介质、程序产品,可在一定程度上提升文本搜索的准确率。

2、第一方面,本申请实施例提供了一种文本处理方法,所述方法包括:

3、响应于包括查询文本的搜索请求,对所述查询文本进行编码处理,得到所述查询文本的查询编码信息;

4、将所述查询文本的查询编码信息分别与各个候选文本的语义编码信息集中的语义编码信息进行相关性匹配,其中,所述语义编码信息集包括多个语义编码信息,所述候选文本中包括多个文本对象,不同的文本对象通过不同的语义编码信息来描述;

5、根据所述相关性匹配的匹配结果,从所述各个候选文本中确定出n个目标文本,其中,所述目标文本的语义编码信息集中包括m个语义编码信息与查询编码信息之间的相关性参数满足相似条件,n和m均为正整数;

6、根据所述n个目标文本向发起所述搜索请求的发起端返回查询结果信息。

7、第二方面,本申请实施例提供了一种文本处理装置,所述装置包括:

8、处理单元,用于响应于包括查询文本的搜索请求,对所述查询文本进行编码处理,得到所述查询文本的查询编码信息;

9、匹配单元,将所述查询文本的查询编码信息分别与各个候选文本的语义编码信息集中的语义编码信息进行相关性匹配,其中,所述语义编码信息集包括多个语义编码信息,所述候选文本中包括多个文本对象,不同的文本对象通过不同的语义编码信息来描述;

10、所述处理单元,还用于根据所述相关性匹配的匹配结果,从所述各个候选文本中确定出n个目标文本,其中,所述目标文本的语义编码信息集中包括m个语义编码信息与查询编码信息之间的相关性参数满足相似条件,n和m均为正整数;

11、发送单元,用于根据所述n个目标文本向发起所述搜索请求的发起端返回查询结果信息。

12、第三方面,本申请实施例提供了一种计算机设备,该计算机设备包括处理器、通信接口和存储器,该处理器、通信接口和存储器相互连接,其中,该存储器存储有计算机程序,该处理器用于调用该计算机程序,执行上述任一可能实现方式的文本处理方法。

13、第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现该任一可能实现方式的文本处理方法。

14、第五方面,本申请实施例还提供了一种计算机程序产品,上述计算机程序产品包括计算机程序或计算机指令,上述计算机程序或计算机指令被处理器执行实现本申请实施例提供的文本处理方法的步骤。

15、第六方面,本申请实施例还提供了一种计算机程序,上述计算机程序包括计算机指令,上述计算机指令存储在计算机可读存储介质中,计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令,上述处理器执行上述计算机指令,使得上述计算机设备执行本申请实施例提供的文本处理方法。

16、在本申请实施例中,通过利用为候选文本生成的多个语义编码信息,来描述候选文本的不同文本对象,可以大幅增强候选文本的语义表达能力,使得查询文本的查询编码信息可以与只命中候选文本的部分语义的语义编码信息进行相关性匹配,消除候选文本中冗余信息的干扰,从而能够更准确地度量候选文本与查询文本之间的相关程度,有利于提升文本搜索的准确率。

本文档来自技高网...

【技术保护点】

1.一种文本处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述对所述查询文本进行编码处理,得到所述查询文本的查询编码信息,包括:

3.如权利要求2所述的方法,其特征在于,所述查询文本的查询编码信息是通过第一调用接口调用第一编码模型得到的,所述第一编码模型包括第一上下文编码器和聚合器,所述第一上下文编码器用于对所述第一文本序列进行编码处理,所述聚合器用于对所述第一文本序列中的各个字符对象的编码信息进行融合处理。

4.如权利要求1-3中任一项所述的方法,其特征在于,所述将所述查询文本的查询编码信息分别与各个候选文本的语义编码信息集中的语义编码信息进行相关性匹配,包括:

5.如权利要求1-3中任一项所述的方法,其特征在于,所述将所述查询文本的查询编码信息分别与各个候选文本的语义编码信息集中的语义编码信息进行相关性匹配,包括:

6.如权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:

7.如权利要求6所述的方法,其特征在于,所述待索引文本的语义编码信息集是通过第二调用接口调用第二编码模型得到的,所述第二编码模型包括第二上下文编码器和多个注意力子模型,所述第二上下文编码器用于对所述第三文本序列进行编码处理,所述多个注意力子模型用于根据所述第三文本序列中的各个字符对象的编码信息进行多维注意力计算;

8.如权利要求1所述的方法,其特征在于,所述方法还包括:

9.如权利要求8所述的方法,其特征在于,所述根据所述训练文本编码信息、所述多个训练语义编码信息以及所述相关性标签,对所述初始的第一编码模型和所述初始的第二编码模型的模型参数进行调整,得到第一编码模型和第二编码模型,包括:

10.如权利要求8所述的方法,其特征在于,所述获取训练文本对以及所述训练文本对的相关性标签,包括:

11.一种文本处理装置,其特征在于,所述装置包括:

12.一种计算机设备,其特征在于,所述计算机设备包括存储器、通信接口以及处理器,所述存储器、所述通信接口和所述处理器相互连接;所述存储器存储有计算机程序,所述处理器调用所述存储器中存储的计算机程序,用于实现如权利要求1-10中任一项所述的文本处理方法。

13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-10中任一项所述的文本处理方法。

14.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序或计算机指令,所述计算机程序或计算机指令被处理器执行时实现如权利要求1-10中任一项所述的文本处理方法。

...

【技术特征摘要】

1.一种文本处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述对所述查询文本进行编码处理,得到所述查询文本的查询编码信息,包括:

3.如权利要求2所述的方法,其特征在于,所述查询文本的查询编码信息是通过第一调用接口调用第一编码模型得到的,所述第一编码模型包括第一上下文编码器和聚合器,所述第一上下文编码器用于对所述第一文本序列进行编码处理,所述聚合器用于对所述第一文本序列中的各个字符对象的编码信息进行融合处理。

4.如权利要求1-3中任一项所述的方法,其特征在于,所述将所述查询文本的查询编码信息分别与各个候选文本的语义编码信息集中的语义编码信息进行相关性匹配,包括:

5.如权利要求1-3中任一项所述的方法,其特征在于,所述将所述查询文本的查询编码信息分别与各个候选文本的语义编码信息集中的语义编码信息进行相关性匹配,包括:

6.如权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:

7.如权利要求6所述的方法,其特征在于,所述待索引文本的语义编码信息集是通过第二调用接口调用第二编码模型得到的,所述第二编码模型包括第二上下文编码器和多个注意力子模型,所述第二上下文编码器用于对所述第三文本序列进行编码处理,所述多个注意力子模型用于根据所述第三...

【专利技术属性】
技术研发人员:陈震鸿
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1