文本处理方法、装置、设备、存储介质及产品制造方法及图纸

技术编号:41386223 阅读:12 留言:0更新日期:2024-05-20 19:07
本申请公开一种文本处理方法、装置、设备、存储介质及产品,属于人工智能技术领域。上述方法可以获取目标文本,该目标文本包括第一语句和第二语句;对该目标文本进行同义表述提取处理,得到提取结果,该同义表述提取处理用于在第一语句和第二语句形成的语句对中搜索同义表述,同义表述包括由第一语句的第一文本单元和第二语句的第二文本单元形成的文本单元对,该第一文本单元和该第二文本单元的语义相似度满足预设相似度要求;在提取结果指示该语句对中存在同义表述的情况下,根据提取结果生成同义表述提示信息;基于同义表述提示信息对目标文本进行语义一致性判别,得到判别结果。该方法显著且直接地提升了语义一致性判别准确度。

【技术实现步骤摘要】

本申请涉及人工智能,特别涉及一种文本处理方法、装置、设备、存储介质及产品


技术介绍

1、语义一致性判别是自然语言处理方向一个应用极为广泛的分支任务,其主要用于判别两个语句之间的语义相似度,即判别语句a和语句b是否为同义句。通常情况下可以将原句(语句a)与目标句(语句b)作为语义一致性判别模型的输入,由语义一致性判别模型输出判别结果,该判别结果指示原句与目标句的语义是否一致。但是,相关技术中的语义一致性判别模型的准确度普遍不高,难以满足实际需求。


技术实现思路

1、本申请实施例提供了一种文本处理方法、装置、设备、存储介质及产品,能够显著提升语义一致性判别准确度。

2、根据本申请实施例的一个方面,提供了一种文本处理方法,所述方法包括:

3、获取目标文本,所述目标文本包括第一语句和第二语句;

4、对所述目标文本进行同义表述提取处理,得到提取结果,所述同义表述提取处理用于在所述第一语句和所述第二语句形成的语句对中搜索同义表述,所述同义表述包括由所述第一语句的第一文本单元和所述第二本文档来自技高网...

【技术保护点】

1.一种文本处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述目标文本进行同义表述提取处理,得到提取结果,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述提取结果包括至少一个文本单元对,所述根据所述提取结果生成同义表述提示信息,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法包括:由所述第二语义一致性判别模型执行下述操作:

6.根据权利要求5所述的方法,其特征在于,所述第二语义一致性判别模型通过下述方法训练:<...

【技术特征摘要】

1.一种文本处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述目标文本进行同义表述提取处理,得到提取结果,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述提取结果包括至少一个文本单元对,所述根据所述提取结果生成同义表述提示信息,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法包括:由所述第二语义一致性判别模型执行下述操作:

6.根据权利要求5所述的方法,其特征在于,所述第二语义一致性判别模型通过下述方法训练:

7.根据权利要求2所述的方法,其特征在于,所述方法还包括:

8.一种文本处理装置,其特征在于,所述装置包...

【专利技术属性】
技术研发人员:吴焕钦
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1