文本处理方法、电子设备、存储介质和程序产品技术

技术编号:41595133 阅读:21 留言:0更新日期:2024-06-07 00:05
本申请公开了一种文本处理方法、电子设备、存储介质和程序产品,涉及大模型技术、自然语言处理领域。其中,该方法包括:获取待处理文本和多个处理示例,其中,多个处理示例中包含至少一个正确示例和至少一个对比示例;利用至少一个正确示例对待处理文本进行处理,得到第一处理结果的概率分布,并利用至少一个对比示例对待处理文本进行处理,得到第二处理结果的概率分布;基于第一处理结果的概率分布和第二处理结果的概率分布,确定待处理文本的目标处理结果。本申请解决了相关技术中对待处理文本进行处理的准确度较差的技术问题。

【技术实现步骤摘要】

本申请涉及大模型技术、自然语言处理领域,具体而言,涉及一种文本处理方法、电子设备、存储介质和程序产品


技术介绍

1、语境学习是自然语言处理领域中常常受到关注的问题之一,很多基于生成式大模型的方法,比如问答、思维链、搜索增强生成等模型的本质都是语境学习的过程,如何高效的使用语境学习中的示例,以提高大型语言模型对待处理文本进行处理时的准确度,是本领域技术人员的重要关注点之一。


技术实现思路

1、本申请实施例提供了一种文本处理方法、电子设备、存储介质和程序产品,以至少解决相关技术中对待处理文本进行处理的准确度较差的技术问题。

2、根据本申请实施例的一个方面,提供了一种文本处理方法,包括:获取待处理文本和多个处理示例,其中,多个处理示例中包含至少一个正确示例和至少一个对比示例,至少一个正确示例包含的正确示例文本和正确处理结果之间具有正向关联关系,至少一个对比示例包含的对比示例文本和对比处理结果之间具有反向关联关系;利用至少一个正确示例对待处理文本进行处理,得到第一处理结果的概率分布,并利用至少一个对比示本文档来自技高网...

【技术保护点】

1.一种文本处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述多个处理示例包含多个正确示例和多个对比示例的情况下,利用所述至少一个正确示例对所述待处理文本进行处理,得到第一处理结果的概率分布,并利用所述至少一个对比示例对所述待处理文本进行处理,得到第二处理结果的概率分布,包括:

3.根据权利要求2所述的方法,其特征在于,对所述多个正确示例进行分组,得到多个正确示例批次,并对所述多个对比示例进行分组,得到多个对比示例批次,包括:

4.根据权利要求2所述的方法,其特征在于,基于所述第一处理结果的概率分布和所述第二处理结果的概率分...

【技术特征摘要】

1.一种文本处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述多个处理示例包含多个正确示例和多个对比示例的情况下,利用所述至少一个正确示例对所述待处理文本进行处理,得到第一处理结果的概率分布,并利用所述至少一个对比示例对所述待处理文本进行处理,得到第二处理结果的概率分布,包括:

3.根据权利要求2所述的方法,其特征在于,对所述多个正确示例进行分组,得到多个正确示例批次,并对所述多个对比示例进行分组,得到多个对比示例批次,包括:

4.根据权利要求2所述的方法,其特征在于,基于所述第一处理结果的概率分布和所述第二处理结果的概率分布,确定所述待处理文本的目标处理结果,包括:

5.根据权利要求1所述的方法,其特征在于,利用所述至少一个正确示例对所述待处理文本进行处理,得到第一处理结果的概率分布,并利用所述至少一个对比示例对所述待处理文本进...

【专利技术属性】
技术研发人员:李星漩阮春飞邴立东
申请(专利权)人:阿里巴巴达摩院杭州科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1