文本处理方法、文本处理模型的训练方法以及计算机终端技术

技术编号:41562406 阅读:28 留言:0更新日期:2024-06-06 23:45
本申请公开了一种文本处理方法、文本处理模型的训练方法以及计算机终端,涉及大模型技术、文本处理领域。其中,该方法包括:获取第一语言类型的待处理文本;利用文本处理模型对待处理文本进行处理,得到待处理文本的处理结果,其中,文本处理模型是利用第一语言类型的训练文本对预训练模型中的目标神经元进行微调得到的,预训练模型是利用第二语言类型的训练文本训练得到的模型,目标神经元是预训练模型中与第一语言类型具有关联关系的神经元。本申请解决了相关技术中文本处理模型的训练效率较低的技术问题。

【技术实现步骤摘要】

本申请涉及大模型技术、文本处理领域,具体而言,涉及一种文本处理方法、文本处理模型的训练方法以及计算机终端


技术介绍

1、目前,主要是在知识存储层面对多语言的文本处理模型进行解释,还没有从神经网络的深度层次对文本处理模型的处理过程进行分析,由于缺乏对文本处理模型的全面理解和解释,很难对文本处理模型的内部神经元进行有效的调整,需要使用大量的训练数据对文本处理模型进行训练,使得文本处理模型的训练效率较低。

2、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请实施例提供了一种文本处理方法、文本处理模型的训练方法以及计算机终端,以至少解决相关技术中文本处理模型的训练效率较低的技术问题。

2、根据本申请实施例的一个方面,提供了一种文本处理方法,包括:获取第一语言类型的待处理文本;利用文本处理模型对待处理文本进行处理,得到待处理文本的处理结果,其中,文本处理模型是利用第一语言类型的训练文本对预训练模型中的目标神经元进行微调得到的,预训练模型是利用第二语言类型的训练文本训练得到本文档来自技高网...

【技术保护点】

1.一种文本处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述文本处理模型包括:理解模块、任务执行模块和生成模块;利用文本处理模型对所述待处理文本进行处理,得到所述待处理文本的处理结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述目标神经元是所述理解模块和所述生成模块中与所述第一语言类型具有关联关系的神经元。

4.根据权利要求1至3中任意一项所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,利用所述第一语言类型的语料文本对所述预训练模型进行神经元检测,确定所述目标神经元,...

【技术特征摘要】

1.一种文本处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述文本处理模型包括:理解模块、任务执行模块和生成模块;利用文本处理模型对所述待处理文本进行处理,得到所述待处理文本的处理结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述目标神经元是所述理解模块和所述生成模块中与所述第一语言类型具有关联关系的神经元。

4.根据权利要求1至3中任意一项所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,利用所述第一语言类型的语料文本对所述预训练模型进行神经元检测,确定所述目标神经元,包括:

6.根据权利要求5所述的方法,其特征在于,所述任意一个网络层包括:前馈层和自注意力层,基于所述原始输出结果和/或所述目标输出结果,确定所述目标神经元,包括:

7.根据权利要求5所述的方法,其特征在于,基于所述原始输出结果和/或所述...

【专利技术属性】
技术研发人员:赵屹然张雯轩陈桂臻邴立东
申请(专利权)人:阿里巴巴中国有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1