文本处理方法、装置、设备及介质制造方法及图纸

技术编号:43562912 阅读:18 留言:0更新日期:2024-12-06 17:34
本公开涉及一种文本处理方法、装置、设备及介质,方法包括:获取待处理文本;将待处理文本输入目标文本模型中,得到文本处理结果;其中,目标文本模型通过如下方式得到:获取标注有标签的样本文本;确定待训练的第一文本模型,并对第一文本模型的模型结构进行采样,得到第二文本模型;根据样本文本,将第一文本模型作为教师模型,并将第二文本模型作为学生模型,执行基于知识蒸馏的模型训练过程,得到目标文本模型,其中,目标文本模型为训练后的第二文本模型。通过上述技术方案,使得目标文本模型在具有简单模型结构的同时,兼具较高的处理性能,进而在文本处理时,一方面可以提高对文本处理的准确度,另一方面可以提高对文本的处理效率。

【技术实现步骤摘要】

本公开涉及文本处理,尤其涉及一种文本处理方法、装置、设备及介质


技术介绍

1、随着人工智能的不断发展,越来越多的神经网络模型被运用于文本处理领域。在基于神经网络模型进行文本处理时,若想要提升文本处理结果的准确度,则需要通过提高神经网络模型的结构复杂度来提升神经网络模型的性能,但是神经网络模型结构复杂度的提高,又会降低神经网络模型对文本的处理效率。


技术实现思路

1、为克服相关技术中存在的问题,本公开提供一种文本处理方法、装置、设备及介质。

2、根据本公开实施例的第一方面,提供一种文本处理方法,所述方法包括:

3、获取待处理文本;

4、将所述待处理文本输入目标文本模型中,得到文本处理结果;

5、其中,所述目标文本模型通过如下方式得到:

6、获取标注有标签的样本文本;

7、确定待训练的第一文本模型,并对所述第一文本模型的模型结构进行采样,得到第二文本模型;

8、根据所述样本文本,将所述第一文本模型作为教师模型,并将所述第二文本模本文档来自技高网...

【技术保护点】

1.一种文本处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述样本文本,将所述第一文本模型作为教师模型,并将所述第二文本模型作为学生模型,执行基于知识蒸馏的模型训练过程,得到所述目标文本模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,当所述第二文本模型为多个时,所述根据所述样本文本,将所述第一文本模型作为教师模型,并将所述第二文本模型作为学生模型,执行基于知识蒸馏的模型训练...

【技术特征摘要】

1.一种文本处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述样本文本,将所述第一文本模型作为教师模型,并将所述第二文本模型作为学生模型,执行基于知识蒸馏的模型训练过程,得到所述目标文本模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,当所述第二文本模型为多个时,所述根据所述样本文本,将所述第一文本模型作为教师模型,并将所述第二文本模型作为学生模型,执行基于知识蒸馏的模型训练...

【专利技术属性】
技术研发人员:缪忠剑李响张文栾剑
申请(专利权)人:北京小米移动软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1