自然语言处理方法、设备及存储介质技术

技术编号:30638423 阅读:27 留言:0更新日期:2021-11-04 00:28
本申请实施例提供一种自然语言处理方法、设备及存储介质,该方法包括获取目标文本,将目标文本输入第一分类识别模型进行分类识别,得到初步分类识别结果,初步分类识别结果包括置信度,若置信度小于预设值,则将目标文本输入第二分类识别模型进行分类识别,得到最终分类识别结果,第二分类识别模型是通过预先标注的第二文本集对第二待训练模型进行训练得到的,第二文本集中各文本输入第一分类识别模型得到的分类识别结果与预先标注的结果不一致。本实施例提供的方法能够通过由异常数据训练得到的第二分类识别模型准确处理第一分类识别模型无法处理的异常数据,从而提高了自然语言处理的准确率。言处理的准确率。言处理的准确率。

【技术实现步骤摘要】
自然语言处理方法、设备及存储介质


[0001]本申请实施例涉及人工智能
,尤其涉及一种自然语言处理方法、设备及存储介质。

技术介绍

[0002]在车机自然语言处理(Natural Language Processing,NLP)中,通常采用意图识别分类模型和命名实体识别模型NER构成的分类识别模型对目标文本做意图识别和词槽提取。分类识别模型是通过已标注样本集对待训练模型进行训练得到的,该分类识别模型在正常应用时,即在对输入的文本进行推理时,可能存在无法得到准确结果的情况,此时,该被识别的数据,被称作异常数据。
[0003]在现有技术中,通常采用对异常数据扩增的方式或者将异常数据直接复制多份加入样本集的方式,得到新的样本集,并根据新的样本集对待训练模型进行重新训练,得到最终的自然语言处理模型。
[0004]然而,实现本申请过程中,专利技术人发现现有技术中至少存在如下问题:首先不是所有的异常数据都能通过增扩样本的方式来解决,其次,如果是由于特征空间的冲突导致某类样本收敛不了,重复该异常数据虽然能解决该类异常数据的样本的问题,但本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自然语言处理方法,其特征在于,包括:获取目标文本;将所述目标文本输入第一分类识别模型进行分类识别,得到所述目标文本的初步分类识别结果;所述初步分类识别结果包括置信度;所述第一分类识别模型是通过预先标注的第一文本集对第一待训练模型进行训练得到的;若所述置信度小于预设值,则将所述目标文本输入第二分类识别模型进行分类识别,得到所述目标文本的最终分类识别结果;所述第二分类识别模型是通过预先标注的第二文本集对第二待训练模型进行训练得到的,所述第二文本集中各文本输入第一分类识别模型得到的分类识别结果与预先标注的结果不一致。2.根据权利要求1所述的方法,其特征在于,所述将所述目标文本输入第一分类识别模型进行分类识别之前,还包括:获取多个待训练文本;对多个所述待训练文本进行标注,得到所述第一文本集以及所述第一文本集中各文本分别对应的第一标注结果;根据所述第一文本集和所述第一标注结果,对所述第一待训练模型进行训练,得到所述第一分类识别模型。3.根据权利要求2所述的方法,其特征在于,所述根据所述第一文本集和所述第一标注结果,对所述第一待训练模型进行训练,得到所述第一分类识别模型之后,还包括:将所述第一文本集中各文本输入所述第一分类识别模型,得到所述第一文本集中各文本分别对应的第一分类识别结果;将所述第一文本集中所述第一分类识别结果与所述第一标注结果不一致的各文本加入所述第二文本集;根据所述第二文本集,对所述第二待训练模型进行训练,得到所述第二分类识别模型。4.根据权利要求1所述的方法,其特征在于,所述得到所述目标文本的第一分类识别结果之后,还包括:若所述置信度大于等于所述预设值,则将所述初步分类识别结果确认为所述最终分类识别结果。5.根据权利要求1所述的方法,其特征在于,所述第一分类识别模型和所述第二分类识别模型均包括意图识别分类模型和命名实体识别模型。6.根据权利要求5所述的方法,其特征在于,所述第一分类识别模型的意图识别分类模型的类型与所述第二分类识别模型的意图识别分类模型的类型相同,和/或,所述第一分类识别模型的命名实体识别模型的类型与所述第二分类识别模型的命名实体识别模型的类型相同。7.根据权利要求1

6任一项所述的方法,其特征在于,所述将所述目标文本输入第一分类识别模型进行分类识别之前,还包括:查询待搜索缓存区中是否存在与所述目标文本相关的目标缓存文本;若存在,则调取所述目标缓存文本对应的第二分类识别结果,并将所述第二分类识别结果确定为所述最终分类识别结果。8.根据权利要求7...

【专利技术属性】
技术研发人员:李林峰黄海荣
申请(专利权)人:湖北亿咖通科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1