【技术实现步骤摘要】
本申请涉及自然语言处理领域，尤其涉及一种用户文本处理方法、模型训练方法、装置及设备。
技术介绍
1、随着人工智能技术的不断发展，基于语言模型的自然语言处理是受到广泛的应用。
2、在一些场景中，需要对语言文本进行多任务处理，如智能问答场景、机器外呼场景、产品推荐场景等。面对多任务场景，通常采用多个的单任务自然语言模型进行处理，从而需要训练多个单任务模型，训练周期长、成本高，无法满足需求。
3、因此，亟需提供一种基于多任务语言模型的文本处理方案。
技术实现思路
1、本申请提供一种用户文本处理方法、模型训练方法、装置及设备，实现了基于多任务文本处理模型进行用户文本处理，采用一个多任务文本模型代替传统的多个单任务模型，缩短了模型训练的周期、降低了用户文本处理的成本。
2、第一方面，本申请提供一种用户文本处理方法，包括：
3、获取机器外呼场景中的用户文本；
4、基于预先训练的多任务文本处理模型，预测所述用户文本对应的情感类型、意图类型以及提取所述用户文本中的实体；
5、关联存储所述用户文本对应的情感类型、意图类型以及提取的所述用户文本中的实体；
6、其中，所述多任务文本处理模型的训练集包括多个训练语料以及各所述训练语料的标签，所述训练语料包括情感分类训练语料、意图分类训练语料和实体提取训练语料。
7、在一些可能的实现方式中，所述多任务文本处理模型包括输入层、预训练的bert模型以及多任务头部，所述
8、所述基于预先训练的多任务文本处理模型，预测所述用户文本对应的情感类型、意图类型以及提取所述用户文本中的实体，包括：
9、将所述用户文本输入所述多任务文本处理模型的输入层，得到所述用户文本的词向量、段向量和位置向量，并拼接所述词向量、段向量和位置向量，得到输入向量；
10、经由所述bert模型提取所述输入向量的语义特征，得到所述用户文本的语义向量以及所述用户文本中各字的语义向量；
11、经由所述情感分类任务头部，根据所述用户文本的语义向量，预测所述用户文本的情感类型；
12、经由所述意图分类任务头部，根据所述用户文本的语义向量，预测所述用户文本的意图类型；
13、经由所述实体抽取任务头部，根据所述用户文本中各字的语义向量，提取所述用户文本中的实体。
14、在一些可能的实现方式中，所述多任务文本处理模型包括主干网络以及多任务头部；所述多任务头部包括多个业务场景对应的任务头部，各所述业务场景对应的任务头部包括情感分类任务头部、意图分类任务头部和实体抽取任务头部；所述多任务文本处理模型的训练语料包括所述多个业务场景中各业务场景下的训练语料；
15、所述基于预先训练的多任务文本处理模型，预测所述用户文本对应的情感类型、意图类型以及提取所述用户文本中的实体，包括：
16、基于预先训练的多任务文本处理模型，预测所述多个业务场景中各业务场景下所述用户文本对应的情感类型和意图类型，以及提取所述多个业务场景中各业务场景下所述用户文本的实体。
17、在一些可能的实现方式中，所述关联存储所述用户文本对应的情感类型、意图类型以及提取的所述用户文本中的实体，包括：
18、获取所述用户文本对应的目标业务场景；所述目标业务场景为所述多个业务场景中的一种业务场景；
19、从所述多任务文本处理模型输出的所述多个业务场景中各业务场景下所述用户文本对应的情感类型、意图类型以及所述用户文本的实体中，获取目标业务场景下所述用户文本对应的情感类型、意图类型以及提取的所述用户文本中的实体；
20、关联存储所述多任务文本处理模型输出的所述目标业务场景下所述用户文本对应的情感类型、意图类型以及提取的所述用户文本中的实体。
21、在一些可能的实现方式中，所述方法还包括：
22、基于所述目标业务场景下所述用户文本对应的意图类型，从话术库中确定所述用户文本的回复内容；或，
23、基于所述目标业务场景下所述用户文本对应的情感类型、意图类型以及提取的所述用户文本中的实体，生成所述用户文本对应的用户的运营策略。
24、在一些可能的实现方式中，所述获取机器外呼场景中的用户文本，包括：
25、获取机器外呼场景中的用户语音；对所述用户语音进行语音识别，得到所述用户文本；所述方法还包括：
26、基于预先训练的语音情感识别模型，提取所述用户语音的语音特征，预测所述用户语音的情感类型。
27、相应的，所述关联存储所述用户文本对应的情感类型、意图类型以及提取的所述用户文本中的实体，包括：
28、关联存储所述用户语音的情感类型、所述用户文本对应的情感类型、意图类型以及提取的所述用户文本中的实体。
29、第二方面，本申请提供一种多任务文本处理模型训练方法，包括：
30、获取训练集，其中，所述训练集包括多个训练语料以及各所述训练语料的标签，所述多个训练语料包括情感分类训练语料、意图分类训练语料和实体提取训练语料；
31、交替从所述情感分类训练语料、意图分类训练语料和实体提取训练语料中取出一批训练语料，进行多任务文本处理模型的训练，直至满足训练结束条件。
32、第三方面，本申请提供一种用户文本处理装置，包括：
33、用户文本获取模块，用于获取机器外呼场景中的用户文本；
34、多任务文本处理模块，用于基于预先训练的多任务文本处理模型，预测所述用户文本对应的情感类型、意图类型以及提取所述用户文本中的实体；
35、多任务信息存储模块，用于关联存储所述用户文本对应的情感类型、意图类型以及提取的所述用户文本中的实体；
36、其中，所述多任务文本处理模型的训练集包括多个训练语料以及各所述训练语料的标签，所述训练语料包括情感分类训练语料、意图分类训练语料和实体提取训练语料。
37、第四方面，本申请提供一种电子设备，包括：处理器、存储器，所述存储器中存储代码，所述处理器运行所述存储器中存储的代码，以执行如本申请第一方面或第二方面提供的方法。
38、第五方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如本申请第一方面或第二方面提供的方法。
39、第六方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本申请任意方面提供的车辆哨兵模式的控制方法。
40、本申请提供一种用户文本处理方法、模型训练方法、装置及设备，基于预先训练的多任务文本处理模型，进行用户文本的多任务处理，从而通过一个模型的处理，识别用户文本的情感类型和意图类型，以及提取用户文本中的实体，实现用户文本的多任务处理本文档来自技高网...
【技术保护点】
1.一种用户文本处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述多任务文本处理模型包括输入层、预训练的BERT模型以及多任务头部，所述多任务头部包括情感分类任务头部、意图分类任务头部和实体抽取任务头部；
3.根据权利要求1所述的方法，其特征在于，所述多任务文本处理模型包括主干网络以及多任务头部；所述多任务头部包括多个业务场景对应的任务头部，各所述业务场景对应的任务头部包括情感分类任务头部、意图分类任务头部和实体抽取任务头部；所述多任务文本处理模型的训练语料包括所述多个业务场景中各业务场景下的训练语料；
4.根据权利要求3所述的方法，其特征在于，所述关联存储所述用户文本对应的情感类型、意图类型以及提取的所述用户文本中的实体，包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述获取机器外呼场景中的用户文本，包括：
7.一种多任务文本处理模型训练方法，其特征在于，包括：
8.一种用户文本处理装置，其特征在
9.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器中存储代码，所述处理器运行所述存储器中存储的代码，以执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种用户文本处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述多任务文本处理模型包括输入层、预训练的bert模型以及多任务头部，所述多任务头部包括情感分类任务头部、意图分类任务头部和实体抽取任务头部；
3.根据权利要求1所述的方法，其特征在于，所述多任务文本处理模型包括主干网络以及多任务头部；所述多任务头部包括多个业务场景对应的任务头部，各所述业务场景对应的任务头部包括情感分类任务头部、意图分类任务头部和实体抽取任务头部；所述多任务文本处理模型的训练语料包括所述多个业务场景中各业务场景下的训练语料；
4.根据权利要求3所述的方法，其特征在于，所述关联存储所述用户文本对应的情感类型、意图类型以及提取的所...
【专利技术属性】
技术研发人员：陈杨君，杨铭，刘设伟，
申请(专利权)人：泰康在线健康科技武汉有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。