自然语言理解模型训练方法、自然语言理解方法及装置制造方法及图纸

本申请提供了一种自然语言理解模型训练方法、自然语言理解方法及装置，涉及人机对话技术领域，其中，自然语言理解模型训练方法包括：获取模型训练语料，抽取每种自然语言理解任务的训练语料的特征，根据每种自然语言理解任务的训练语料的特征，分别对预设的多层感知机模型进行模型训练，得到每种自然语言理解任务对应的自然语言理解子模型，根据自然语言理解子模型，获取自然语言理解模型。本申请通过抽取每种自然语言理解任务的训练语料的特征，根据每种自然语言理解任务的训练语料的特征，分别对预设的多层感知机模型进行模型训练，从而减小模型整体规模，大大减少了GPU资源的需求，提升了资源利用率，并且缩短了系统响应时间。

【技术实现步骤摘要】
自然语言理解模型训练方法、自然语言理解方法及装置
本申请涉及人机对话
，具体而言，涉及一种自然语言理解模型训练方法、自然语言理解方法及装置。
技术介绍
自然语言理解(NaturalLanguageUnderstanding，NLU)是对话机器人中一个基础且非常重要的模块，自然语言理解是指从自然文本中抽取其包含的元信息，包括但不限于：实体、关键词、意图、情感、关系、语法。自然语言理解是一系列相关技术或模块的总称，其中，每个模块可以是相互独立，也可以是存在依赖关系。现有技术中，对于自然语言理解系统的每个子模块，会独立训练得到相应的模型，得益于预训练语言模型相关研究和应用的发展，目前的通用模式是使用每个子模块的标注语料分别在预训练语言模型上进行微调，得到其模型，其中，预训练语言模型是基于自监督方法训练的语言模型。然而，由于预训练语言模型本身规模比较大，导致每个子模块在训练时都对有图形处理器(GraphicsProcessingUnit，GPU)资源有较高的需求，导致资源需求量大，降低了资源利用率，并且由于预训练语言模型本身规模较本文档来自技高网...

【技术保护点】
1.一种自然语言理解模型训练方法，其特征在于，包括：/n获取模型训练语料，所述模型训练语料中包括至少两种自然语言理解任务的训练语料，每种自然语言理解任务的训练语料标注有所述每种自然语言理解任务对应的预设关键词；/n抽取所述每种自然语言理解任务的训练语料的特征；/n根据所述每种自然语言理解任务的训练语料的特征，分别对预设的多层感知机模型进行模型训练，得到所述每种自然语言理解任务对应的自然语言理解子模型；/n根据所述自然语言理解子模型，获取自然语言理解模型。/n

【技术特征摘要】
1.一种自然语言理解模型训练方法，其特征在于，包括：
获取模型训练语料，所述模型训练语料中包括至少两种自然语言理解任务的训练语料，每种自然语言理解任务的训练语料标注有所述每种自然语言理解任务对应的预设关键词；
抽取所述每种自然语言理解任务的训练语料的特征；
根据所述每种自然语言理解任务的训练语料的特征，分别对预设的多层感知机模型进行模型训练，得到所述每种自然语言理解任务对应的自然语言理解子模型；
根据所述自然语言理解子模型，获取自然语言理解模型。


2.根据权利要求1所述的方法，其特征在于，所述根据所述每种自然语言理解任务的训练语料的特征，分别对预设的多层感知机模型进行模型训练，得到所述每种自然语言理解任务对应的自然语言理解子模型，包括：
将所述每种自然语言理解任务的训练语料的特征输入到所述多层感知机模型，得到所述每种自然语言理解任务对应的训练关键词；
根据所述训练关键词和所述预设关键词，对所述多层感知机模型进行模型训练，得到所述自然语言理解子模型。


3.根据权利要求1或2所述的方法，其特征在于，所述抽取所述每种自然语言理解任务的训练语料的特征，包括：
采用预先训练的特征抽取器，抽取所述每种自然语言理解任务的训练语料的特征，其中，所述特征抽取器是根据关系类型训练语料预先训练的，所述关系类型训练语料中包括至少一对文本样本，每对文本样本标注有所述每对文本样本之间的预设关系类型。


4.根据权利要求3所述的方法，其特征在于，所述特征抽取器通过如下方式训练得到：
获取关系类型训练语料；
将所述每对文本样本输入到所述预训练语言模型，得到所述每对文本样本中每个文本样本的初始特征，其中，所述预训练语言模型为基于自监督方法预先训练的语言模型；
将所述每对文本样本中每个文本样本的初始特征输入到池化层，得到所述每个文本样本的池化特征，其中，所述池化层用于对所述每个文本的初始特征进行池化操作；
将所述每个文本样本的池化特征输入到拼接层，得到拼接特征，其中，所述拼接层用于对所述每对文本样本中每个文本样本的池化特征和预设特征进行拼接，所述预设特征为所述每对文本样本中每个文本样本的池化特征之差的绝对值；
将所述拼接特征输入到分类器，获取所述每对文本样本之间的训练关系类型，其中，所述分类器用于根据所述拼接特征对所述每对文本样本进行关系分类；
根据所述预设关系类型和所述训练关系类型，对所述预训练语言模型进行训练，得到所述特征抽取器。


5.根据权利要求4所述的方法，其特征在于，所述根据所述预设关系类型和所述训练关系类型，对所述预训练语言模型进行训练，得到所述特征抽取器，包括：
根据所述预设关系类型和所述训练关系类型对所述预训练语言模型进行训练，得到训练后的语言模型；
根据所述训练后的语言模型和所述池化层，获取所述特征抽取器。


6.根据权利要求4所述的方法，其特征在于，所述分类器包括线性变换器和激活器，所述将所述拼接特征输入到分类器，获取所述每对文本样本之间的训练关系类型，包括：
采用所述线性变换器对所述拼接特征进行线性变换，得到线性变换后的拼接特征；
采用所述激活器对应的激活函数对所述线性变换后的拼接特征进行关系分类操作，得到所述训练关系类型。


7.一种自然语言理解方法，其特征在于，包括：
获取目标文本；
采用预先训练的特征抽取器，抽取所述目标文本的特征，其中，所述特征抽取器是根据关系类型训练语料预先训练的，所述关系类型训练语料中包括至少一对文本样本，每对文本样本标注有所述每对文本样本之间的预设关系类型；
将所述目标文本的特征输入到预先训练的自然语言理解模型，得到所述目标文本在至少两种自然语言理解任务下的理解结果，其中，所述自然语言理解模型是根据每种自然语言理解任务对应的自然语言理解子模型得到的，所述自然语言理解子模型是根据所述每种自然语言理解...

【专利技术属性】
技术研发人员：黄诗磊，张聪，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33