识别模型的训练方法及装置、文本识别方法及装置制造方法及图纸

本申请提供识别模型的训练方法及装置、文本识别方法及装置，其中所述识别模型的训练方法包括：获取训练文本；将所述训练文本输入待训练识别模型，经过所述待训练识别模型中的语言模块对所述训练文本进行编码处理，获得特征向量；将所述特征向量分别输入所述待训练识别模型中的填充模块和意图模块进行处理，根据处理结果确定所述填充模块和所述意图模块的关系权重；基于所述关系权重对所述填充模块和所述意图模块进行调整，并根据调整结果获得所述填充模块的第一损失值，以及所述意图模块的第二损失值；基于所述第一损失值和所述第二损失值对所述待训练识别模型进行迭代训练，直至达到训练停止条件，获得目标识别模型。获得目标识别模型。获得目标识别模型。

【技术实现步骤摘要】
识别模型的训练方法及装置、文本识别方法及装置


[0001]本申请涉及自然语言处理
，特别涉及识别模型的训练方法及装置、文本识别方法及装置。

技术介绍

[0002]自然语言处理(Natural Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。现有技术在实现理解语音信息和推理内在关系时，大多是基于Attention的RNN(Recurrent Neural Network，RNN)模型实现；虽然可以达到语义理解的目的，但是模型的前期准备过程消耗时间较多，并且准备好的模型经过一段时间的应用，还需要重新训练，不仅耗费时间，还耗费资源，故亟需一种有效的方案以解决上述问题。

技术实现思路

[0003]有鉴于此，本申请实施例提供了一种识别模型的训练方法，以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种文本识别方法，一种识别模型的训练装置，一种文本识别装置，一种计算设备，以及一种计算机可读存储介质。
[0004]根据本申请实施例的第一方面，提供了一种识别模型的训练方法，包括：
[0005]获取训练文本；
[0006]将所述训练文本输入待训练识别模型，经过所述待训练识别模型中的语言模块对所述训练文本进行编码处理，获得特征向量；
[0007]将所述特征向量分别输入所述待训练识别模型中的填充模块和意图模块进行处理，根据处理结果确定所述填充模块和所述意图模块的关系权重；
[0008]基于所述关系权重对所述填充模块和所述意图模块进行调整，并根据调整结果获得所述填充模块的第一损失值，以及所述意图模块的第二损失值；
[0009]基于所述第一损失值和所述第二损失值对所述待训练识别模型进行迭代训练，直至达到训练停止条件，获得目标识别模型。
[0010]可选的，所述将所述特征向量分别输入所述待训练识别模型中的填充模块和意图模块进行处理，根据处理结果确定所述填充模块和所述意图模块的关系权重，包括：
[0011]将所述特征向量输入所述待训练识别模型中的所述填充模块进行处理，获得第一中间向量，以及将所述特征向量输入所述待训练识别模型中的所述意图模块进行处理，获得第二中间向量；
[0012]基于所述第一中间向量和所述第二中间向量，计算所述填充模块和所述意图模块的所述关系权重。
[0013]可选的，所述基于所述关系权重对所述填充模块和所述意图模块进行调整，并根据调整结果获得所述填充模块的第一损失值，以及所述意图模块的第二损失值，包括：
[0014]获取所述填充模块对所述特征向量进行处理得到的第一文本向量，以及所述意图
模块对所述特征向量进行处理得到的第二文本向量；
[0015]计算所述关系权重和所述第一文本向量的乘积，获得第一目标文本向量，以及计算所述关系权重和所述第二文本向量的乘积，获得第二目标文本向量；
[0016]在所述训练文本所属的训练集中提取所述训练文本对应的实体向量和意图向量；
[0017]根据所述第一目标文本向量和所述实体向量确定所述填充模块的所述第一损失值，以及根据所述第二目标文本向量和所述意图向量确定所述意图模块的所述第二损失值。
[0018]可选的，所述基于所述第一损失值和所述第二损失值对所述待训练识别模型进行迭代训练，包括：
[0019]根据所述第一损失值和所述第二损失值计算所述待训练识别模型的目标损失值；
[0020]按照所述目标损失值对所述待训练识别模型进行迭代训练。
[0021]可选的，所述训练停止条件为所述目标损失值小于等于损失值阈值；
[0022]相应的，若所述目标损失值小于等于所述损失值阈值，获得所述目标识别模型；
[0023]其中，所述损失值阈值基于所述待训练识别模型在训练过程中产生的各个目标损失值确定。
[0024]可选的，所述根据所述第一损失值和所述第二损失值计算所述待训练识别模型的目标损失值，包括：
[0025]确定所述第一损失值的权重值和所述第二损失值的权重值；
[0026]对所述第一损失值的权重值和所述第二损失值的权重值进行加权求和处理，获得所述目标损失值。
[0027]可选的，所述将所述训练文本输入待训练识别模型，经过所述待训练识别模型中的语言模块对所述训练文本进行编码处理，获得特征向量步骤执行之前，还包括：
[0028]对所述训练文本进行分词处理，获得词单元集合；
[0029]相应的，所述将所述训练文本输入待训练识别模型，经过所述待训练识别模型中的语言模块对所述训练文本进行编码处理，获得特征向量，包括：
[0030]将所述词单元集合输入至所述待训练识别模型，经过所述语言模块对所述词单元集合进行编码处理，获得所述特征向量。
[0031]根据本申请实施例的第二方面，提供了一种文本识别方法，包括：
[0032]获取待识别文本；
[0033]将所述待识别文本输入至目标识别模型进行实体抽取和意图理解，获得所述待识别文本对应的目标实体和目标意图；
[0034]其中，所述目标识别模型是通过上述任意一项所述的识别模型的训练方法训练获得。
[0035]可选的，还包括：
[0036]根据所述目标意图在预设的填写模板中选择目标模板；
[0037]按照所述目标模板的填写规则以及所述目标模板对所述目标实体进行结构化处理，获得目标文本。
[0038]可选的，所述将所述待识别文本输入至目标识别模型进行实体抽取和意图理解，获得所述待识别文本对应的目标实体和目标意图，包括：
[0039]将所述待识别文本输入至所述目标识别模型，经过所述目标识别模型中的语言模块对所述待识别文本进行编码处理，获得文本特征向量；
[0040]将所述文本特征向量输入所述目标识别模型中的填充模块和意图模块进行处理，根据处理结果获得所述目标实体和所述目标意图。
[0041]可选的，所述将所述待识别文本输入至所述目标识别模型，经过所述目标识别模型中的语言模块对所述待识别文本进行编码处理，获得文本特征向量步骤执行之前，还包括：
[0042]对所述待识别文本进行分词处理，获得词单元集合；
[0043]相应的，所述将所述待识别文本输入至所述目标识别模型，经过所述目标识别模型中的语言模块对所述待识别文本进行编码处理，获得文本特征向量，包括：
[0044]将所述词单元集合输入所述语言模块进行编码处理，获得所述文本特征向量。
[0045]可选的，所述将所述文本特征向量输入所述目标识别模型中的填充模块和意图模块进行处理，根据处理结果获得所述目标实体和所述目标意图，包括：
[0046]将所述文本特征向量输入至所述填充模块进行处理，获得第一中间向量，以及将所述文本特征向量输入至所述意图模块进行处理，获得第二中间向量；
[0047]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别模型的训练方法，其特征在于，包括：获取训练文本；将所述训练文本输入待训练识别模型，经过所述待训练识别模型中的语言模块对所述训练文本进行编码处理，获得特征向量；将所述特征向量分别输入所述待训练识别模型中的填充模块和意图模块进行处理，根据处理结果确定所述填充模块和所述意图模块的关系权重；基于所述关系权重对所述填充模块和所述意图模块进行调整，并根据调整结果获得所述填充模块的第一损失值，以及所述意图模块的第二损失值；基于所述第一损失值和所述第二损失值对所述待训练识别模型进行迭代训练，直至达到训练停止条件，获得目标识别模型。2.根据权利要求1所述的识别模型的训练方法，其特征在于，所述将所述特征向量分别输入所述待训练识别模型中的填充模块和意图模块进行处理，根据处理结果确定所述填充模块和所述意图模块的关系权重，包括：将所述特征向量输入所述待训练识别模型中的所述填充模块进行处理，获得第一中间向量，以及将所述特征向量输入所述待训练识别模型中的所述意图模块进行处理，获得第二中间向量；基于所述第一中间向量和所述第二中间向量，计算所述填充模块和所述意图模块的所述关系权重。3.根据权利要求1所述的识别模型的训练方法，其特征在于，所述基于所述关系权重对所述填充模块和所述意图模块进行调整，并根据调整结果获得所述填充模块的第一损失值，以及所述意图模块的第二损失值，包括：获取所述填充模块对所述特征向量进行处理得到的第一文本向量，以及所述意图模块对所述特征向量进行处理得到的第二文本向量；计算所述关系权重和所述第一文本向量的乘积，获得第一目标文本向量，以及计算所述关系权重和所述第二文本向量的乘积，获得第二目标文本向量；在所述训练文本所属的训练集中提取所述训练文本对应的实体向量和意图向量；根据所述第一目标文本向量和所述实体向量确定所述填充模块的所述第一损失值，以及根据所述第二目标文本向量和所述意图向量确定所述意图模块的所述第二损失值。4.根据权利要求1所述的识别模型的训练方法，其特征在于，所述基于所述第一损失值和所述第二损失值对所述待训练识别模型进行迭代训练，包括：根据所述第一损失值和所述第二损失值计算所述待训练识别模型的目标损失值；按照所述目标损失值对所述待训练识别模型进行迭代训练。5.根据权利要求4所述的识别模型的训练方法，其特征在于，所述训练停止条件为所述目标损失值小于等于损失值阈值；相应的，若所述目标损失值小于等于所述损失值阈值，获得所述目标识别模型；其中，所述损失值阈值基于所述待训练识别模型在训练过程中产生的各个目标损失值确定。6.根据权利要求4所述的识别模型的训练方法，其特征在于，所述根据所述第一损失值和所述第二损失值计算所述待训练识别模型的目标损失值，包括：
确定所述第一损失值的权重值和所述第二损失值的权重值；对所述第一损失值的权重值和所述第二损失值的权重值进行加权求和处理，获得所述目标损失值。7.根据权利要求1所述的识别模型的训练方法，其特征在于，所述将所述训练文本输入待训练识别模型，经过所述待训练识别模型中的语言模块对所述训练文本进行编码处理，获得特征向量步骤执行之前，还包括：对所述训练文本进行分词处理，获得词单元集合；相应的，所述将所述训练文本输入待训练识别模型，经过所述待训练识别模型中的语言模块对所述训练文本进行编码处理，获得特征向量，包括：将所述词单元集合输入至所述待训练识别模型，经过所述语言模块对所述词单元集合进行编码处理，获得所述特征向量。8.一种文本识别方法，其特征在于，包括：获取待识别文本；将所述待识别文本输入至目标识别模型进行实体抽取和意图理解，获得所述待...

【专利技术属性】
技术研发人员：王勇博，李长亮，唐剑波，
申请(专利权)人：北京金山数字娱乐科技有限公司，
类型：发明
国别省市：