自然语言识别模型生成、自然语言处理方法及设备技术

本说明书一个或多个实施例提供一种自然语言识别模型生成、自然语言处理方法及设备，方法包括：获取训练模型的训练后的权重参数、以及训练训练模型使用的字典；训练模型为基于第一编程语言构建的神经网络模型；将权重参数转化为第一预设格式的数据；将字典转化为第二预设格式的数据；将第一预设格式的数据和第二预设格式的数据载入基于第二编程语言编写的推理模型中，得到自然语言识别模型；可见，本方案中，自然语言识别模型是由推理模型载入权重参数和字典得到的，由于推理模型不涉及训练过程，推理模型的数据量小于训练模型，进而减少了自然语言识别模型的数据量。

【技术实现步骤摘要】
自然语言识别模型生成、自然语言处理方法及设备
本说明书一个或多个实施例涉及自然语言
，尤其涉及一种自然语言识别模型生成、自然语言处理方法及设备。
技术介绍
自然语言处理(NLP，NaturalLanguageProcessing)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。目前，各种电子设备，比如，手机、电脑、车载设备、智能家居等等，都需要与用户进行交互，交互过程通常都涉及自然语言处理。一些相关方案中，通常基于编程语言(如BASIC、JAVA、C、C++、python等)构建神经网络，然后通过语料数据对该神经网络进行训练得到识别模型，将该识别模型配置到电子设备中，该识别模型可以对用户的语言进行解析处理。但是，识别模型数据量较大，占用电子设备的内存量较大，进而会降低电子设备的响应速度。
技术实现思路
有鉴于此，本说明书一个或多个实施例的目的在于提出一种自然语言识别模型生成、自然语言处理方法及设备，以减少自然语言识别模型的数据量。基于上述目的，本说明书一个或多个实施例提供了一种自然语言识别模型生成方法，包括：获取训练模型的训练后的权重参数、以及训练所述训练模型使用的字典；所述训练模型为基于第一编程语言构建的神经网络模型；将所述权重参数转化为第一预设格式的数据；将所述字典转化为第二预设格式的数据；将所述第一预设格式的数据和所述第二预设格式的数据载入基于第二编程语言编写的推理模型中，得到自然语言识别模型。可选的，所述将所述权重参数转化为第一预设格式的数据，包括：将所述权重参数转化为PB模型文件；将所述PB模型文件转化为.lite格式的文件，作为第一预设格式的数据。可选的，所述第二预设格式的数据为.pkl格式的字典；所述将所述第一预设格式的数据和所述第二预设格式的数据载入基于第二编程语言编写的推理模型中，得到自然语言识别模型，包括：基于BERT模型，通过CUDA配置NAIDIA程序，作为推理模型；将所述.lite格式的文件和所述.pkl格式的字典载入所述推理模型，得到自然语言识别模型。可选的，所述获取训练模型的训练后的权重参数、以及训练所述训练模型使用的字典，包括：获取语料数据以及所述语料数据对应的字典；对所述语料数据进行增强处理，得到增强处理后的语料数据；基于所述增强处理后的语料数据及所述字典，对训练模型进行训练，得到训练完成的权重参数。可选的，所述对所述语料数据进行增强处理，得到增强处理后的语料数据，包括：采用如下任意一种或多种增强方式，对所述语料数据进行增强处理，得到增强处理后的语料数据：将所述语料数据中的关键词进行同义词替换；按照预设删除方式，删除所述语料数据中的非关键词；按照预设插入方式，在所述语料数据中插入关键词；按照预设位置互换方式，将所述语料数据中的关键词互换位置。基于上述目的，本说明书一个或多个实施例还提供了一种自然语言处理方法，包括：获取待处理自然语言；对所述待处理自然语言进行泛化处理，得到泛化后的语言；所述泛化后的语言中包括识别出的实体和意图；将所述泛化后的语言输入至基于权利要求1-5任意一项得到的自然语言识别模型，所述自然语言识别模型基于正向样例输出意图标识；基于所述意图标识和所述实体，获取所述待处理自然语言对应的回复信息。可选的，所述基于所述意图标识和所述实体，获取所述待处理自然语言对应的回复信息，包括：在预设数据库中，查找所述意图标识和所述实体对应的回复信息。可选的，所述方法还包括：若所述自然语言识别模型未输出意图标识，则将所述待处理自然语言添加至所述正向样例中。基于上述目的，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一种自然语言识别模型生成方法、或者任意一种自然语言处理方法。基于上述目的，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任意一种自然语言识别模型生成方法、或者任意一种自然语言处理方法。本专利技术所示实施例中，获取训练模型的训练后的权重参数、以及训练训练模型使用的字典；训练模型为基于第一编程语言构建的神经网络模型；将权重参数转化为第一预设格式的数据；将字典转化为第二预设格式的数据；将第一预设格式的数据和第二预设格式的数据载入基于第二编程语言编写的推理模型中，得到自然语言识别模型；可见，本方案中，自然语言识别模型是由推理模型载入权重参数和字典得到的，由于推理模型不涉及训练过程，推理模型的数据量小于训练模型，进而减少了自然语言识别模型的数据量。附图说明为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种自然语言识别模型生成方法的流程示意图；图2为本专利技术实施例提供的一种自然语言处理方法的流程示意图；图3为本专利技术实施例提供的一种具体实施方式示意图；图4为本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。为了达到上述目的，本专利技术实施例提供了一种自然语言识别模型生成、自然语言处理方法及设备，该方法可以应用于各种电子设备，具体不做限定。下面首先对自然语言识别模型生成方法进行详细介绍。图1为本专利技术实施例提供的一种自然语言识别模型生成方法的流程示意图，包括：S101：获取训练模型的训练后的权重参数、以及训练该训练模型使用的字典；该训练模型为基于第一编程语言构建的神经网络模型。本文档来自技高网...

【技术保护点】
1.一种自然语言识别模型生成方法，其特征在于，包括：/n获取训练模型的训练后的权重参数、以及训练所述训练模型使用的字典；所述训练模型为基于第一编程语言构建的神经网络模型；/n将所述权重参数转化为第一预设格式的数据；/n将所述字典转化为第二预设格式的数据；/n将所述第一预设格式的数据和所述第二预设格式的数据载入基于第二编程语言编写的推理模型中，得到自然语言识别模型。/n

【技术特征摘要】
1.一种自然语言识别模型生成方法，其特征在于，包括：
获取训练模型的训练后的权重参数、以及训练所述训练模型使用的字典；所述训练模型为基于第一编程语言构建的神经网络模型；
将所述权重参数转化为第一预设格式的数据；
将所述字典转化为第二预设格式的数据；
将所述第一预设格式的数据和所述第二预设格式的数据载入基于第二编程语言编写的推理模型中，得到自然语言识别模型。


2.根据权利要求1所述的方法，其特征在于，所述将所述权重参数转化为第一预设格式的数据，包括：
将所述权重参数转化为PB模型文件；
将所述PB模型文件转化为.lite格式的文件，作为第一预设格式的数据。


3.根据权利要求2所述的方法，其特征在于，所述第二预设格式的数据为.pkl格式的字典；
所述将所述第一预设格式的数据和所述第二预设格式的数据载入基于第二编程语言编写的推理模型中，得到自然语言识别模型，包括：
基于BERT模型，通过CUDA配置NAIDIA程序，作为推理模型；
将所述.lite格式的文件和所述.pkl格式的字典载入所述推理模型，得到自然语言识别模型。


4.根据权利要求1所述的方法，其特征在于，所述获取训练模型的训练后的权重参数、以及训练所述训练模型使用的字典，包括：
获取语料数据以及所述语料数据对应的字典；
对所述语料数据进行增强处理，得到增强处理后的语料数据；
基于所述增强处理后的语料数据及所述字典，对训练模型进行训练，得到训练完成的权重参数。


5.根据权利要求4所述的方法，其特征在于，所述对所述语料数据进行增强处理，得到增强处理...

【专利技术属性】
技术研发人员：梁天新，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京;11