语义槽填充模型训练方法及系统技术方案

本发明专利技术实施例提供一种语义槽填充模型训练方法。该方法包括：对带有标注的第一训练数据集进行训练，生成第一语义槽填充模型；将自动语音识别的第二训练数据集，输入至第一语义槽填充模型，确定第一语义槽值对；基于规则的错误纠正模块对第一语义槽值对进行纠正，确定第二语义槽值对，其中，错误纠正模型基于预设规则对第一语义槽值对进行纠正；基于第二语义槽值对，对第一语义槽填充模型进行策略梯度训练，确定训练后的第二语义槽填充模型。本发明专利技术实施例还提供一种语义槽填充模型训练系统。本发明专利技术实施例通过强化学习将基于规则的错误纠正直接引入训练的方法，用于口语语义理解中的槽填充任务。从而提高语义理解对语音识别错误的鲁棒性。

【技术实现步骤摘要】
语义槽填充模型训练方法及系统
本专利技术涉及智能语音领域，尤其涉及一种语义槽填充模型训练方法及系统。
技术介绍
口语语义理解是将自动语音识别产生的输出转化为结构化的语义表示的一种技术，因而对于语音识别错误非常敏感。在语义理解中，通常会使用语义槽填充。为了提升语义理解对语音识别错误的鲁棒性，会利用基于规则的纠正模型对语义槽填充预测的槽值进行纠正。进而保证口语语义理解的准确。在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：这些方法的缺陷在于槽填充模型和基于规则错误纠正模型是相互独立的，即使两个模型单独的训练，但纠正结果的好坏大幅度是受规则错误纠正模型限制的。然而错误纠正本应作为一个后处理模块，不应过于影响口语语义理解。使得口语语义理解对语音识别的鲁棒性较差。
技术实现思路
为了至少解决现有技术中口语语义理解中槽填充模型和基于规则错误纠正模型相互独立，使得口语理解对于语音识别错误的鲁棒性较差的问题。第一方面，本专利技术实施例提供一种语义槽填充模型训练方法，包括：对带有标注的第一训练数据集进行训练，生成第一语义槽填充模型；将自动语音识别的第二训练数据集，输入至所述第一语义槽填充模型，确定第一语义槽值对；基于规则的错误纠正模块对所述第一语义槽值对进行纠正，确定第二语义槽值对，其中，所述错误纠正模型基于预设规则对所述第一语义槽值对进行纠正；基于所述第二语义槽值对，对所述第一语义槽填充模型进行策略梯度训练，确定训练后的第二语义槽填充模型。第二方面，本专利技术实施例提供一种语义槽填充模型训练系统，包括：数据训练程序模块，用于对带有标注的第一训练数据集进行训练，生成第一语义槽填充模型；语义槽值对确定程序模块，用于将自动语音识别的第二训练数据集，输入至所述第一语义槽填充模型，确定第一语义槽值对；纠正程序模块，用于基于规则的错误纠正模块对所述第一语义槽值对进行纠正，确定第二语义槽值对，其中，所述错误纠正模型基于预设规则对所述第一语义槽值对进行纠正；语义槽填充模型训练程序模块，用于基于所述第二语义槽值对，对所述第一语义槽填充模型进行策略梯度训练，确定训练后的第二语义槽填充模型。第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的语义槽填充模型训练方法的步骤。第四方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的语义槽填充模型训练方法的步骤。本专利技术实施例的有益效果在于：通过强化学习将基于规则的错误纠正直接引入训练的方法，用于口语语义理解中的槽填充任务。一方面利用了领域知识，另一方面连接了槽填充和错误纠正两个模块。从而提高语义理解对语音识别错误的鲁棒性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种语义槽填充模型训练方法的流程图；图2是本专利技术一实施例提供的一种语义槽填充模型训练方法的模型架构图；图3是本专利技术一实施例提供的一种语义槽填充模型训练方法的测试集的结果示意图；图4是本专利技术一实施例提供的一种语义槽填充模型训练方法的使用实例图；图5是本专利技术一实施例提供的一种语义槽填充模型训练方法的性能示意图；图6是本专利技术一实施例提供的一种语义槽填充模型训练系统的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示为本专利技术一实施例提供的一种语义槽填充模型训练方法的流程图，包括如下步骤：S11：对带有标注的第一训练数据集进行训练，生成第一语义槽填充模型；S12：将自动语音识别的第二训练数据集，输入至所述第一语义槽填充模型，确定第一语义槽值对；S13：基于规则的错误纠正模块对所述第一语义槽值对进行纠正，确定第二语义槽值对，其中，所述错误纠正模型基于预设规则对所述第一语义槽值对进行纠正；S14基于所述第二语义槽值对，对所述第一语义槽填充模型进行策略梯度训练，确定训练后的第二语义槽填充模型。在本实施方式中，为了解决现有技术中的缺陷，进而在槽填充模型的训练过程中也引入错误纠正模块，由于纠正过程是基于规则的不可导过程，因而使用强化学习中的策略梯度传递方法进行训练。在训练过程中考虑纠正模块，可以使槽填充模型的输出更好地用于纠正模块，从而提升语义理解对语音识别的鲁棒性。进而方法包含两个模块，语义槽填充模型，和基于规则的错误纠正模块。对于步骤S11，为了训练语义槽填充模型需要准备适当的数据，包括人工标注的真实文本，以及语音识别假设的文本。这二者在训练阶段中都会使用。第一数据为人工标注的真实文本数据，由于每个词都有明确的标注，因此可以将槽填充任务转换为一个序列标注任务进行处理，从而训练语义槽填充模型。作为一种实施方式，通过双向长短时记忆网络对带有标注的第一训练数据集进行训练。对于步骤S12，将语音识别假设的文本，也就是自动语音识别的文本输入到在步骤S11中训练的语义槽填充模型，如图2所示的模型架构图，用户说出的话为“我要去静安区”，然而由于语音识别中有错误，误识别为“我要去静湾区”。就获得了错误的第一语义槽值对，为了便于表示，通过语义三元组进行表示，得到(inform-终点-静湾区)。由于语义槽值对错误，“我要去静湾区”则无法获得正确的对齐标注。对于步骤S13，错误纠正模块由多种规则构成，在日常的使用中，通过不断收集语音识别的错误，从而逐渐丰富规则。基于错误纠正模块对“我要去静湾区”(inform-终点-静湾区)进行纠正，例如，经过纠正得到用户的原本意思“我要去静安区”。得到槽值对为“inform-终点-静安区”。对真实文本进行对齐标注就可以得到“我:O要:O去:O静:B-inform-终点安:I-inform-终点区:I-inform-终点”。对于步骤S14，考虑到纠正过程是基于规则的不可导过程，因而使用强化学习中的策略梯度传递方法进行训练。其中，策略梯度传递方法包括：Pre-training预训练以及RL-training强化学习训练。将第二语义槽值对“inform-终点-静安区”确定为强化学习的回报来训练槽填充模型。强化学习的具本文档来自技高网...

【技术保护点】
1.一种语义槽填充模型训练方法，包括：/n对带有标注的第一训练数据集进行训练，生成第一语义槽填充模型；/n将自动语音识别的第二训练数据集，输入至所述第一语义槽填充模型，确定第一语义槽值对；/n基于规则的错误纠正模块对所述第一语义槽值对进行纠正，确定第二语义槽值对，其中，所述错误纠正模型基于预设规则对所述第一语义槽值对进行纠正；/n基于所述第二语义槽值对，对所述第一语义槽填充模型进行策略梯度训练，确定训练后的第二语义槽填充模型。/n

【技术特征摘要】
1.一种语义槽填充模型训练方法，包括：
对带有标注的第一训练数据集进行训练，生成第一语义槽填充模型；
将自动语音识别的第二训练数据集，输入至所述第一语义槽填充模型，确定第一语义槽值对；
基于规则的错误纠正模块对所述第一语义槽值对进行纠正，确定第二语义槽值对，其中，所述错误纠正模型基于预设规则对所述第一语义槽值对进行纠正；
基于所述第二语义槽值对，对所述第一语义槽填充模型进行策略梯度训练，确定训练后的第二语义槽填充模型。


2.根据权利要求1所述的方法，其中，在确定训练后的第二语义槽填充模型之后，所述方法还包括：
接收测试数据集；
将所述测试数据集输入至所述第二语义槽填充模型，确定纠正前的槽值对；
将所述纠正前的槽值对输入至所述错误纠正模块中，得到最终的槽值对。


3.根据权利要求1所述的方法，其中，所述对带有标注的第一训练数据集进行训练包括：
通过双向长短时记忆网络对带有标注的第一训练数据集进行训练。


4.根据权利要求1所述的方法，其中，所述语义槽值对包括语义三元组。


5.根据权利要求1所述的方法，其中，所述策略梯度训练包括：Pre-training预训练以及RL-training强化学习训练。


6.一种语义槽填充模...

【专利技术属性】
技术研发人员：俞凯，刘辰，朱苏，陈露，曹瑞升，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32