口语对话状态追踪模型训练方法及口语对话状态追踪方法技术

本申请公开了一种口语对话状态追踪模型训练方法及口语对话状态追踪方法，其中训练方法包括：获取预设的样本数据；样本数据包括正确的对话过程文本数据、经过噪声融合处理的对话过程文本数据和目标槽值标签；利用口语对话状态追踪模型，基于经过噪声融合处理的所述对话过程文本数据，进行文本纠错和槽值提取，并基于文本纠错和槽值提取的结果、正确的对话过程文本数据和目标槽值标签，计算总损失函数值，利用总损失函数值，对口语对话状态追踪模型的参数进行优化调整；其中，基于对话过程文本数据在文本纠错前后分别对应的语义向量的拼接结果，利用对话状态追踪解码器，进行槽值提取。采用本申请，可以提高口语对话状态追踪的准确度。的准确度。的准确度。

【技术实现步骤摘要】
口语对话状态追踪模型训练方法及口语对话状态追踪方法


[0001]本专利技术涉及人工智能技术，特别是涉及一种口语对话状态追踪模型训练方法及口语对话状态追踪方法。

技术介绍

[0002]口语对话系统旨在提取用户语句中的意图和相应的槽值，并且采取合适的对话动作生成回复。在这个系统中，一句口语经常会先经过语音识别(ASR)模块转化成文本，然后将识别的文本输入到下游模块(如对话状态追踪(DST)模块)中。在这样的管道式结构中，ASR可能会将某个实体词转录成另外一个同音词，转录后的ASR文本中包含了噪声，这些噪声严重影响了下游模块的性能。针对该问题，目前提出了一种解决方案，该方案通过引入文本纠错模型，将噪声句子恢复成干净句子再输入到下游任务模块。
[0003]专利技术人在实现本专利技术的过程中发现：采用上述解决方案进行对话状态追踪，会由存在级联误差的问题，具体分析如下：
[0004]上述引入文本纠错模型的解决方案中，对话状态追踪模块的输入数据为经由文本纠错模型进行纠错处理后的句子序列，如此，对话状态追踪模块的目标任务性能取决于文本纠错模型恢复句子序列的正确性，即如果文本纠错模型无法准确地恢复句子序列，相应的对话状态追踪模块将会输出错误的语义理解文本。因此，采用上述解决方案会存在级联误差的问题，进而影响口语对话状态追踪的准确度。

技术实现思路

[0005]有鉴于此，本专利技术的主要目的在于提供一种口语对话状态追踪模型训练方法及口语对话状态追踪方法，可以提高口语对话状态追踪的准确度。
[0006]为了达到上述目的，本专利技术实施例提出的技术方案为：
[0007]一种口语对话状态追踪模型的训练方法，包括：
[0008]获取预设的样本数据；所述样本数据包括正确的对话过程文本数据、经过噪声融合处理的所述对话过程文本数据和目标槽值标签；
[0009]利用口语对话状态追踪模型，基于经过噪声融合处理的所述对话过程文本数据，进行文本纠错和槽值提取，并基于所述文本纠错和所述槽值提取的结果、所述正确的对话过程文本数据和所述目标槽值标签，计算总损失函数值，利用所述总损失函数值，对所述口语对话状态追踪模型的参数进行优化调整；其中，基于所述对话过程文本数据在所述文本纠错前后分别对应的语义向量的拼接结果，利用对话状态追踪解码器，进行所述槽值提取。
[0010]本专利技术实施例还提出一种口语对话状态追踪方法，包括：
[0011]获取目标对话过程文本数据；
[0012]将所述目标对话过程文本数据，输入至预先训练的口语对话状态追踪模型进行槽值提取，得到所述目标对话过程文本数据对应的槽值；
[0013]其中，所述口语对话状态追踪模型基于上述训练方法得到。
[0014]综上所述，本专利技术提出的口语对话状态追踪模型训练方案，在口语对话状态追踪模型中融合了文本纠错功能，并在对口语对话状态追踪模型进行训练时，同时进行文本纠错和槽值提取的训练，将文本纠错后的语义向量与文本纠错前的语义向量进行拼接后，再基于该拼接的结果进行槽值提取，如此，可以避免现有技术中文本纠错模型和口语对话状态追踪模型分别独立训练所导致的级联误差问题，从而可以有效提高口语对话状态追踪的准确度。
附图说明
[0015]图1为本专利技术实施例的口语对话状态追踪模型训练方法流程示意图；
[0016]图2为本专利技术实施例的口语对话状态追踪模型框架示意图；
[0017]图3为本专利技术实施例的文本纠错和槽值提取方法流程示意图。
[0018]图4为本专利技术实施例的口语对话状态追踪方法流程示意图。
具体实施方式
[0019]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本专利技术作进一步地详细描述。
[0020]图1为本专利技术实施例的口语对话状态追踪模型的训练方法流程示意图，如图1所示，该实施例主要包括：
[0021]步骤101、获取预设的样本数据；所述样本数据包括正确的对话过程文本数据、经过噪声融合处理的所述对话过程文本数据和目标槽值标签。
[0022]这里，为了在口语对话状态追踪模型训练过程中提高模型的鲁棒性，样本数据中需要包含经过噪声融合处理的对话过程文本数据。
[0023]样本数据中的对话过程文本数据即对话的上下文数据，通过将所有上文用户语句和系统语句拼接得到，可以表示为x＝{x0,x1,
…
,x
n
}，其中，n表示对话过程文本数据包含的词数。相应的，经过噪声融合处理的所述对话过程文本数据可以表示为其中，n
′
表示经过噪声融合处理的所述对话过程文本数据包含的词数，该文本数据中只有用户的语句带有噪声。
[0024]一种实施方式中，为了更好地模拟口语转录噪声，以提高模型的抗噪能力，可以采用下述方法对对话过程文本数据进行噪声融合处理：
[0025]步骤a1、将所述对话过程文本数据转换为语音数据。
[0026]步骤a2、将所述语音数据与预设的噪声音频进行融合。
[0027]步骤a3、将所述融合的结果转换为文本数据，得到经过噪声融合处理的所述对话过程文本数据。
[0028]一种实施方式中，为了更好地增加模型的鲁棒性，可以基于规模较大的MultiWOZ对话状态追踪数据集，构建样本数据。
[0029]考虑到本专利技术中的口语对话状态追踪模型为多任务模型，即整合了文本纠正任务和对话状态追踪任务(即进行槽值提取的任务)，在实际应用中，为了便于实施，对于一个正确的对话过程文本数据，可以相应地生成两个样本数据，以分别用于文本纠正任务和对话状态追踪任务的训练，相应地，这两个样本数据中还包含任务类型信息，以指示模型基于样
本数据执行哪种任务，这两个样本数据中除了任务类型之外其他内容相同。
[0030]步骤102、利用口语对话状态追踪模型，基于经过噪声融合处理的所述对话过程文本数据，进行文本纠错和槽值提取，并基于所述文本纠错和所述槽值提取的结果、所述正确的对话过程文本数据和所述目标槽值标签，计算总损失函数值，利用所述总损失函数值，对所述口语对话状态追踪模型的参数进行优化调整；其中，基于所述对话过程文本数据在所述文本纠错前后分别对应的语义向量的拼接结果，利用对话状态追踪解码器，进行所述槽值提取。
[0031]这里需要说明的是，本专利技术中在口语对话状态追踪模型中融合了文本纠错功能，在对口语对话状态追踪模型进行训练时，同时进行文本纠错和槽值提取的训练，并将文本纠错后的语义向量与文本纠错前的语义向量进行拼接后，再基于该拼接的结果进行槽值提取，如此，可以避免现有技术中文本纠错模型和口语对话状态追踪模型分别独立训练所导致的级联误差的问题，从而可以有效提高口语对话状态追踪的准确度。
[0032]图2为本专利技术实施例所采用的口语对话状态追踪模型框架示意图。一种实施方式中，如图2和图3所示，具体可以采用下述方法进行文本纠错和槽值提取：
[0033]步骤301、生成所述对话过程文本数据的向量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种口语对话状态追踪模型的训练方法，其特征在于，包括：获取预设的样本数据；所述样本数据包括正确的对话过程文本数据、经过噪声融合处理的所述对话过程文本数据和目标槽值标签；利用口语对话状态追踪模型，基于经过噪声融合处理的所述对话过程文本数据，进行文本纠错和槽值提取，并基于所述文本纠错和所述槽值提取的结果、所述正确的对话过程文本数据和所述目标槽值标签，计算总损失函数值，利用所述总损失函数值，对所述口语对话状态追踪模型的参数进行优化调整；其中，基于所述对话过程文本数据在所述文本纠错前后分别对应的语义向量的拼接结果，利用对话状态追踪解码器，进行所述槽值提取。2.根据权利要求1所述的方法，其特征在于，所述进行文本纠错和槽值提取包括：生成所述对话过程文本数据的向量表示；基于所述向量表示，利用纠错编码器和纠错解码器，进行文本纠错处理，得到所述对话过程文本数据的第一语义向量；基于所述向量表示，利用对话状态追踪编码器进行编码处理，得到所述对话过程文本数据的第二语义向量；将所述第一语义向量和所述第二语义向量进行拼接，并利用自注意力网络层，对所述拼接结果进行语义融合；将所述语义融合的结果，输入至对话状态追踪解码器进行解码处理，得到所述对话过程文本数据的槽值提取结果。3.根据权利要求2所述的方法，其特征在于，所述基于所述向量表示，利用纠错编码器和纠错解码器，进行文本纠错处理包括：将所述向量表示输入至所述纠错编码器进行编码处理，并将相应的编码处理结果输入至所述纠错解码器进行解码处理，得到所述第一语义向量。4.根据权利要求1所述的方法，其特征在于，所述基于所述文本纠错和所述槽值提取的结果、所述正确的对话过程文本数据和所述目标槽值标签，计算总损失函数值包括：按照按照计算第一损失函数值其中，α为预设的超参数，α≤1，表示经过噪声融合处理的所述对话过程文本数据；x表示所述正确的对话过程文本数据，x＝{x0,x1,
…
,x
n
}，n表示x中的词数；x
i
表示x中的第i个词，表示纠错解码器的输出概率，x
＜i
表示在对x
i
进行解码之前已经解码出的所有词，表示x
i
不是实体词，表示x
i
是实体词；按照计算第二损失函数...

【专利技术属性】
技术研发人员：王德远，袁彩霞，高晖，王小捷，许文俊，张平，冯方向，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：