对话状态跟踪方法、装置及对话状态跟踪模型训练方法制造方法及图纸

本公开提供了一种对话状态跟踪方法、装置，涉及人工智能领域。该方法包括：获取历史对话和当前轮次对话，将历史对话、当前轮次对话、当前轮次对话中的槽和与当前轮次对话中的槽对应的值集合输入至对话状态跟踪模型；通过对话状态跟踪模型对历史对话、当前轮次对话、当前轮次对话中的槽和与当前轮次对话中的槽对应的值集合进行特征提取，以获取与当前轮次对话对应的对话状态；对话状态跟踪模型是基于自适应优化损失函数训练得到的，自适应优化损失函数包括槽优化系数和样本优化系数，并且槽优化系数是根据每个槽在验证数据集上的准确率确定的，样本优化系数是根据各轮次对话样本的置信度确定的。本公开能够改善对话状态跟踪中的槽不均衡问题。

【技术实现步骤摘要】
对话状态跟踪方法、装置及对话状态跟踪模型训练方法
本公开涉及人工智能
，具体而言，涉及一种对话状态跟踪方法、对话状态跟踪装置、对话状态跟踪模型训练方法、对话状态跟踪模型训练装置、计算机可读存储介质及电子设备。
技术介绍
随着各种应用程序的开发及智能电子设备的出现，人们可以通过智能电子设备开展各项工作，例如通过人机交互的方式订餐、订酒店、导航等等，这些功能的实现主要基于人工智能中的对话系统实现。对话系统按功能划分为闲聊型、任务型、知识问答型和推荐型，其中较常使用的对话系统为任务型对话系统，而任务型对话系统中最重要的部分为对话状态跟踪。对话状态跟踪是从多轮的、表达方式多种多样的对话中自动识别出结构化的对话状态，对话状态通常是由一些预定义的槽和它们对应的值组成，比如在订餐任务中，会有‘食品类型’、‘餐厅位置’和‘价位’等槽，以及一些已知值(预定义状态库中的槽值)。目前在对话状态跟踪任务中存在槽不均衡的问题，即不同槽、不同样本的学习难度不均衡的问题，阻碍了模型对于较难槽、较难样本的优化，从而限制了模型对较复杂对话状态的跟踪能力。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的实施例提供了一种对话状态跟踪方法、对话状态跟踪装置、对话状态跟踪模型训练方法、对话状态跟踪模型训练装置、计算机可读存储介质和电子设备，进而至少在一定程度上可以提高对话状态跟踪模型的自适应性，提高对话状态跟踪模型对对话的对话状态的提取效率和对话状态的生成质量，进而提高对话系统的用户体验和交互效率。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开实施例的一个方面，提供了一种对话状态跟踪方法，包括：获取历史对话和当前轮次对话，将所述历史对话、所述当前轮次对话、所述当前轮次对话中的槽和与所述当前轮次对话中的槽对应的值集合输入至对话状态跟踪模型；通过所述对话状态跟踪模型对所述历史对话、所述当前轮次对话、所述当前轮次对话中的槽和与所述当前轮次对话中的槽对应的值集合进行特征提取，以获取与所述当前轮次对话对应的对话状态；其中，所述对话状态跟踪模型是基于自适应优化损失函数训练得到的，所述自适应优化损失函数包括槽优化系数和样本优化系数，并且所述槽优化系数是根据每个槽在验证数据集上的准确率确定的，所述样本优化系数是根据各轮次对话样本的置信度确定的。根据本公开实施例的一个方面，提供了一种对话状态跟踪装置，包括：信息获取模块，用于获取历史对话和当前轮次对话，将所述历史对话、所述当前轮次对话、所述当前轮次对话中的槽和与所述当前轮次对话中的槽对应的值集合输入至对话状态跟踪模型；对话状态生成模块，用于通过所述对话状态跟踪模型对所述历史对话、所述当前轮次对话、所述当前轮次对话中的槽和与所述当前轮次对话中的槽对应的值集合进行特征提取，以获取与所述当前轮次对话对应的对话状态；其中，所述对话状态跟踪模型是基于自适应优化损失函数训练得到的，所述自适应优化损失函数包括槽优化系数和样本优化系数，并且所述槽优化系数是根据每个槽在验证数据集上的准确率确定的，所述样本优化系数是根据各轮次对话样本的置信度确定的。在本公开的一些实施例中，基于前述方案，所述对话状态生成模块包括：特征提取单元，用于对所述当前轮次对话中的槽进行编码以获取槽向量，对与所述当前轮次对话中的槽对应的值集合中各个值进行编码以获取值向量，同时对所述历史对话和所述当前轮次对话进行编码以获取对话向量；第一处理单元，用于基于注意力机制对所述槽向量和所述对话向量进行处理，以获取对话中与所述槽相关的特征向量；归一化单元，用于计算所述特征向量与各所述值向量之间的距离，并对所述距离进行归一化处理，以获取各所述值的概率，根据概率最大的值确定与所述当前轮次对话对应的对话状态。在本公开的一些实施例中，基于前述方案，所述归一化单元配置为：根据所述当前轮次对话中的槽和所述概率最大的值构建槽值对，并将所述当前轮次对话中所有槽对应的槽值对的集合作为所述对话状态。在本公开的一些实施例中，基于前述方案，所述对话状态跟踪装置还包括：样本获取模块，用于获取训练数据集和验证数据集，所述训练数据集包括所述各轮次对话样本；所述验证数据集包括验证对话样本和与所述验证对话样本对应的对话状态标签；模型训练模块，用于根据所述训练数据集和所述槽优化系数对待训练对话状态跟踪模型进行迭代训练，根据所述验证数据集对每轮训练后的待训练对话状态跟踪模型的性能进行验证并更新所述槽优化系数。在本公开的一些实施例中，基于前述方案，所述模型训练模块包括：第一输入单元，用于将所述各轮次对话样本输入至所述待训练对话状态跟踪模型进行特征提取，以获取所述各轮次对话样本的第一置信度；第一调参单元，用于根据所述第一置信度和初始槽优化系数构建初始损失函数，并根据所述初始损失函数对所述待训练对话状态跟踪模型进行调参，以获取目标待训练对话状态跟踪模型，其中所述初始损失函数与所述自适应优化损失函数的表达式相同。在本公开的一些实施例中，基于前述方案，所述模型训练模块包括：槽优化系数更新单元，用于根据所述验证数据集对所述目标待训练对话状态跟踪模型的性能进行验证，以获取更新槽优化系数；模型再训练单元，用于根据所述训练数据集和所述更新槽优化系数对所述目标待训练对话状态跟踪模型进行再训练；循环单元，用于将再训练后的待训练对话状态跟踪模型作为所述目标待训练对话状态跟踪模型，重复上述步骤，直至所述待训练对话状态跟踪模型的损失函数收敛或完成预设次数的训练。在本公开的一些实施例中，基于前述方案，所述槽优化系数更新单元包括：第二输入单元，用于将所述验证对话样本输入至所述目标待训练对话状态跟踪模型，以获取与所述验证对话样本对应的对话状态预测；更新槽优化系数确定单元，用于根据所述对话状态预测和所述对话状态标签确定所述更新槽优化系数。在本公开的一些实施例中，所述验证对话样本中包含多个槽，且所述对话状态标签中的各槽值对分别对应于各所述槽；基于前述方案，所述更新槽优化系数确定单元配置为：根据与各所述槽对应的对话状态预测和对话状态标签计算各所述槽在所述验证数据集上的准确率；分别计算一与各所述槽对应的准确率之间的差值，以获取与各所述槽对应的第一信息；将各所述槽对应的第一信息分别与所有槽对应的第一信息的和相除，以获取与各所述槽对应的第二信息；将各所述第二信息分别与所述槽的数量相乘，以获取与各所述槽对应的更新槽优化系数。在本公开的一些实施例中，基于前述方案，所述模型再训练单元包括：第三输入单元，用于将所述各轮次对话样本输入至所述目标待训练对话状态跟踪模型，通过所述目标待训练对话状态跟踪模型对所述各轮次对话样本进行特征提取，以获取所述各轮次对话样本的第二置信度；第二调参单元，用于根据所述第二置信度和所述更新槽优化系数构建自适应优化损失函数，并根据所述自适应优化损失函数对所述目标待训练对话状态跟踪模型进行调参。在本文档来自技高网...

【技术保护点】
1.一种对话状态跟踪方法，其特征在于，包括：/n获取历史对话和当前轮次对话，将所述历史对话、所述当前轮次对话、所述当前轮次对话中的槽和与所述当前轮次对话中的槽对应的值集合输入至对话状态跟踪模型；/n通过所述对话状态跟踪模型对所述历史对话、所述当前轮次对话、所述当前轮次对话中的槽和与所述当前轮次对话中的槽对应的值集合进行特征提取，以获取与所述当前轮次对话对应的对话状态；/n其中，所述对话状态跟踪模型是基于自适应优化损失函数训练得到的，所述自适应优化损失函数包括槽优化系数和样本优化系数，并且所述槽优化系数是根据每个槽在验证数据集上的准确率确定的，所述样本优化系数是根据各轮次对话样本的置信度确定的。/n

【技术特征摘要】
1.一种对话状态跟踪方法，其特征在于，包括：
获取历史对话和当前轮次对话，将所述历史对话、所述当前轮次对话、所述当前轮次对话中的槽和与所述当前轮次对话中的槽对应的值集合输入至对话状态跟踪模型；
通过所述对话状态跟踪模型对所述历史对话、所述当前轮次对话、所述当前轮次对话中的槽和与所述当前轮次对话中的槽对应的值集合进行特征提取，以获取与所述当前轮次对话对应的对话状态；
其中，所述对话状态跟踪模型是基于自适应优化损失函数训练得到的，所述自适应优化损失函数包括槽优化系数和样本优化系数，并且所述槽优化系数是根据每个槽在验证数据集上的准确率确定的，所述样本优化系数是根据各轮次对话样本的置信度确定的。


2.根据权利要求1所述的对话状态跟踪方法，其特征在于，所述通过所述对话状态跟踪模型对所述历史对话、所述当前轮次对话、所述当前轮次对话中的槽和与所述当前轮次对话中的槽对应的值集合进行特征提取，以获取对话状态，包括：
对所述当前轮次对话中的槽进行编码以获取槽向量，对与所述当前轮次对话中的槽对应的值集合中各个值进行编码以获取值向量，同时对所述历史对话和所述当前轮次对话进行编码以获取对话向量；
基于注意力机制对所述槽向量和所述对话向量进行处理，以获取对话中与所述槽相关的特征向量；
计算所述特征向量与各所述值向量之间的距离，并对所述距离进行归一化处理，以获取各所述值的概率；
根据所述当前轮次对话中的槽和所述概率最大的值构建槽值对，并将所述当前轮次对话中所有槽对应的槽值对的集合作为所述对话状态。


3.根据权利要求1所述的对话状态跟踪方法，所述方法还包括：
获取训练数据集和验证数据集，所述训练数据集包括所述各轮次对话样本；所述验证数据集包括验证对话样本和与所述验证对话样本对应的对话状态标签；
根据所述训练数据集和所述槽优化系数对待训练对话状态跟踪模型进行迭代训练，根据所述验证数据集对每轮训练后的待训练对话状态跟踪模型的性能进行验证并更新所述槽优化系数。


4.根据权利要求3所述的对话状态跟踪方法，其特征在于，所述根据所述训练数据集和所述槽优化系数对待训练对话状态跟踪模型进行迭代训练，包括：
将所述各轮次对话样本输入至所述待训练对话状态跟踪模型进行特征提取，以获取所述各轮次对话样本的第一置信度；
根据所述第一置信度和初始槽优化系数构建初始损失函数，并根据所述初始损失函数对所述待训练对话状态跟踪模型进行调参，以获取目标待训练对话状态跟踪模型，其中所述初始损失函数与所述自适应优化损失函数的表达式相同。


5.根据权利要求4所述的对话状态跟踪方法，其特征在于，所述根据所述训练数据集和所述槽优化系数对所述待训练对话状态跟踪模型进行迭代训练，根据所述验证数据集对训练后的所述待训练对话状态跟踪模型的性能进行验证并更新所述槽优化系数，包括：
根据所述验证数据集对所述目标待训练对话状态跟踪模型的性能进行验证，以获取更新槽优化系数；
根据所述训练数据集和所述更新槽优化系数对所述目标待训练对话状态跟踪模型进行再训练；
将再训练后的待训练对话状态跟踪模型作为所述目标待训练对话状态跟踪模型，重复上述步骤，直至所述待训练对话状态跟踪模型的损失函数收敛或完成预设次数的训练。


6.根据权利要求5所述的对话状态跟踪方法，其特征在于，所述根据所述验证数据集对所述目标待训练对话状态跟踪模型的性能进行验证，以获取更新槽优化系数，包括：
将所述验证对话样本输入至所述目标待训练对话状态跟踪模型，以获取与所述验证对话样本对应的对话状态预测；
根据所述对话状态预测和所述对话状态标签确定所述更新槽优化系数。


7.根据权利要求6所述的对话状态跟踪方法，其特征在于，所述验证对话样本中包含多个槽，且所述对话状态标签中的各槽值对分别对应于各所述槽；
所述根据所述对话状态预测和所述对话状态标签确定所述更新槽优化系数，包括：
根据与各所述槽对应的对话状态预测和对话状态标签计算各所述槽在所述验证数据集上的准确率；
分别计算一与各所述槽对应的准确率之间的差值，以获取与各所述槽对应的第一信息；
将各所述槽对应的第一信息分别与所有槽对应的第一信息的和相除，以获取与各所述槽对应的第二信息；
将各所述第二信息分别与所述槽的数量相乘，以获取与各所述槽对应的更新槽优化系数。


8.根据权利要求5所述的对话状态跟踪方法，其特征在于，所述根据所述训练数据集和所述更新槽优化系数对所述目标待训练对话状态跟踪模型进行再训练，包括：
将所述各轮次对话样本输入至所述目标待训练对话状态跟踪模型，通过所述目标待训练对话状态跟踪模型对所述各轮次对话样...

【专利技术属性】
技术研发人员：单勇，李泽康，张金超，冯洋，孟凡东，
申请(专利权)人：腾讯科技深圳有限公司，中国科学院计算技术研究所，
类型：发明
国别省市：广东;44