槽识别模型训练方法及装置和槽填充方法及装置制造方法及图纸

本申请公开了一种槽识别模型训练方法及装置和槽填充方法及装置，其中，槽识别模型训练方法包括：将训练样本的文本数据输入至预先构建的槽识别模型；槽识别模型对所述文本数据进行编码，得到所述文本数据中每个词的词向量；基于词向量进行粗标签分类，得到相应词的粗标签得分向量；其中，粗标签预先基于槽值的词性类别对槽进行分类得到；基于词向量以及词向量对应的粗标签得分向量，生成相应词的高级细标签得分向量；将高级细标签得分向量，输入至模型的条件随机场层处理，得到相应的细标签分类损失值；基于细标签分类损失值，调整模型的网络参数。采用本申请，能够实现零样本跨领域槽填充，且可以提高填充的准确性。且可以提高填充的准确性。且可以提高填充的准确性。

【技术实现步骤摘要】
槽识别模型训练方法及装置和槽填充方法及装置


[0001]本专利技术涉及人工智能技术，特别是涉及一种槽识别模型训练方法及装置和槽填充方法及装置。

技术介绍

[0002]随着深度学习技术的进步，任务型人机对话方面也有了长足的发展。任务型对话的目的是在特定领域通过多轮对话，协助用户完成某些具体的任务。任务型对话有两种研究方式，一种是流水线型设计(pipeline)，包括自然语言理解(NLU)、对话管理、自然语言生成三个模块；另一种是端到端形式(end to end)，这种形式是将文本输入送入端到端的模型，直接得到文本输出。相对于端到端形式，流水线型设计是一种更成熟的框架。其中，自然语言理解模块中最关键的一步是将用户的语义信息转换成预先定义好的槽，该过程称为槽填充。
[0003]图1为一槽填充结果示意图。如图1所示，在订机票意图中，预先定义了三个槽：日期(date)、出发地(from)和目的地(to)，当用户发出订机票的请求后，需要进行槽填充，以识别出这三个槽所具有的槽值，即date：明天、from：上海、to：北京。由于每个槽值在句子中的长度不固定，对于槽值的第一个字(英文中为第一个词)，使用的槽标签为B标签，表示起始(begin)，对于槽值的其余部分，使用的槽标签为I标签，表示中间(Intermediate)，对于不属于槽值的部分，使用的槽标签为O标签，表示其他(Other)标签。
[0004]槽填充需要基于大量领域内的标注数据进行训练。然而，在实际应用中，由于应用的新领域层出不穷，对新领域内数据的标注，以及不断训练新模型将产生巨大开销。为此，需要提出一种零样本跨领域的模型，来解决上述问题。具体而言，零样本是指新领域内没有标注数据，只有新领域的槽名、槽名描述、部分槽值信息，以及一些外部先验知识(比如领域的背景知识、不同领域之间的关系)等。跨领域模型是指：利用源领域数据训练的模型，在新领域上也能够快速拓展使用，也就是说，训练好的模型不受限于某一领域的应用，当应用于新领域时，不需要重新进行训练模型，或者只需要少量新领域数据对原有模型进行训练(即在一个训练好的模型上，加入少量的新领域数据去重新训练模型，模型能够很快收敛)，也能够在新的领域上进行槽填充时取得不错的结果。
[0005]利用标签嵌入(label embedding)模型进行槽填充，是目前已提出的一种零样本跨领域槽填充技术。label embedding模型的特点是利用槽名、槽描述等目标领域内槽的信息作为先验知识，并且编码成为向量，再将编码向量与单词的表示做相似度的计算，从而确定每一个单词所属的槽，这种方式的可拓展性比较强，而且所需的数据资源较少，模型结构也简单。
[0006]专利技术人在实现本专利技术的过程中，通过研究发上述基于label embedding模型实现的槽填充容易发生错误，具体原因如下：
[0007]由于上述label embedding模型属于单任务模型，使得label embedding模型与源领域(即模型训练时的样本数据所属领域)会存在过拟合。也就是说，label embedding模型
对源领域槽信息的依赖性过高，如此，就会导致模型很容易把新领域的槽值识别为源领域的槽，从而导致槽填充容易发生错误。

技术实现思路

[0008]有鉴于此，本专利技术的主要目的在于提供一种槽识别模型训练方法及装置和槽填充方法及装置，有利于实现零样本跨领域槽填充，且可以提高填充的准确性。
[0009]为了达到上述目的，本专利技术实施例提出的技术方案为：
[0010]一种槽识别模型训练方法，包括：
[0011]将训练样本的文本数据输入至预先构建的槽识别模型；
[0012]所述槽识别模型对所述文本数据进行编码，得到所述文本数据中每个词的词向量；
[0013]基于所述词向量，进行粗标签分类，得到相应词的粗标签得分向量；其中，所述粗标签预先基于槽值的词性类别对槽进行分类得到；
[0014]基于所述词向量以及词向量对应的所述粗标签得分向量，生成相应词的高级细标签得分向量；
[0015]将所述高级细标签得分向量，输入至所述槽识别模型的条件随机场CRF层处理，得到相应的细标签分类损失值；
[0016]基于所述细标签分类损失值，对所述槽识别模型的网络参数进行调整。
[0017]较佳地，所述粗标签包括：人名、地名、数量词、方位词、个性化名词、常见词和/或其他类型，所述其他类型由不属于人名、地名、数量词、方位词、个性化名词和常见词的槽组成。
[0018]较佳地，所述基于所述词向量以及词向量对应的所述粗标签得分向量，生成相应词的高级细标签得分向量包括：
[0019]对于每个所述词向量，将该词向量与相应的所述粗标签得分向量拼接；
[0020]将所述拼接的结果和新领域中每个槽的槽描述信息向量，输入至所述槽识别模型的相似度处理层处理，得到每个所述词的初级细标签得分向量；所述初级细标签得分向量由相应词与每个槽的相似度得分组成；
[0021]基于所述粗标签得分向量、所述初级细标签得分向量以及粗标签与槽的映射关系，按照加权计算方式，确定每个所述词的高级细标签得分向量。
[0022]较佳地，所述确定每个所述词的高级细标签得分向量包括：
[0023]计算E
f
＝Z+λE
c
M，得到所述高级细标签得分向量；
[0024]其中，E
f
为由所有词的所述高级细标签得分向量组成的矩阵；
[0025]E
c
为由所有词的所述粗标签得分向量组成的矩阵；
[0026]Z为由所有词的所述初级细标签得分向量组成的矩阵；
[0027]M为基于所述映射关系生成的映射矩阵；
[0028]λ为预设的权重系数。
[0029]本专利技术实施例还提供一种槽填充方法，包括：
[0030]将槽填充的目标文本数据输入至预先训练的槽识别模型处理，以对所述目标文本数据进行槽识别；其中，所述槽识别模型基于如上所述的槽识别模型训练方法得到；
[0031]基于所述槽识别的结果，生成所述目标文本数据的槽填充结果。
[0032]本专利技术实施例还提供了一种槽识别模型训练装置，包括：
[0033]数据输入单元，用于将训练样本的文本数据输入至预先构建的槽识别模型；
[0034]编码单元，用于利用所述槽识别模型对所述文本数据进行编码，得到所述文本数据中每个词的词向量；
[0035]粗标签分类单元，用于基于所述词向量，进行粗标签分类，得到相应词的粗标签得分向量；其中，所述粗标签预先基于槽值的词性类别对槽进行分类得到；
[0036]细标签分类单元，用于基于所述词向量以及词向量对应的所述粗标签得分向量，生成相应词的高级细标签得分向量；
[0037]损失函数计算单元，用于将所述高级细标签得分向量，输入至所述槽识别模型的条件随机场CRF层处理，得到相应的细标签分类损失值；...

【技术保护点】

【技术特征摘要】
1.一种槽识别模型训练方法，其特征在于，包括：将训练样本的文本数据输入至预先构建的槽识别模型；所述槽识别模型对所述文本数据进行编码，得到所述文本数据中每个词的词向量；基于所述词向量，进行粗标签分类，得到相应词的粗标签得分向量；其中，所述粗标签预先基于槽值的词性类别对槽进行分类得到；基于所述词向量以及词向量对应的所述粗标签得分向量，生成相应词的高级细标签得分向量；将所述高级细标签得分向量，输入至所述槽识别模型的条件随机场CRF层处理，得到相应的细标签分类损失值；基于所述细标签分类损失值，对所述槽识别模型的网络参数进行调整。2.根据权利要求1所述的方法，其特征在于，所述粗标签包括：人名、地名、数量词、方位词、个性化名词、常见词和/或其他类型，所述其他类型由不属于人名、地名、数量词、方位词、个性化名词和常见词的槽组成。3.根据权利要求1所述的方法，其特征在于，所述基于所述词向量以及词向量对应的所述粗标签得分向量，生成相应词的高级细标签得分向量包括：对于每个所述词向量，将该词向量与相应的所述粗标签得分向量拼接；将所述拼接的结果和每个槽的槽描述信息向量，输入至所述槽识别模型的相似度处理层处理，得到每个所述词的初级细标签得分向量；所述初级细标签得分向量由相应词与每个槽的相似度得分组成；基于所述粗标签得分向量、所述初级细标签得分向量以及粗标签与槽的映射关系，按照加权计算方式，确定每个所述词的高级细标签得分向量。4.根据权利要求3所述的方法，其特征在于，所述确定每个所述词的高级细标签得分向量包括：计算E
f
＝Z+λE
c
M，得到所述高级细标签得分向量；其中，E
f
为由所有词的所述高级细标签得分向量组成的矩阵；E
c
为由所有词的所述粗标签得分向量组成的矩阵；Z为由所有词的所述初级细标签得分向量组成的矩阵；M为基于所述映射关系生成的映射矩阵；λ为预设的权重系数。5.一种槽填...

【专利技术属性】
技术研发人员：沈皓，王小捷，袁彩霞，刘俊鹏，江会星，武威，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：