端到端模型训练方法、语义理解方法、装置、设备和介质制造方法及图纸

本公开涉及一种端到端模型训练方法、语义理解方法、装置、设备和介质；其中，该方法包括：获取训练样本，训练样本包括自然语言文本、自然语言文本对应的关键词集合以及关键词对应的标签信息集合；定义端到端语义理解模型的框架，基于端到端语义理解模型的框架和训练样本，生成对应的语义理解结果，语义理解结果包括意图识别结果、关键词以及每个关键词对应的标签信息；基于预设损失函数，根据训练样本对端到端语义理解模型的框架进行训练，得到端到端语义理解模型。本公开实施例通过训练样本对端到端语义理解模型的框架进行端到端训练，得到端到端语义理解模型，使得语义理解更准确，减少误差的积累，且有利于提高领域对话理解的准确性。准确性。准确性。

End to end model training methods, semantic understanding methods, devices, equipment and media

【技术实现步骤摘要】
端到端模型训练方法、语义理解方法、装置、设备和介质


[0001]本公开涉及计算机领域和自然语言处理领域，尤其涉及一种端到端模型训练方法、语义理解方法、装置、设备和介质。

技术介绍

[0002]自然语言处理是计算机科学领域与人工智能领域中的一个重要方向，能实现人与计算机之间用自然语言进行有效通信。语义理解是自然语言处理中的重要任务，也是实现智能交互的核心。其主要目的是通过自然语言处理相关技术，识别并标注出用户的音频数据所对应的意图及关键词语的槽位信息。但是，由于中文语义的多样性、文字词语的灵活性以及汉语语言的复杂性等，现有技术中语义理解不够准确，使得用户体验不佳。

技术实现思路

[0003]为了解决上述技术问题，本公开提供了一种端到端模型训练方法、语义理解方法、装置、设备和介质。
[0004]第一方面，本公开提供了一种端到端语义理解模型训练方法，该方法包括：
[0005]获取训练样本，所述训练样本包括自然语言文本、所述自然语言文本对应的关键词集合以及关键词对应的标签信息集合；
[0006]定义端到端语义理解模型的框架，基于所述端到端语义理解模型的框架和所述训练样本，生成对应的语义理解结果，所述语义理解结果包括意图识别结果、关键词以及每个关键词对应的标签信息；
[0007]基于预设损失函数，根据所述训练样本对所述端到端语义理解模型的框架进行训练，得到端到端语义理解模型。
[0008]作为本公开实施例一种可选的实施方式，所述端到端语义理解模型的框架包括语义特征提取单元、全连接层以及目标结果分数计算单元；
[0009]所述语义特征提取单元用于基于所述自然语言文本生成对应的语义向量；
[0010]所述全连接层用于对所述语义向量进行融合处理，得到意图识别预测向量和关键词预测向量；
[0011]所述目标结果分数计算单元用于基于所述意图识别预测向量和所述关键词预测向量分别得到对应的预测分数，并基于所述预测分数确定所述自然语言文本对应的语义理解结果。
[0012]作为本公开实施例一种可选的实施方式，所述基于所述意图识别预测向量和所述关键词预测向量分别得到对应的预测分数，并基于所述预测分数确定所述自然语言文本对应的语义理解结果，包括：
[0013]基于所述意图识别预测向量，根据第一参数矩阵，确定对应的第一预测分数；
[0014]基于所述关键词预测向量，根据第二参数矩阵，确定对应的第二预测分数；
[0015]基于所述意图识别预测向量和所述关键词预测向量，根据第三参数矩阵，确定对
应的第三预测分数；
[0016]基于所述第一预测分数、所述第二预测分数以及所述第三预测分数，确定所述自然语言文本对应的语义理解结果。
[0017]作为本公开实施例一种可选的实施方式，所述语义特征提取单元包括：语义表示层和编码层；
[0018]所述语义表示层，用于基于所述自然语言文本生成对应的表示向量；
[0019]所述编码层，用于对所述表示向量进行特征提取，得到所述自然语言文本对应的语义向量。作为本公开实施例一种可选的实施方式，所述基于预设损失函数，根据所述训练样本对所述端到端语义理解模型的框架进行训练，得到端到端语义理解模型，包括：
[0020]根据所述第一预测分数、所述第二预测分数、所述第三预测分数以及所述标签信息集合，确定所述预设损失函数对应的损失值；
[0021]根据所述损失值，调整所述端到端语义理解模型的框架的参数，直至所述端到端语义理解模型的框架收敛，得到端到端语义理解模型。
[0022]第二方面，本公开提供了一种语义理解方法，该方法包括：
[0023]获取待预测文本；
[0024]将所述待预测文本输入端到端语义理解模型中，得到所述待预测文本对应的目标语义理解结果；
[0025]其中，所述端到端语义理解模型基于如第一方面任一项所述的方法训练得到。
[0026]第三方面，本公开提供了一种端到端语义理解模型训练装置，该装置包括：
[0027]样本获取模块，用于获取训练样本，所述训练样本包括自然语言文本、所述自然语言文本对应的关键词集合以及关键词对应的标签信息集合；
[0028]框架确定模块，用于定义端到端语义理解模型的框架，基于所述端到端语义理解模型的框架和所述训练样本，生成对应的语义理解结果，所述语义理解结果包括意图识别结果、关键词以及每个关键词对应的标签信息；
[0029]模型确定模块，用于基于预设损失函数，根据所述训练样本对所述端到端语义理解模型的框架进行训练，得到端到端语义理解模型。
[0030]作为本公开实施例一种可选的实施方式，所述端到端语义理解模型的框架包括语义特征提取单元、全连接层以及目标结果分数计算单元；
[0031]所述语义特征提取单元用于基于所述自然语言文本生成对应的语义向量；
[0032]所述全连接层用于对所述语义向量进行融合处理，得到意图识别预测向量和关键词预测向量；
[0033]所述目标结果分数计算单元用于基于所述意图识别预测向量和所述关键词预测向量分别得到对应的预测分数，并基于所述预测分数确定所述自然语言文本对应的语义理解结果。
[0034]作为本公开实施例一种可选的实施方式，所述目标结果分数计算单元，具体用于：
[0035]基于所述意图识别预测向量，根据第一参数矩阵，确定对应的第一预测分数；
[0036]基于所述关键词预测向量，根据第二参数矩阵，确定对应的第二预测分数；
[0037]基于所述意图识别预测向量和所述关键词预测向量，根据第三参数矩阵，确定对应的第三预测分数；
[0038]基于所述第一预测分数、所述第二预测分数以及所述第三预测分数，确定所述自然语言文本对应的语义理解结果。
[0039]作为本公开实施例一种可选的实施方式，所述语义特征提取单元包括：语义表示层和编码层；
[0040]所述语义表示层，用于基于所述自然语言文本生成对应的表示向量；
[0041]所述编码层，用于对所述表示向量进行特征提取，得到所述自然语言文本对应的语义向量。
[0042]作为本公开实施例一种可选的实施方式，所述模型确定模块，具体用于：
[0043]根据所述第一预测分数、所述第二预测分数、所述第三预测分数以及所述标签信息集合，确定所述预设损失函数对应的损失值；
[0044]根据所述损失值，调整所述端到端语义理解模型的框架的参数，直至所述端到端语义理解模型的框架收敛，得到端到端语义理解模型。第四方面，本公开提供了一种语义理解装置，该装置包括：
[0045]文本获取模块，用于获取待预测文本；
[0046]结果确定模块，用于将所述待预测文本输入端到端语义理解模型中，得到所述待预测文本对应的目标语义理解结果；
[0047]其中，所述端到端语义理解模型基于如第一方面任一项所述的方法训练得到。
[0048]第五本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种端到端语义理解模型训练方法，其特征在于，所述方法包括：获取训练样本，所述训练样本包括自然语言文本、所述自然语言文本对应的关键词集合以及关键词对应的标签信息集合；定义端到端语义理解模型的框架，基于所述端到端语义理解模型的框架和所述训练样本，生成对应的语义理解结果，所述语义理解结果包括意图识别结果、关键词以及每个关键词对应的标签信息；基于预设损失函数，根据所述训练样本对所述端到端语义理解模型的框架进行训练，得到端到端语义理解模型。2.根据权利要求1所述的方法，其特征在于，所述端到端语义理解模型的框架包括语义特征提取单元、全连接层以及目标结果分数计算单元；所述语义特征提取单元用于基于所述自然语言文本生成对应的语义向量；所述全连接层用于对所述语义向量进行融合处理，得到意图识别预测向量和关键词预测向量；所述目标结果分数计算单元用于基于所述意图识别预测向量和所述关键词预测向量分别得到对应的预测分数，并基于所述预测分数确定所述自然语言文本对应的语义理解结果。3.根据权利要求2所述的方法，其特征在于，所述基于所述意图识别预测向量和所述关键词预测向量分别得到对应的预测分数，并基于所述预测分数确定所述自然语言文本对应的语义理解结果，包括：基于所述意图识别预测向量，根据第一参数矩阵，确定对应的第一预测分数；基于所述关键词预测向量，根据第二参数矩阵，确定对应的第二预测分数；基于所述意图识别预测向量和所述关键词预测向量，根据第三参数矩阵，确定对应的第三预测分数；基于所述第一预测分数、所述第二预测分数以及所述第三预测分数，确定所述自然语言文本对应的语义理解结果。4.根据权利要求2所述的方法，其特征在于，所述语义特征提取单元包括：语义表示层和编码层；所述语义表示层，用于基于所述自然语言文本生成对应的表示向量；所述编码层，用于对所述表示向量进行特征提取，得到所述自然语言文本对应的语义向量。5.根据权利要求3所述的方法，其特征在于，所述基于预设损失函数，根据所述训练样本对...

【专利技术属性】
技术研发人员：张桐桐，殷腾龙，
申请(专利权)人：海信视像科技股份有限公司，
类型：发明
国别省市：