货运语料意图分类模型的训练方法、装置、设备及介质制造方法及图纸

本申请涉及人工智能领域，公开了一种货运语料意图分类模型的训练方法、装置、设备及存储介质。该方法包括：获取货运语料训练集，货运语料训练集中包括多条货运语料样本及其意图类别；根据每条货运语料样本的意图类别，对每条货运语料样本进行数据标注；预处理每条货运语料样本，得到多条目标货运语料样本；对每条目标货运语料样本执行向量表达，得到每条目标货运语料样本的初始句向量；构建TextCNN网络模型，并初始化网络参数；依次将每个初始句向量输入至TextCNN网络模型中执行多分类训练，得到货运语料意图分类模型。本发明专利技术通过训练货运语料意图分类模型，进而使用货运语料意图分类模型识别各中货运语料的意图，提升了货运语料意图识别的效率。料意图识别的效率。料意图识别的效率。

【技术实现步骤摘要】
货运语料意图分类模型的训练方法、装置、设备及介质


[0001]本申请涉及人工智能领域，尤其涉及一种货运语料的意图分类方法、装置、设备及存储介质。

技术介绍

[0002]在货运场景中，很多人机交互、人与人交互的货运语料被予以记录，通过分析货运语料可以识别货运语料对应的意图，进而根据所识别意图做进一步决策。
[0003]在现有的技术中，对于货运场景下的货运语料通常是由人为判断意图，进而根据其意图做出决策或答复，其效率低下。
[0004]申请内容
[0005]本申请实施例提供一种货运语料意图分类模型的训练方法，能够对货运场景的中货运语料样本执行预训练，并在预训练的基础上执行意图分类训练，从而得到货运语料意图分类模型，进而可使用货运语料意图分类模型识别各中货运语料的意图，提升了货运语料意图识别的效率。
[0006]第一方面，本申请实施例提供一种货运语料意图分类模型的训练方法，包括：响应于接收到模型训练请求，获取预置的货运语料训练集，其中，货运语料训练集中包括多条货运语料样本和每条货运语料样本对应的意图类别；根据每条货运语料样本对应的意图类别，对每条货运语料样本进行数据标注；对货运语料训练集中的每条货运语料样本执行预处理，得到多条目标货运语料样本；对每条目标货运语料样本执行向量表达，得到每条目标货运语料样本对应的初始句向量；构建TextCNN网络模型，并初始化TextCNN网络模型的网络参数；依次将每条目标货运语料样本对应的初始句向量输入至TextCNN网络模型中执行多分类训练，得到货运语料意图分类模型。
[0007]基于本申请实施例提供的方法，通过获取货运语料样本及其意图，根据意图为每条货运语料样本进行标注，预处理每条货运语料样本，将预处理后的每条货运语料样本转换为向量表示，构建并初始化TextCNN网络模型，最后基于每条货运语料样本的向量表示对该TextCNN网络模型执行多分类训练，从而得到强泛化能力的货运语料意图分类模型，能够识别货运场景中各种货运语料的意图类别。
[0008]在一种可能的实现方式中，对货运语料训练集中的每条货运语料样本执行预处理，得到多条目标货运语料样本包括：对货运语料训练集中的每条初始货运语料样本执行分词处理；去除分词处理后的每条初始货运语料样本中的停用词；对去除停用词后的每条初始货运语料样本进行词干提取，得到多条目标货运语料样本。
[0009]这样一来，分词处理可以将货运语料样本划分为多个分词，进而便于将其转换为多个词向量的叠加；去除停用词以及词干提取可以保留货运语料样本中的语义表示部分，去除不影响语义的部分(例如语气助词等)，在保留语义的基础上尽可能减少样本的大小，从而提升模型的计算处理效率，进而提升货运语料意图分类模型的训练效率。
[0010]在一种可能的实现方式中，每条目标货运语料样本为一个分词序列，每个分词序
列中至少包括一个分词，对每条目标货运语料样本执行向量表达，得到每条目标货运语料样本对应的初始句向量包括：获取与货运行业相关的词嵌套预训练模型，并将每条目标货运语料样本中的分词依次输入至词嵌套预训练模型中执行预训练，得到每条目标货运语料样本中各分词对应的词向量；基于同一目标货运语料样本中各分词对应的词向量求和后计算平均值，得到每条目标货运语料样本对应的初始句向量。
[0011]这样一来，通过货运行业相关的词嵌套预训练模型对各货运语料样本执行预训练，从而准确地将各货运语料样本转换为向量表示，且通过预训练得到的向量表示相比于其他方式得到的向量表示在维度数目上较少，提升了模型的计算处理效率，进而提升货运语料意图分类模型的训练效率。
[0012]在一种可能的实现方式中，TextCNN网络模型包括卷积层、池化层以及全连接层，依次将每条目标货运语料样本对应的初始句向量输入至TextCNN网络模型中执行多分类训练，得到货运语料意图分类模型包括：依次将每条目标货运语料样本对应的初始句向量输入至TextCNN网络模型中，调用卷积层对所输入的初始句向量进行卷积，并基于预置的激活函数对卷积结果进行激活，得到目标句向量；调用池化层对目标句向量执行池化处理；调用全连接层中的多分类器计算目标句向量对应的多分类概率分布，其中，多分类概率分布用于表示目标句向量与预置的多个意图类别标签之间的匹配概率，多个意图类别标签与数据标注的结果对应；基于预置的损失函数计算多分类概率分布对应的损失值；根据损失值调整TextCNN网络模型的网络参数，得到货运语料意图分类模型。
[0013]在一种可能的实现方式中，调用全连接层中的多分类器计算目标句向量对应的多分类概率分布包括：调用全连接层中的多分类器，使用多分类器中与每个意图类别标签对应的概率密度矩阵分别与目标句向量进行点积运算，得到目标句向量与每个意图类别标签之间的初始分类得分；基于预置的扩散函数对每个初始分类得分进行值扩散，得到目标句向量与每个意图类别标签之间的目标分类得分；对每个目标分类得分执行归一化处理，得到目标句向量对应的多分类概率分布。
[0014]在一种可能的实现方式中，根据损失值调整TextCNN网络模型的网络参数，得到货运语料意图分类模型包括：将损失值输入至TextCNN网络模型，其中，TextCNN网络模型将损失值由输出层网络向隐藏层网络反向传播以更新各神经元的权重和偏置；基于随机梯度下降算法和损失值对TextCNN网络模型的网络参数进行迭代更新；在每次迭代更新后重新计算多分类概率分布及其损失值，若损失值小于预置阈值时确定TextCNN网络模型收敛，确定当前TextCNN网络模型的网络参数为目标参数，保存目标参数，得到货运语料意图分类模型。
[0015]这样一来，通过模型对每个初始句向量进行特征提取，进而根据所提取特征计算表示其与每种意图类别的匹配概率结果的匹配概率分布，基于预置损失计算损失结果以确定该匹配概率分布的置信度，进而根据损失结果评估模型意图分类的准确性，并通过损失结果不断进行调整模型的网络参数，进而提升模型对货运语料意图分类的准确性。
[0016]第二方面，本申请实施例提供一种货运语料的意图分类方法，包括：响应于接收到意图分类请求，获取待分类的目标货运语料；对目标货运语料进行预处理；将预处理后的目标货运语料执行向量表达，得到目标货运语料对应的句向量；将目标货运语料对应的句向量输入至货运语料意图分类模型中进行意图识别，得到目标货运语料的意图类别。
[0017]基于本申请实施例提供的方法，通过泛化能力较强的货运语料意图分类模型对货运场景下的货运语料执行意图识别，提升了对货运语料意图识别的效率。
[0018]第三方面，本申请实施例提供一种货运语料意图分类模型的训练装置，包括：训练集获取模块，用于响应于接收到模型训练请求，获取预置的货运语料训练集，其中，货运语料训练集中包括多条货运语料样本和每条货运语料样本对应的意图类别；数据标注模块，用于根据每条货运语料样本对应的意图类别，对每条货运语料样本进行数据标注；预处理模块，用于对货运语料训练集中的每条货运语料样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种货运语料意图分类模型的训练方法，其特征在于，所述货运语料意图分类模型的训练方法包括：响应于接收到模型训练请求，获取预置的货运语料训练集，其中，所述货运语料训练集中包括多条货运语料样本和每条货运语料样本对应的意图类别；根据每条货运语料样本对应的意图类别，对每条货运语料样本进行数据标注；对所述货运语料训练集中的每条货运语料样本执行预处理，得到多条目标货运语料样本；对每条目标货运语料样本执行向量表达，得到每条目标货运语料样本对应的初始句向量；构建TextCNN网络模型，并初始化所述TextCNN网络模型的网络参数；依次将每条目标货运语料样本对应的初始句向量输入至所述TextCNN网络模型中执行多分类训练，得到货运语料意图分类模型。2.根据权利要求1所述的货运语料意图分类模型的训练方法，其特征在于，所述对所述货运语料训练集中的每条货运语料样本执行预处理，得到多条目标货运语料样本包括：对所述货运语料训练集中的每条初始货运语料样本执行分词处理；去除分词处理后的每条初始货运语料样本中的停用词；对去除停用词后的每条初始货运语料样本进行词干提取，得到多条目标货运语料样本。3.根据权利要求1所述的货运语料意图分类模型的训练方法，其特征在于，每条目标货运语料样本为一个分词序列，每个分词序列中至少包括一个分词，所述对每条目标货运语料样本执行向量表达，得到每条目标货运语料样本对应的初始句向量包括：获取与货运行业相关的词嵌套预训练模型，并将每条目标货运语料样本中的分词依次输入至所述词嵌套预训练模型中执行预训练，得到每条目标货运语料样本中各分词对应的词向量；基于同一目标货运语料样本中各分词对应的词向量求和后计算平均值，得到每条目标货运语料样本对应的初始句向量。4.根据权利要求1所述的货运语料意图分类模型的训练方法，其特征在于，所述TextCNN网络模型包括卷积层、池化层以及全连接层，所述依次将每条目标货运语料样本对应的初始句向量输入至所述TextCNN网络模型中执行多分类训练，得到货运语料意图分类模型包括：依次将每条目标货运语料样本对应的初始句向量输入至所述TextCNN网络模型中，调用所述卷积层对所输入的初始句向量进行卷积，并基于预置的激活函数对卷积结果进行激活，得到目标句向量；调用所述池化层对所述目标句向量执行池化处理；调用所述全连接层中的多分类器计算所述目标句向量对应的多分类概率分布，其中，所述多分类概率分布用于表示目标句向量与预置的多个意图类别标签之间的匹配概率，所述多个意图类别标签与数据标注的结果对应；基于预置的损失函数计算所述多分类概率分布对应的损失值；根据所述损失值调整所述TextCNN网络模型的网络参数，得到货运语料意图分类模型。
5.根据权利要求4所述的货运语料意图分类模型的训练方法，其特征在于，所述调用所述全连接层中的多分类器计算所述目标句向量对应的多分类概率分布包括：调用所述全连接层中的多分类器，使用所述多分类器中与每个意图类别标签对应的概率密度矩阵分别与所述目标句向量进行点积运算，得到所述目标句向量...

【专利技术属性】
技术研发人员：闫晚丰，张治宇，蒋志强，周炜星，杨毓丞，
申请(专利权)人：上海运柚科技有限公司，
类型：发明
国别省市：