语义理解模型训练方法、装置、计算机设备和存储介质制造方法及图纸

本申请揭示了一种语义理解模型训练方法、装置、计算机设备和存储介质，其中方法包括从训练集中获取训练文本对应的总词序列；从总词序列中随机选取预设个数的连续词向量用掩码序列替代，得到输入词序列，并将预设个数的连续词向量作为测试输出词序列；将输入词序列输入至编码器‑注意力‑解码器模型中进行训练，得到预测输出词序列；根据预测输出词序列与测试输出词序列之间的差异，对编码器‑注意力‑解码器模型的模型参数进行调整以减小差异；返回将输入词序列输入至编码器‑注意力‑解码器模型中进行训练，得到预测输出词序列的步骤继续训练，直至满足预设训练停止条件则停止，得到语义理解模型。本申请提高了计算机对自然语言的理解准确度。

【技术实现步骤摘要】
语义理解模型训练方法、装置、计算机设备和存储介质
本申请涉及机器学习
，具体涉及一种语义理解模型训练方法、装置、计算机设备和存储介质。
技术介绍
随着人工智能的发展，计算机在进行人机交互时需要理解大量的自然语言。自然语言模型的研究是当前的互联网以及人工智能领域的研究热点。目前主流的自然语言理解主要是采用基于统计规则学习的方法，从大量的语言样本数据中获取语言统计知识来建立语言理解模型。但是在实际使用中，由于统计规则的泛化性较差，当自然语言文本内容或格式发生变化，对应的统计规则就会失效，基于统计规则建立的语言理解模型的理解能力就可能变得很差。
技术实现思路
本申请的主要目的为提供一种语义理解模型训练方法、装置、计算机设备和存储介质，旨在解决现有技术中，计算机对自然语言的理解准确度不高的问题。本申请提出一种语义理解模型训练方法，包括：从训练集中，获取训练文本对应的总词序列，其中，所述总词序列内包括依序排列的多个词向量；从所述总词序列中，随机选取预设个数的连续词向量用掩码序列替代，得到输入词序列，并将所本文档来自技高网...

【技术保护点】
1.一种语义理解模型训练方法，其特征在于，包括：/n从训练集中，获取训练文本对应的总词序列，其中，所述总词序列内包括依序排列的多个词向量；/n从所述总词序列中，随机选取预设个数的连续词向量用掩码序列替代，得到输入词序列，并将所述预设个数的连续词向量作为测试输出词序列；/n将所述输入词序列输入至预设的编码器-注意力-解码器模型中进行训练，得到预测输出词序列，其中，所述预测输出词序列为所述编码器-注意力-解码器模型对所述输入词序列中的所述掩码序列的预测结果；/n根据所述预测输出词序列与所述测试输出词序列之间的差异，采用预设优化器对所述编码器-注意力-解码器模型的模型参数进行调整，以减小所述差异；/...

【技术特征摘要】
1.一种语义理解模型训练方法，其特征在于，包括：
从训练集中，获取训练文本对应的总词序列，其中，所述总词序列内包括依序排列的多个词向量；
从所述总词序列中，随机选取预设个数的连续词向量用掩码序列替代，得到输入词序列，并将所述预设个数的连续词向量作为测试输出词序列；
将所述输入词序列输入至预设的编码器-注意力-解码器模型中进行训练，得到预测输出词序列，其中，所述预测输出词序列为所述编码器-注意力-解码器模型对所述输入词序列中的所述掩码序列的预测结果；
根据所述预测输出词序列与所述测试输出词序列之间的差异，采用预设优化器对所述编码器-注意力-解码器模型的模型参数进行调整，以减小所述差异；
返回所述将所述输入词序列输入至编码器-注意力-解码器模型中进行训练，得到预测输出词序列的步骤继续训练，直至满足预设训练停止条件，则停止训练，得到所述语义理解模型。


2.如权利要求1所述的语义理解模型训练方法，其特征在于，所述掩码序列内包括至少一个掩码向量，所述编码器-注意力-解码器模型包括编码器和解码器；所述将所述输入词序列输入至预设的编码器-注意力-解码器模型中进行训练，得到预测输出词序列的步骤，包括：
将所述输入词序列输入至所述编码器中，对所述输入词序列进行语义编码，得到中间语义向量序列；其中，所述中间语义向量序列包括各个所述掩码向量所对应的中间语义向量；
通过所述解码器，根据所述中间语义向量序列，以及所述输入词序列，生成所述预测输出词序列；其中，所述预测输出词序列包括各个所述掩码向量所对应的预测输出词。


3.如权利要求2所述的语义理解模型训练方法，其特征在于，所述编码器包括多层神经网络，所述多层神经网络包括输入层、中间隐藏层和输出层，所述中间隐藏层的数量包括多层，所述将所述输入词序列输入至所述编码器中，对所述输入词序列进行语义编码，得到中间语义向量序列的步骤，包括：
将所述输入词序列通过所述编码器的输入层，输入至所述编码器的第一层中间隐藏层；
在所述编码器的各层中间隐藏层中，根据注意力机制，逐层对上一层神经网络所输入的输入词序列进行语义编码，分别得到各层中间隐藏层所输出的隐藏层语义向量，直至得到最后一层中间隐藏层所输出的隐藏层语义向量；
将最后一层所述中间隐藏层所输出的隐藏层语义向量作为所述中间语义向量序列，通过所述编码器的输出层输出至所述解码器。


4.如权利要求3所述的语义理解模型训练方法，其特征在于，所述在所述编码器的各层中间隐藏层中，根据注意力机制，逐层对上一层神经网络所输入的输入词序列进行语义编码，分别得到各层中间隐藏层所输出的隐藏层语义向量的步骤，包括：
在当前层所述中间隐藏层中，分别获取前一层神经网络所输入的输入词序列中的各个词向量对各个所述掩码向量的注意力权值；
根据各个所述注意力权值，对各个所述词向量进行加权求和，分别得到各个所述掩码向量对应的注意力向量；
拼接当前层所述中间隐藏层中，各个所述掩码...

【专利技术属性】
技术研发人员：邓悦，金戈，徐亮，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44