语句推断方法及训练方法、装置、电子设备及存储介质制造方法及图纸

语句推断方法及训练方法、装置、电子设备及存储介质，其中，语句推断的训练方法，包括：将第一训练语料集和第二训练语料集输入第一神经网络模型，对其进行训练，得到第一语句推断初始模型；将第二训练语料集输入至第二神经网络模型，对其进行训练，得到第二语句推断初始模型；将第三训练语料集、第四训练语料集和第五训练语料集输入至第一语句推断初始模型，对其进行微调，得到第一语句推断模型；将第四训练语料集和所述第五训练语料集输入至第二语句推断初始模型，对其进行微调，得到第二语句推断模型；输出训练完成的语句推断模型。采用上述方案，在推断语句是否存在错误以及具体的错误类型时，能够降低计算量，节约系统资源。节约系统资源。节约系统资源。

【技术实现步骤摘要】
语句推断方法及训练方法、装置、电子设备及存储介质


[0001]本说明书实施例涉及计算机自然语言处理
，尤其涉及一种语句推断方法及训练方法、装置、电子设备及存储介质。

技术介绍

[0002]对于语言(例如，英文、中文等)学习者而言，口头表达的语句容易出现错误，其中，错误类型可以归类为语法错误和语义不明。
[0003]当前，推断口语表达语句的错误类型主要是通过对语句进行特征提取，例如，提取句子的困惑度、语法错误说、计算输入语料与所述输入语料回译得到的句子间的对齐值等特征，用提取到的特征训练分类器，并用训练好的分类器，预测口语表达语句的错误类型。
[0004]然而，在对口语表达语句的错误类型进行预测时，需要提取多种特征，计算量大，需要占用大量系统资源进行处理。

技术实现思路

[0005]有鉴于此，本说明书实施例提供一种语句推断方法及训练方法、装置、电子设备及存储介质，在推断语句是否存在错误以及具体的错误类型时，能够降低计算量，节约系统资源。
[0006]首先，本说明书实施例提供了一种语句推断的训练丰富，包括：
[0007]分别获取目标语言类型的第一训练语料集和第二训练语料集，其中，所述第二训练语料集包括语义不明训练语料集和语法错误训练语料集；
[0008]将所述第一训练语料集和所述第二训练语料集输入至预设的第一神经网络模型，对所述第一神经网络模型进行训练，直至所述第一神经网络模型达到预设的第一停止条件，得到第一语句推断初始模型；将所述第二训练语料集输入至预设的第二神经网络模型，对所述第二神经网络模型进行训练，直至所述第二神经网络模型达到预设的第二停止条件，得到第二语句推断初始模型；
[0009]分别获取包含标注信息的第三训练语料集、第四训练语料集和第五训练语料集，其中：所述第三训练语料集包括正确语料；所述第四训练语料集包括语义不明语料；所述第五训练语料集包括语法错误语料；
[0010]将所述第三训练语料集、所述第四训练语料集和所述第五训练语料集输入至所述第一语句推断初始模型，对所述第一语句推断初始模型进行微调，直至所述第一语句推断初始模型达到预设的第三停止条件，得到第一语句推断模型；以及将所述第四训练语料集和所述第五训练语料集输入至所述第二语句推断初始模型，对所述第二语句推断初始模型进行微调，直至所述第二语句推断初始模型达到预设的第四停止条件，得到第二语句推断模型；
[0011]输出训练完成的语句推断模型，包括所述第一语句推断模型和所述第二语句推断模型。
[0012]本说明书实施例还提供了一种语句推断方法，包括：获取待推断语句；
[0013]将所述待推断语句输入至语句推断模型进行推断处理并输出推断结果；
[0014]其中，所述语句推断模型包括第一语句推断模型和第二语句推断模型，且采用前述任一实施例所述的语句推断的训练方法得到；
[0015]所述进行推断处理并输出推断结果，包括：
[0016]将所述待推断语句输入至所述第一语句推断模型，得到第一推断结果，若所述第一推断结果为第一类型，则将所述第一推断结果作为所述推断结果并输出；
[0017]若所述第一推断结果为第二类型，将所述待推断语句输入至所述第二语句推断模型，得到第二推断结果，并将所述第二推断结果作为所述推断结果并输出。
[0018]相应地，本说明书实施例还提供了一种语句推断训练装置，包括：
[0019]第一语料获取单元，适于分别获取目标语言类型的第一训练语料集和第二训练语料集，其中，所述第二训练语料集包括语义不明训练语料集和语法错误训练语料集；
[0020]第一训练单元，适于将所述第一训练语料集和所述第二训练语料集输入至预设的第一神经网络模型，对所述第一神经网络模型进行训练，直至所述第一神经网络模型达到预设的第一停止条件，得到第一语句推断初始模型；
[0021]第二训练单元，适于将所述第二训练语料集输入至预设的第二神经网络模型，对所述第二神经网络模型进行训练，直至所述第二神经网络模型达到预设的第二停止条件，得到第二语句推断初始模型；
[0022]第二语料获取单元，适于分别获取包含标注信息的第三训练语料集、第四训练语料集和第五训练语料集，其中：所述第三训练语料集包括正确语料；所述第四训练语料集包括语义不明语料；所述第五训练语料集包括语法错误语料；
[0023]第一微调单元，适于将所述第三训练语料集、所述第四训练语料集和所述第五训练语料集输入至所述第一语句推断初始模型，对所述第一语句推断初始模型进行微调，直至所述第一语句推断初始模型达到预设的第三停止条件，得到第一语句推断模型；
[0024]第二微调单元，适于以及将所述第四训练语料集和所述第五训练语料集输入至所述第二语句推断初始模型，对所述第二语句推断初始模型进行微调，直至所述第二语句推断初始模型达到预设的第四停止条件，得到第二语句推断模型；
[0025]推断模型输出单元，适于输出训练完成的语句推断模型，包括所述第一语句推断模型和所述第二语句推断模型。
[0026]相应地，本说明书实施例还提供一种语句推断装置，包括：
[0027]待推断语句获取单元，适于获取待推断语句；
[0028]处理单元，适于将所述待推断语句输入至语句推断模型进行推断处理并输出推断结果；
[0029]其中，所述语句推断模型包括第一语句推断模型和所述第二语句推断模型；
[0030]所述进行推断处理并输出推断结果，包括：
[0031]将所述待推断语句输入至所述第一语句推断模型，得到第一推断结果，若所述第一推断结果为第一类型，则将所述第一推断结果作为所述推断结果并输出；
[0032]若所述第一推断结果为第二类型，将所述待推断语句输入至所述第二语句推断模型，得到第二推断结果，并将所述第二推断结果作为所述推断结果并输出。
[0033]本说明书实施例还提供一种电子设备，包括存储器和处理器，其中，所述存储器适于存储一条或多条计算机指令，其特征在于，所述处理器运行所述计算机指令时，执行前述任一实施例所述的语句推断的训练方法的步骤，或者执行前述实施例中的语句推断方法的步骤。
[0034]本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时可以执行前述任一实施例所述的语句推断的训练方法的步骤，或者执行前述实施例中的语句推断方法的步骤。
[0035]采用本说明书实施例中的语句推断的训练方法，通过采用第一训练语料集和第二训练语料集对第一神经网络模型进行训练，并采用包含标注信息的第三训练语料集、第四训练语料集和第五训练语料集对训练得到的第一语句推断初始模型进行微调，无需提取语句的多种特征，能够得到推断语句是否错误的第一语句推断模型；而且，通过采用第二训练语料集对第二神经网络模型进行训练，并采用包含标注信息的第四训练语料集和第五训练语料集对训练得到的第二语句推断初始模型进行微调，无需提取语句的多种特征，能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语句推断的训练方法，其特征在于，包括：分别获取目标语言类型的第一训练语料集和第二训练语料集，其中，所述第二训练语料集包括语义不明训练语料集和语法错误训练语料集；将所述第一训练语料集和所述第二训练语料集输入至预设的第一神经网络模型，对所述第一神经网络模型进行训练，直至所述第一神经网络模型达到预设的第一停止条件，得到第一语句推断初始模型；将所述第二训练语料集输入至预设的第二神经网络模型，对所述第二神经网络模型进行训练，直至所述第二神经网络模型达到预设的第二停止条件，得到第二语句推断初始模型；分别获取包含标注信息的第三训练语料集、第四训练语料集和第五训练语料集，其中：所述第三训练语料集包括正确语料；所述第四训练语料集包括语义不明语料；所述第五训练语料集包括语法错误语料；将所述第三训练语料集、所述第四训练语料集和所述第五训练语料集输入至所述第一语句推断初始模型，对所述第一语句推断初始模型进行微调，直至所述第一语句推断初始模型达到预设的第三停止条件，得到第一语句推断模型；以及将所述第四训练语料集和所述第五训练语料集输入至所述第二语句推断初始模型，对所述第二语句推断初始模型进行微调，直至所述第二语句推断初始模型达到预设的第四停止条件，得到第二语句推断模型；输出训练完成的语句推断模型，包括所述第一语句推断模型和所述第二语句推断模型。2.根据权利要求1所述的训练方法，其特征在于，所述获取第二训练语料集中的语义不明训练语料集，包括：获取第六训练语料集；将所述第六训练语料集中的源语料输入至预设的翻译模型进行翻译处理，得到所述源语料对应的目标语言类型的翻译结果；将所述源语料的各片段与其相应翻译结果的进行对齐操作，并删除所述翻译结果对齐部分内容；将对齐部分的源语料输入至所述翻译模型进行翻译，得到对应的直译结果；将所述直译结果嵌入到经删除对齐部分内容的翻译结果，得到所述语义不明训练语料集。3.根据权利要求1所述的训练方法，其特征在于，所述获取第二训练语料集中的语义不明训练语料集还包括以下至少一种方式：交换所述第一训练语料集中相应语料的词序；删除所述第一训练语料集中相应语料的部分词；以相同的概率去除所述第一训练语料集中各语料的预设位置的片段。4.根据权利要求1
‑
3任一项所述的训练方法，其特征在于，所述第一神经网络模型包括依次耦接的多个编码层和与最后一个编码层耦接的全连接层；所述对所述第一神经网络模型进行训练，直至所述第一神经网络模型达到预设的第一停止条件，得到第一语句推断初始模型，包括：将所述第一训练语料集和所述第二训练语料集依次输入至所述第一神经网络模型的多个编码层，得到对应的编码向量，并由最后一个的编码层输出所述编码向量中的第一个
编码向量至所述全连接层，得到所述编码向量对应的二维向量；计算所述二维向量与所述第一训练语料集和所述第二训练语料集的独热向量的交叉熵，并作为损失函数；对所述损失函数进行最小化，更新所述第一神经网络模型的参数，并在所述第一神经网络模型达到第一停止条件时，停止更新所述第一神经网络模型的参数，得到所述第一语句推断初始模型。5.根据权利要求4所述的训练方法，其特征在于，还包括：获取用于验证所述第一神经网络模型是否训练完成的第一验证语料集和第二验证语料集，其中，所述第一验证语料集和所述第二验证语料集中的语料为所述目标语言类型的语料；所述在所述第一神经网络模型达到第一停止条件时，停止更新所述第一神经网络模型的参数，得到所述第一语句推断初始模型，包括：将所述第一验证语料集和所述第二验证语料集连续多次输入至所述第一神经网络模型，得到所述第一验证语料集和所述第二验证语料集对应的多个二维向量；若连续预设第一次数的遍历过程得到的结果满足第一预设条件时，停止对所述第一神经网络模型进行训练，得到所述第一语句推断初始模型。6.根据权利要求4所述的训练方法，其特征在于，所述对所述第一语句推断初始模型进行微调，直至所述第一语句推断初始模型达到预设的第三停止条件，得到第一语句推断模型，包括：将所述第三训练语料集、所述第四训练语料集和所述第五训练语料集依次输入至所述第一神经网络模型的多个编码层，得到对应的编码向量，并由最后一个的编码层输出所述编码向量中的第一个编码向量至所述全连接层，得到所述编码向量对应的二维向量；计算所述二维向量与所述第三训练语料集、所述第四训练语料集和所述第五训练语料集的独热向量的交叉熵，并作为损失函数；对所述损失函数进行最小化，更新所述第一语句推断初始模型的参数，并在所述第一语句推断初始模型达到第三停止条件时，停止更新所述第一语句推断初始模型的参数，得到所述第一语句推断模型。7.根据权利要求1
‑
3任一项所述的训练方法，其特征在于，所述第二神经网络模型包括依次耦接的多个编码层和与最后一个编码层耦接的全连接层；所述对所述第二神经网络模型进行训练，直至所述第二神经网络模型达到预设的第二停止条件，得到第二语句推断初始模型，包括：将所述第二训练语料集依次输入至所述第二神经网络模型的多个编码层，得到对应的编码向量，并由最后一个的编码层输出所述编码向量中...

【专利技术属性】
技术研发人员：余勇宏，
申请(专利权)人：上海流利说信息技术有限公司，
类型：发明
国别省市：