【技术实现步骤摘要】
基于多粒度语法错误模板学习微调的语法纠错方法和系统
[0001]本专利技术涉及自然语言处理
，尤其是一种基于多粒度语法错误模板学习微调的语法纠错方法和系统。
技术介绍
[0002]相关技术中，现有的融合预训练语言模型的语法纠错技术方法主要包括两种：一种是基于预训练语言模型的序列标注式语法纠错方法，另一种是融合预训练语言模型的生成语法纠错方法。基于预训练语言模型的序列标注式语法纠错方法将BERT等预训练语言模型作为纠错模型的基础架构，并将语法纠错当作一个序列标注任务，让语法纠错模型预测错误语句输入中每个单词对应的编辑操作标签，再使用这些编辑操作将错误语句输入修改成正确的形式。融合预训练语言模型的生成语法纠错方法不直接使用预训练语言模型作为纠错模型的基础架构，而是将预训练语言模型输出的特征向量作为额外的语义信息，将其与以Transformer为基础架构的序列纠错模型融合。
[0003]现有的融合预训练语言模型的生成语法纠错方法虽然取得了较好的效果，但还存在以下缺点：1)没有融合多粒度语法纠错信息。语法纠错任务包含多...
【技术保护点】
【技术特征摘要】
1.一种基于多粒度语法错误模板学习微调的语法纠错方法，其特征在于，包括以下步骤：通过预训练语言模型执行正误判断任务的模板学习过程，得到正误判断损失；通过预训练语言模型执行错误类型预测任务的模板学习过程，得到错误类型预测损失；通过预训练语言模型执行修改方式预测任务的模板学习过程，得到修改方式预测损失；根据所述正误判断损失、所述错误类型预测损失和所述修改方式预测损失计算所述预训练语言模型的训练损失，并根据所述训练损失调节所述预训练语言模型的模型参数，得到微调后预训练语言模型；使用所述微调后预训练语言模型和融合预训练语言模型的生成语法纠错方法，训练一个语法纠错模型；将待纠错语句输入所述语法纠错模型，得到所述待纠错语句的正确语句。2.根据权利要求1所述的一种基于多粒度语法错误模板学习微调的语法纠错方法，其特征在于，所述预训练语言模型包含一个词表，所述词表包含一个掩码标记。3.根据权利要求2所述的一种基于多粒度语法错误模板学习微调的语法纠错方法，其特征在于，所述通过预训练语言模型执行正误判断任务的模板学习过程，得到正误判断损失，包括：构建正误判断任务模板学习构造函数和正误判断任务回答集合，所述正误判断任务回答集合包含正确和错误两种回答信息；将训练语句输入所述正误判断任务模板学习构造函数，得到正误判断任务填充语句，所述正误判断任务填充语句中包含所述掩码标记；将所述正误判断任务填充语句输入所述预训练语言模型，预测所述掩码标记对应的正误判断任务预测概率分布；从所述正误判断任务预测概率分布中，获取所述正误判断任务回答集合包含的每一个词在所述正误判断任务预测概率分布中对应的概率，得到正误判断任务预测概率分布；构造所述训练语句的独热向量；通过交叉熵损失函数计算所述独热向量和所述正误判断任务预测概率分布的正误判断损失。4.根据权利要求2所述的一种基于多粒度语法错误模板学习微调的语法纠错方法，其特征在于，所述通过预训练语言模型执行错误类型预测任务的模板学习过程，得到错误类型预测损失，包括：构建错误类型预测任务模板学习构造函数和错误类型预测任务回答集合，所述错误类型预测任务回答集合包含若干个语法错误类型；将训练语句输入所述错误类型预测任务模板学习构造函数，得到错误类型预测任务填充语句，所述错误类型预测任务填充语句包含所述掩码标记；将所述错误类型预测任务填充语句输入所述预训练语言模型，预测所述掩码标记对应的错误类型预测任务预测概率分布；从所述错误类型预测任务预测概率分布中，获取所述错误类型预测任务回答集合包含
的每一个词在所述错误类型预测任务预测概率分布中对应的概率，得到错误类型预测任务预测概率分布；构造所述训练语句的独热向量；通过交叉熵损失函数计算所述独热向量和所述错误类型预测任务预测概率分布的错误类型预测损失。5.根据权利要求2所述的一种基于多粒度语法错误模板学习微调的语法纠错方法，其特征在于，所述通过预训练语言模型执行修改方式预测任务的模...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。