一种基于大模型微调的中文语法纠错方法、系统技术方案

本发明专利技术涉及一种基于大模型微调的中文语法纠错方法、系统。该方法使用Qwen2‑7B模型生成纠错指令数据集；依据复杂度、质量和多样性对指令数据集进行筛选；采用LORA方法对Qwen2‑7B模型进行监督式微调，重点优化自注意力层和前馈网络层，以增强模型对长距离依赖和上下文信息的处理能力；然后使用Qwen2‑72B模型对纠错数据集进行评分，生成偏好标签，并利用这些标签进一步优化Qwen2‑7B模型，从而提升其响应质量；使用直接偏好优化方法，结合偏好数据集对模型进行训练，调整参数以最小化损失函数，从而增强模型对偏好响应的倾向性。该方法通过多层次的优化策略，有效提高了中文语法纠错的准确性。

【技术实现步骤摘要】

技术介绍

1、随着用户在文本输入和语音输入上的随意性增加，语法错误在各类应用中普遍存在。尤其是在文字编辑软件、输入法应用和电子邮件应用等产品中，内置的语法纠错服务成为提升用户体验的重要组成部分。一个优秀的语法纠错系统能够显著提高用户的满意度。例如，在搜索查询场景下，搜索引擎会对用户输入的查询进行纠错，确保呈现准确的搜索结果；中文语法错误纠正的目标是自动识别并纠正句子中的潜在错误，同时保持其原有含义。这不仅能减少人工校验成本，节省人力资源，还能为其他人工智能应用提供基础支持，如搜索查询、文字识别、语音识别、写作辅助和文章审核等场景。

2、近年来，随着深度学习技术在文本生成领域的突破，中文语法纠错语料的构建也取得了显著进展。目前的语法纠错语料主要以句子对的形式存在，包括错误句子及其对应的正确句子。然而，构建大规模的中文语法纠错语料面临挑战，主要体现在需要丰富的语言知识和背景知识，同时人工标注的成本高昂，使得大规模训练数据的获取困难重重。这一问题成为中文语法纠错研究中的一个关键瓶颈。

3、为了解决大规模训练数据的短缺问题，本专利技术提出本文档来自技高网...

【技术保护点】

1.一种基于大模型微调的中文语法纠错方法，其特征在于：所述方法包括以下步骤：

2.根据权利要求1所述的基于大模型微调的中文语法纠错方法，其特征在于：所述步骤1具体步骤如下：

3.根据权利要求1所述的基于大模型微调的中文语法纠错方法，其特征在于：所述步骤2具体步骤如下

4.根据权利要求1所述的基于大模型微调的中文语法纠错方法，其特征在于：所述步骤3具体步骤如下

5.根据权利要求1所述的基于大模型微调的中文语法纠错方法，其特征在于：所述步骤4具体步骤如下

6.根据权利要求1所述的基于大模型微调的中文语法纠错方法，其特征在于：所述步骤...

【技术特征摘要】

1.一种基于大模型微调的中文语法纠错方法，其特征在于：所述方法包括以下步骤：

2.根据权利要求1所述的基于大模型微调的中文语法纠错方法，其特征在于：所述步骤1具体步骤如下：

3.根据权利要求1所述的基于大模型微调的中文语法纠错方法，其特征在于：所述步骤2具体步骤如下

4.根据权利要求1所述的基于大模型微调的中文语法纠错方法，其特征在于：所述...

【专利技术属性】
技术研发人员：李英，李哲，刘枵，王丹，余正涛，杨晶婷，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：