【技术实现步骤摘要】
一种基于UniLM的中文语法纠错方法
[0001]本专利技术涉及中文文本纠错
，尤其是涉及一种基于UniLM的中文语法纠错方法。
技术介绍
[0002]在互联网时代，全世界每时每刻都要产生海量的文本数据，其中夹杂许多错误信息，如果不经过校对处理，这些错误数据将会对后续工作产生很大的影响。常规的人工校对已经无法跟上当今文本产生的速度，随着深度学习和自然语言处理技术的发展，学术界以及工业界纷纷开展文本纠错研究。文本错误可以分成浅层和深层，拼写错误和标点错误属于前者，而语法错误属于后者。浅层错误可以通过规则和语言模型纠正，而传统的基于机器学习的校正方法面对深层错误的表现不尽人意，可见深层次的纠错是目前文本纠错技术的核心与难点。
[0003]目前文本语法纠错研究主要方向是基于深度学习，利用神经网络模型进行大规模语法纠错任务训练，主流的基于深度学习的纠错方案有两种：一种是把纠错任务分成错误判断、错误识别、错误标注和错误纠正等子任务，集成多个子模型实现语法纠错，通常使用BiLSTM+CRF序列标注模型。这种方法上一个子模型...
【技术保护点】
【技术特征摘要】
1.一种基于UniLM的中文语法纠错方法，其特征在于，该方法包括以下步骤：步骤A：利用爬虫技术采集Lang
‑
8网站母语非中文学习者书写语句和对应批改语句，并对语句进行清洗生成语料库；步骤B：对语料库进行预处理后划分训练集和验证集；步骤C：结合预训练模型，对构建的基于UniLM的中文语法纠错模型采用训练集进行微调训练；步骤D：使用训练好的纠错模型采用验证集进行验证，并对纠错效果进行评价，并利用该纠错模型输入待纠错语句进行纠错。2.根据权利要求1所述的一种基于UniLM的中文语法纠错方法，其特征在于，所述的步骤A中，对语句进行清洗筛选的原则具体包括：若每个原语句不止对应一个批改句，则选择其中一个批改句与原语句组成语句对；若原语句没有对应批改句，即语句正确，则复制其本身组成语句对；原语句和批改句的句长选取范围为10～80个字。3.根据权利要求1所述的一种基于UniLM的中文语法纠错方法，其特征在于，所述的步骤B中，预处理包括去停用词、繁体转简体以及切分处理，所述的去停用词具体为：去除包括数字和英文的非中文字符；所述的繁体转简体具体为：将语句中的繁体字符转为简体字符；所述的切分处理具体为：按照字粒度对语句进行切分生成模型输入序列。4.根据权利要求3所述的一种基于UniLM的中文语法纠错方法，其特征在于，在去停用词过程中，若字符属于数字，则用表示数字的特殊字符[num]替换，若字符为非中文语言，则用表示非中文的特殊字符[eng]替换。5.根据权利要求1所述的一种基于UniLM的中文语法纠错方法，其特征在于，所述的步骤C中，基于UniLM的中文语法纠错模型采用深度学习模型，具体由预训练模型、UniLM部分、Linear+Dropout层组成，所述的UniLM部分结构由Embedding层和N个相同的神经模块组成，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。