一种基于BERT和前馈神经网络的文本纠错方法技术

本发明专利技术公开了一种基于BERT和前馈神经网络的文本纠错方法，能对大规模语料进行快速准确的错误识别和纠正。方法首先对文本进行预处理，然后将文本用BERT进行语义编码，之后先用文本整体的语义信息判断文本是否正确，然后对判断为错误的文本，使用序列标注的方法找出文本中错误出现的具体位置，最后结合错误的上下文信息，使用前馈神经网络生成对应的正确文本。本发明专利技术构建的文本纠错方法具有推理速度快、可解释性好的特点。

【技术实现步骤摘要】
一种基于BERT和前馈神经网络的文本纠错方法
本专利技术属于人工智能和自然语言处理领域，尤其涉及一种基于BERT和前馈神经网络的文本纠错方法。技术背景文本纠错是一项纠正文本中错误内容的自然语言处理技术，具体包含拼写纠错、语法纠错和特点场景下的语义语用纠错等纠错对象。其中拼写纠错的特点是不改变文本长度，只对文本中出现的错别字进行一对一的纠正；语法纠错和语义语用纠错需要处理文本中的多词错误、少词错误、用词错误和词序错误等错误，可能改变文本的长度。近年来诸如BERT的大规模深度预训练语言模型促进了自然语言处理领域的快速发展，使得在进行具体的文本处理任务时能够获得一个较好的初始文本语义表示，从而减少模型收敛所需要的时间和成本。传统文本纠错主要采用基于规则或翻译模型的方法，其中基于规则的方法主要依靠人工定义替换词字典，只能对特定的几种错误进行纠正；利用翻译模型进行文本纠错是目前的主流方法，并且基于神经网络的翻译模型已经替代基于统计的翻译模型用于纠错，该方法将文本纠错作为从错误句子翻译为正确句子的翻译问题来解决，虽然效果良好、语句通顺，本文档来自技高网...

【技术保护点】
1.一种基于BERT和前馈神经网络的文本纠错方法，其特征在于，包含以下步骤：/n1)对于文本纠错语料数据进行预处理。/n2)将步骤1)预处理后的输入文本基于BERT编码，得到特征表示和语义表示。/n3)基于步骤2)得到的输入文本语义表示，判断文本是否为正确文本。/n4)基于步骤2)得到的输入文本特征表示和步骤3)的判断结果，检测文本中错误的位置。/n5)基于步骤4)找到的错误位置，生成错误文本对应的正确文本。/n

【技术特征摘要】
1.一种基于BERT和前馈神经网络的文本纠错方法，其特征在于，包含以下步骤：
1)对于文本纠错语料数据进行预处理。
2)将步骤1)预处理后的输入文本基于BERT编码，得到特征表示和语义表示。
3)基于步骤2)得到的输入文本语义表示，判断文本是否为正确文本。
4)基于步骤2)得到的输入文本特征表示和步骤3)的判断结果，检测文本中错误的位置。
5)基于步骤4)找到的错误位置，生成错误文本对应的正确文本。


2.如权利要求1所述基于BERT和前馈神经网络的文本纠错方法，其特征在于，所述步骤1)中，数据预处理方法：
1.1)对于获取的文本数据进行预处理操作。
1.2)对文本进行分词，如果为中文，则按字为单位进行分词；如果是英文，按wordpiece形式进行分词。
1.3)在文本开始处添加特殊字符“[CLS]”，在结束处添加特殊字符“[SEP]”。
1.4)如果为训练数据，通过比较分词后的源字符串和目标字符串，计算文本对错标签、字符错误类型标签和错误对应正确文本的标签。


3.如权利要求2所述基于BERT和前馈神经网络的文本纠错方法，其特征在于，所述步骤2)中，基于BERT编码文本表示：
2.1)利用BERT预训练字词向量和位置向量，字词嵌入和位置嵌入输入文本，获得文本初步向量表示：



其中，Eword是字词嵌入矩阵，Epos是位置嵌入矩阵，其中字嵌入矩阵的大小为[V，E]，V是BERT定义的词表大小，E是嵌入维度，位置嵌入矩阵的大小为[512，E]。
2.2)利用BERT中的L层Transformer模块获取每个字符的语义特征表示其计算方法为：
Hl＝Transformer(Hl-1)
2.3)利用“[CLS]”字符对应特征获得文本整体语义表示：





4.如权利要求3所述基于BERT和前馈神经网络的文本纠错方法，其特征在于，所述步骤3)中，判断文本是否为正确文本：
3.1)选择步骤2.3)中由BERT输出的文本整体语义表示c，作为判断文本对错的特征。
3.2)使用前馈神经网络，将c映射为一个数值，然后使用sigmoid函数，计算得到预测文本不正确的概率：
Prw＝sigmoid(Wrwc+brw)
其中，Wrw和brw是深度学习模型学习的权重参数。
3.3)将Prw和人工设置的阈值进行比较来判断文本是否错误，如果小于阈值则认为文本是正确的。
3.4)对于判定为正确的输入文本，不再进行后续的纠错操作，直接将输入文本作为纠错结果输出。
3.5)在模型训练时，使用二元交叉熵损失函数来计算文本对错判断的损失值：
Lossrw＝BCELoss(Prw，yrw)
其中，yrw是文本对错的真实值，通过比较源字符串和目标字符串是否相等得到。


5.如权利要求4所述基于BERT和前馈神经网络的文本纠错方法，其特征在于，所述步骤4)中，检测文本中错误的位置：
4.1)选择步骤2.2)中由BERT输出的每个字的特征表示HL，作为错误类型检测的特征。
4.2)定义每个字符的类型为正确、冗余、正确但后面缺失内容和用词错误，每个字符对应这四种类型中的一种，其对应的操作标签分别为保留、删除、在后面添加和替换。
4.3)使用前馈神经网络结合softmax函数...

【专利技术属性】
技术研发人员：潘法昱，曹斌，於其之，
申请(专利权)人：之江实验室，浙江工业大学，
类型：发明
国别省市：浙江;33