一种基于XLNet-BiGRU文本纠错方法技术

本发明专利技术提供了一种基于XLNet

【技术实现步骤摘要】
一种基于XLNet
‑
BiGRU文本纠错方法


[0001]本专利技术涉及涉及人工智能和自然语言处理领域，特别是涉及一种XLNet
‑
BiGRU文本纠错方法。

技术介绍

[0002]文本纠错是一项纠正文本中错误内容的自然语言处理技术，具体包含拼写纠错、语法纠错和特点场景下的语义语用纠错等纠错对象。其中拼写纠错的特点是不改变文本长度，只对文本中出现的错别字进行一对一的纠正；语法纠错和语义语用纠错需要处理文本中的多词错误、少词错误、用词错误和词序错误等错误，可能改变文本的长度。
[0003]近年来诸如BERT、XLNet的大规模深度预训练语言模型促进了自然语言处理领域的快速发展，使得在进行具体的文本处理任务时能够获得一个较好的初始文本语义表示，从而减少模型收敛所需要的时间和成本。
[0004]传统文本纠错主要采用基于规则或翻译模型的方法，其中基于规则的方法主要依靠人工定义替换词字典，只能对特定的几种错误进行纠正；利用翻译模型进行文本纠错是目前的主流方法，并且基于神经网络的翻译模型已经替代基于统计的翻本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于XLNet
‑
BiGRU文本纠错方法，其特征在于，包括以下步骤：S1、基于大规模无标注语料训练XLNet(Generalized Autoregressive Pretraining for Language Understanding)中文模型，XLNet模型主要包括排列语言模型(Permutation Language Model)、双流注意力机制(Two
‑
Stream Self
‑
Attention)及Transformer
‑
XL核心组件；S2、对文本纠错语料数据进行预处理并进行标注；S3、在S1训练好的XLNet预训练中文模型基础上，构建XLNet
‑
BiGRU神经网络模型，模型主要由检测网络和纠错网络两部分组成，同时利用S2中已标注好的数据训练此模型。2.根据权利要求1所述的基于XLNet
‑
BiGRU文本纠错方法，其特征在于：所述步骤S1具体包括：将文本中句子的汉字随机打乱顺序，对于汉字x
i
，原本出现在它后面的汉{x
i+1
,
…
,x
n
}也可以出现在它的前面，假设长度为T的文本序列为[1,2,
…
,T]的所有排列组合为A
T
，a
t
为序列中的第t个元素，a＜t表示一种排列组合情况即a∈A
T
的前一个元素，此建模过程可表示为：其中θ为带训练的模型参数；进一步地，XLNet采用的是双流注意力机制，其中Content Stream attention(文本内容注意流)表示的是包含位置信息和内容信息的Self
‑
Attention机制，Query Stream attention(查询注意流)表示是只有位置信息输入流；利用Query Stream attention在对需要的预测位置进行预测的时候，不会泄露当前位置任何内容信息，两者相辅相成，更好的提取有关上下文信息的特征，具体的双流注意力机制如下：(QueryStream)(ContentStream)其中，只有输入文本的位置信息，作为Self
‑
Attention里的Q矩阵，包含输入文本的内容信息，作为Self
‑
Attention里的K和V矩阵；进一步地，XLNet语言模型以transformer框架为核心，引入循环机制和相对位置编码，能够更好地利用上下文语义信息，挖掘出文本向量内的潜在隐藏关系；引入相对位置编码机制公式：其中分别表示词i,j的文本向量，R
i
‑
j
表示词i,j的相对位置向量，W表示权重矩阵。3.根据权利要求1所述的基于XLNet
‑
BiGRU文本纠错方法，其特征在于：所述步骤S3具体包括：利用XLNet预训练字向量构建模型输入Embedding序列E＝(e1,e2,
…
,e
n
)；其中e
i
表示字符x
i Embedding向量，是包含每个字符的字嵌入(word embedding)、位置
嵌入(position embedding)、段嵌入(segment embedding)三部分的相加的总和；进一步的将输入序列E输入检测网络BiGRU(bidirectionalgated recurrent unit)神经网络模型；BiGRU实际上就是对LSTM的简化，它通过门控制信息的传递与截至；具体的状态计算公式如下：z<...

【专利技术属性】
技术研发人员：王伦，张发雨，王宁，党章，吴兴龙，孟奥，冯立二，杨正云，
申请(专利权)人：江苏省未来网络创新研究院，
类型：发明
国别省市：