一种基于深度学习的中文文本纠错方法及设备技术

本发明专利技术公开了一种基于深度学习的中文文本纠错方法及设备，属于自然语言处理技术领域，用于解决现有的中文文本纠错方法只关注输入序列的一部分信息，无法关注全局信息，纠错效果较差的技术问题。方法包括：基于预设训练序列，对改进后的BERT模型进行训练，得到BERT改良模型；通过BERT改良模型对待纠错文本进行编码，得到待纠错文本中每个字的特征向量、前后文特征以及每个字对应的预设数量的候选字向量；将待纠错文本中每个字的特征向量、前后文特征以及预设数量的候选字向量，通过全局注意力模型进行解码，得到纠错后文本。得到纠错后文本。得到纠错后文本。

【技术实现步骤摘要】
一种基于深度学习的中文文本纠错方法及设备


[0001]本申请涉及自然语言处理
，尤其涉及一种基于深度学习的中文文本纠错方法及设备。

技术介绍

[0002]在机器人语音识别、问答任务中，由于易混淆的字词、拼音一样但字形不一样的字词、字形相似但意义不同的字词这些中文的相似性因素的影响，机器人可能识别不出用户的意图，导致执行错误任务或无法识别任务。
[0003]现有的中文文本纠错方法一般是基于不同语言模型串联或基于深度学习模型，纠错方法多是通过前后文信息来进行。所采用的的注意力机制多为局部注意力机制，此方法在解码时主要关注输入序列的一部分信息，而不是所有解码器的隐藏状态，无法关注全局信息，纠错效果较差。

技术实现思路

[0004]本申请实施例提供了一种基于深度学习的中文文本纠错方法及设备，用于解决如下技术问题：现有的中文文本纠错方法只关注输入序列的一部分信息，无法关注全局信息，纠错效果较差。
[0005]本申请实施例采用下述技术方案：
[0006]一方面，本申请实施例提供了一种基于深度学习的中文文本纠错方法，方法包括：基于预设训练序列，对改进后的BERT模型进行训练，得到BERT改良模型；通过所述BERT改良模型对待纠错文本进行编码，得到所述待纠错文本中每个字的特征向量、前后文特征以及每个字对应的预设数量的候选字向量；将所述待纠错文本中每个字的特征向量、前后文特征以及所述预设数量的候选字向量，通过全局注意力模型进行解码，得到纠错后文本。
[0007]在一种可行的实施方式中，基于预设训练序列，对改进后的BERT模型进行训练，得到BERT改良模型，具体包括：在互联网中预先获取候选字集；其中，所述候选字集中包括易错易混淆的字、拼音相同但字形不同的字以及字形相似但意义不同的字；将所述候选字集与所述BERT模型相结合，得到改进后的BERT模型；将所述预设训练序列输入所述改进后的BERT模型中，得到所述BERT改良模型。
[0008]在一种可行的实施方式中，将所述候选字集与所述BERT模型相结合，得到改进后的BERT模型，具体包括：将每个训练序列中的每个token位置对应的待替换字，替换为“mask”的概率设为35％，替换为所述候选字集中的候选字向量的概率设为30％，替换为其他token位置对应的待替换字的概率设为10％，保持不变的概率设为25％，得到所述改进后的BERT模型。
[0009]在一种可行的实施方式中，通过所述BERT改良模型对待纠错文本进行编码，得到所述待纠错文本中每个字的特征向量、前后文特征以及每个字对应的预设数量的候选字向量，具体包括：将待纠错文本输入到训练好的所述BERT改良模型中，以使所述BERT改良模型
输出所述待纠错文本中每个字的特征向量以及每个字的判断结果；其中，所述判断结果为正确或错误；通过所述BERT改良模型，输出所述待纠错文本中的每个字在候选字集中对应的预设数量的候选字向量；根据所述待纠错文本中每个字的特征向量，得到所述待纠错文本中每个字的前后文特征。
[0010]在一种可行的实施方式中，通过所述BERT改良模型，输出所述待纠错文本中的每个字在候选字集中对应的预设数量的候选字向量，具体包括：通过所述BERT改良模型，输出所述待纠错文本中的每个字在所述候选字集中对应的前K个候选字向量；其中，K∈[1,N
i
]，N
i
为所述待纠错文本中第i个字在所述候选字集中对应的候选字的总数量；所述候选字向量为词嵌入向量。
[0011]在一种可行的实施方式中，在通过所述BERT改良模型，输出所述待纠错文本中的每个字在所述候选字集中对应的前K个候选字向量之后，所述方法还包括：对得到的所述候选字向量进行正则化处理，得到正则化候选字向量。
[0012]在一种可行的实施方式中，将所述待纠错文本中每个字的特征向量、前后文特征以及所述预设数量的候选字向量，通过全局注意力模型进行解码，得到纠错后文本，具体包括：若所述待纠错文本中任一个或多个字的判断结果为错误，则在得到的所有正则化候选字向量中，选择判断结果为错误的字对应的K个正则化候选字向量；将选择的所述正则化候选字向量与所述前后文特征一起输入到所述全局注意力模型中进行解码，得到纠错后文本。
[0013]在一种可行的实施方式中，将选择的所述正则化候选字向量与所述前后文特征一起输入到所述全局注意力模型中进行解码，得到纠错后文本，具体包括：通过所述全局注意力模型中的全局注意力机制，对输入的所述正则化候选字向量进行加权求和处理，得到每个正则化候选字向量对应的加权特征；根据所述加权特征以及所述前后文特征，确定正确率最高的候选字替换所述待纠错文本中的错字，得到所述纠错后文本。
[0014]在一种可行的实施方式中，通过所述全局注意力模型，对输入的任一错字的k个加权特征与所述错字的前后文特征进行匹配，确定匹配度最高的一个加权特征对应的候选字为所述正确率最高的候选字，并替换掉所述错字，在所述待纠错文本中的所有错字都被替换后，输出所述纠错后文本。
[0015]另一方面，本申请实施例还提供了一种基于深度学习的中文文本纠错设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能够被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行根据上述任一实施方式所述的一种基于深度学习的中文文本纠错方法。
[0016]本申请实施例通过将候选字集加入BERT模型的替换队伍，并适当提高token被候选字集替换的概率，可以使BERT模型在识别待纠错文本时，输出与识别的文本中每个字最相近的前几个候选字，再将候选字输入全局注意力模型中得到纠错后文本。很多中文文本纠错方法的注意力机制为局部注意力机制，在解码时主要关注输入序列的一部分信息，而不是所有解码器的隐藏状态。本申请采用的是全局注意力机制的解码器，可减少噪音，弥补局部注意力机制的不足，提高文本纠错准确率。
附图说明
[0017]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0018]图1为本申请实施例提供的一种基于深度学习的中文文本纠错方法流程图；
[0019]图2为本申请实施例提供的一种中文文本纠错示意图；
[0020]图3为本申请实施例提供的一种基于深度学习的中文文本纠错设备结构示意图。
具体实施方式
[0021]为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的中文文本纠错方法，其特征在于，所述方法包括：基于预设训练序列，对改进后的BERT模型进行训练，得到BERT改良模型；通过所述BERT改良模型对待纠错文本进行编码，得到所述待纠错文本中每个字的特征向量、前后文特征以及每个字对应的预设数量的候选字向量；将所述待纠错文本中每个字的特征向量、前后文特征以及所述预设数量的候选字向量，通过全局注意力模型进行解码，得到纠错后文本。2.根据权利要求1所述的一种基于深度学习的中文文本纠错方法，其特征在于，基于预设训练序列，对改进后的BERT模型进行训练，得到BERT改良模型，具体包括：在互联网中预先获取候选字集；其中，所述候选字集中包括易错易混淆的字、拼音相同但字形不同的字以及字形相似但意义不同的字；将所述候选字集与所述BERT模型相结合，得到改进后的BERT模型；将所述预设训练序列输入所述改进后的BERT模型中，得到所述BERT改良模型。3.根据权利要求2所述的一种基于深度学习的中文文本纠错方法，其特征在于，将所述候选字集与所述BERT模型相结合，得到改进后的BERT模型，具体包括：将每个训练序列中的每个token位置对应的待替换字，替换为“mask”的概率设为35％，替换为所述候选字集中的候选字向量的概率设为30％，替换为其他token位置对应的待替换字的概率设为10％，保持不变的概率设为25％，得到所述改进后的BERT模型。4.根据权利要求1所述的一种基于深度学习的中文文本纠错方法，其特征在于，通过所述BERT改良模型对待纠错文本进行编码，得到所述待纠错文本中每个字的特征向量、前后文特征以及每个字对应的预设数量的候选字向量，具体包括：将待纠错文本输入到训练好的所述BERT改良模型中，以使所述BERT改良模型输出所述待纠错文本中每个字的特征向量以及每个字的判断结果；其中，所述判断结果为正确或错误；通过所述BERT改良模型，输出所述待纠错文本中的每个字在候选字集中对应的预设数量的候选字向量；根据所述待纠错文本中每个字的特征向量，得到所述待纠错文本中每个字的前后文特征。5.根据权利要求4所述的一种基于深度学习的中文文本纠错方法，其特征在于，通过所述BERT改良模型，输出所述待纠错文本中的每个字在候选字集中对应的预设数量的候选字向量，具体包括：通过所述BERT改良模型，输出所述待纠错文本中的每个字在所述候选字集中对应的前K个候选字向量；其中...

【专利技术属性】
技术研发人员：李晓瑜，李沛，冯落落，冯卫森，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：