文本纠错处理方法、模型处理方法、装置、设备及介质制造方法及图纸

本申请涉及深度学习、自然语言处理技术领域，公开了一种文本纠错处理方法、模型处理方法、装置、设备及介质，用于降低文字识别误判率，方法部分包括：通过目标文本纠错模型的文本纠错模块对识别文本进行文本纠错，得到已纠错文本，目标文本纠错模型通过如下方式训练得到：将训练文本输入到被训练模型的文本纠错模块进行文本纠错处理，得到文本纠错结果；将训练文本输入到被训练模型的错字识别模块进行错字概率识别，得到错字识别结果；根据文本纠错结果和错字识别结果，获取被训练模型的模型总损失；将训练后模型总损失符合预设损失值的被训练模型，作为目标文本纠错模型。作为目标文本纠错模型。作为目标文本纠错模型。

【技术实现步骤摘要】
文本纠错处理方法、模型处理方法、装置、设备及介质


[0001]本申请涉及自然语言处理
，尤其涉及一种文本纠错处理方法、模型处理方法、装置、设备及介质。

技术介绍

[0002]常用的文本纠错方法包括错别字词典、编辑距离和语言模型等方式。构建错别字词典人工成本较高，适用于错别字有限的部分垂直领域；编辑距离采用类似字符串模糊匹配的方法，通过对照正确样本可以纠正部分常见错别字和语病，但是通用性不足，因此，现阶段学术界和工业界研究的重点一般是基于语言模型的文字纠错技术。
[0003]专利技术人研究发现，传统的文字纠错技术中，会导致误判率较高。

技术实现思路

[0004]本申请提供一种文本纠错处理方法、模型处理方法、装置、设备及介质，以解决现有会导致误判率较高的技术问题。
[0005]第一方面，提供了一种文本纠错处理方法，所述方法包括：通过目标文本纠错模型对识别文本进行文本纠错，得到已纠错文本，所述目标文本纠错模型通过如下方式训练得到：将训练文本输入到被训练模型的文本纠错模块进行文本纠错处理，得到文本纠错结果；将训练文本输入到所述被训练模型的错字识别模块进行错字概率识别，得到错字识别结果；根据所述文本纠错结果和错字识别结果，获取所述被训练模型的模型总损失；将训练后所述模型总损失符合预设损失值的所述被训练模型，作为所述目标文本纠错模型。
[0006]进一步地，所述文本纠错模块包括第一编码层、第二编码层、第一BERT层、第二BERT层和第一全连接层；所述第一编码层用于对所述训练文本进行编码，得到第一编码向量，所述第二编码层用于对所述训练文本进行编码，得到第二编码向量；所述第一BERT层用于对所述第一编码向量进行转换，得到第一矩阵；所述二BERT层用于对所述第二编码向量进行转换，得到第二矩阵；所述第一全连接层用于根据所述第一矩阵和所述第二矩阵的相加结果进行文字纠错，得到所述文本纠错结果；其中，所述第一矩阵表示所述第一编码向量的维度与所述训练文本的token长度的乘积，所述第二矩阵表示所述第二编码向量的维度与所述训练文本的token长度的乘积。
[0007]进一步地，所述错字识别模块包括第二编码层、第二BERT层和第二全连接层；所述第二编码层用于对所述训练文本进行编码，得到第二编码向量；
所述二BERT层用于对所述第二编码向量进行转换处理，得到第二矩阵；所述第二全连接层用于根据所述第二矩阵进行错字概率识别，得到所述错字识别结果；所述第二矩阵表示所述第二编码向量的维度与所述训练文本的token长度的乘积。
[0008]进一步地，所述第一BERT层和所述第二BERT层分别均包括两层Transformer结构，所述第一编码层和第二编码层表示同一编码层。
[0009]进一步地，所述根据所述文本纠错结果和错字识别结果，获取所述被训练模型的模型总损失，包括：根据所述文本纠错结果与所述训练文本，计算文本纠错损失值；根据所述错字识别结果与预先标注错误标签的所述训练文本，计算错字识别损失值；根据所述文本纠错损失值与所述错字识别损失值，计算出所述被训练模型的模型总损失。
[0010]进一步地，所述根据所述文本纠错损失值与所述错字识别损失值，计算出所述被训练模型的模型总损失，包括：将所述文本纠错损失值与所述错字识别损失值的线性组合作为所述模型总损失。
[0011]第二方面，提供了一种模型处理方法，所述方法包括：将训练文本输入到被训练模型的文本纠错模块进行文本纠错处理，得到文本纠错结果；将训练文本输入到所述被训练模型的错字识别模块进行错字概率识别，得到错字识别结果；根据所述文本纠错结果和错字识别结果，获取所述被训练模型的模型总损失；对所述被训练模型进行迭代训练，直至训练后所述模型总损失符合预设损失值的目标文本纠错模型。
[0012]第三方面，提供了一种模型处理装置，包括：输入模块，用于将训练文本输入到被训练模型的文本纠错模块进行文本纠错处理，得到文本纠错结果；将训练文本输入到所述被训练模型的错字识别模块进行错字概率识别，得到错字识别结果；获取模块，用于根据所述文本纠错结果和错字识别结果，获取所述被训练模型的模型总损失；训练模块，用于对所述被训练模型进行迭代训练，直至训练后所述模型总损失符合预设损失值的目标文本纠错模型。
[0013]第四方面，提供了提供一种车机启动装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现文本纠错处理方法的步骤，或者模型处理方法的步骤。
[0014]第五方面，提供一种可读存储介质，该可读存储介质存储有计算机程序，计算机程序被处理器执行时实现文本纠错处理方法的步骤，或者模型处理方法的步骤。
[0015]本申请提供所提供的一个方案中，通过构建两个文本处理网络分支，一支处理网
络分支用于进行文本纠错，另一支用于进行错字识别，最后结合这组网络分支的损失来约束训练，直至文本纠错分支和错字识别分支均得到良好的输出效果，将错字识别概率约束在训练过程中，降低了文本纠错的误判率。
附图说明
[0016]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本申请一实施例中文本纠错处理系统的一系统结构示意图；图2是本申请一实施例中模型处理方法的一流程示意图；图3是本申请一实施例中目标文本纠错模型的一模型网络结构图；图4是本申请一实施例中目标文本纠错模型的另一模型网络结构图；图5是本申请一实施例中文本纠错处理的一流程示意图；图6是本申请一实施例中模型处理装置的一结构示意图；图7是本申请一实施例中计算机设备的一结构示意图。
具体实施方式
[0018]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0019]本申请实施例提供的模型处理方法和文本纠错处理方法，示例性的，可应用在如图1的系统中，包括客户端和服务器端，其中，该客户端可通过无线网络与服务器端进行通信，服务器用于实现本申请提供的模型处理方法，以得到所需的目标文本纠错模型；客户端用于基于服务器得到的目标文本纠错模型，以实现文本纠错处理方法，可以减少错字误判率的产生。
[0020]本实施例中，客户端又称为客户端，是指与服务器相对应，为用户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现，具体不做限定。
[0021]需要说明的是，本申请实施例中，包括模型训练过程以及模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本纠错处理方法，其特征在于，所述方法包括：通过目标文本纠错模型对识别文本进行文本纠错，得到已纠错文本，所述目标文本纠错模型通过如下方式训练得到：将训练文本输入到被训练模型的文本纠错模块进行文本纠错处理，得到文本纠错结果；将训练文本输入到所述被训练模型的错字识别模块进行错字概率识别，得到错字识别结果；根据所述文本纠错结果和错字识别结果，获取所述被训练模型的模型总损失；将训练后所述模型总损失符合预设损失值的所述被训练模型，作为所述目标文本纠错模型。2.如权利要求1所述的文本纠错处理方法，其特征在于，所述文本纠错模块包括第一编码层、第二编码层、第一BERT层、第二BERT层和第一全连接层；所述第一编码层用于对所述训练文本进行编码，得到第一编码向量，所述第二编码层用于对所述训练文本进行编码，得到第二编码向量；所述第一BERT层用于对所述第一编码向量进行转换，得到第一矩阵；所述二BERT层用于对所述第二编码向量进行转换，得到第二矩阵；所述第一全连接层用于根据所述第一矩阵和所述第二矩阵的相加结果进行文字纠错，得到所述文本纠错结果；其中，所述第一矩阵表示所述第一编码向量的维度与所述训练文本的token长度的乘积，所述第二矩阵表示所述第二编码向量的维度与所述训练文本的token长度的乘积。3.如权利要求1所述的文本纠错处理方法，其特征在于，所述错字识别模块包括第二编码层、第二BERT层和第二全连接层；所述第二编码层用于对所述训练文本进行编码，得到第二编码向量；所述二BERT层用于对所述第二编码向量进行转换处理，得到第二矩阵；所述第二全连接层用于根据所述第二矩阵进行错字概率识别，得到所述错字识别结果；所述第二矩阵表示所述第二编码向量的维度与所述训练文本的token长度的乘积。4.如权利要求2所述的文本纠错处理方法，其特征在于，所述第一BERT层和所述第二BERT层表示同一BERT层，所述第一编码层和第二编码层表示同一编码层。5.如权利要求1所述的文本纠错处理方法，其特征在于，所述根...

【专利技术属性】
技术研发人员：陈东来，
申请(专利权)人：深圳前海环融联易信息科技服务有限公司，
类型：发明
国别省市：