文本纠错和文本纠错模型的生成方法、装置、设备和介质制造方法及图纸

本公开提供了文本纠错方法、装置、电子设备和存储介质，涉及人工智能技术领域中的自然语言处理和深度学习技术领域。具体实现方案为：获取待纠错文本，获取待纠错文本的拼音序列，将待纠错文本和拼音序列输入至文本纠错模型，以得到纠错后的已纠错文本，其中，文本纠错模型通过以下步骤得到已纠错文本：检测待纠错文本中的错字，确定拼音序列中错字对应的拼音，将拼音对应的拼音特征添加至错字的后面，以得到拼音文本，纠正拼音文本中的错字和拼音特征，以得到已纠错文本。本公开的文本纠错方法，通过将检测到的错字的拼音特征连接到错字后面进行纠错，可以处理变长纠错的问题，提高了纠错结果的准确度。了纠错结果的准确度。了纠错结果的准确度。

【技术实现步骤摘要】
文本纠错和文本纠错模型的生成方法、装置、设备和介质


[0001]本公开涉及人工智能
中的自然语言处理和深度学习
，尤其涉及一种文本纠错和文本纠错模型的生成方法、装置、设备和介质。

技术介绍

[0002]目前，业界对于中文语音识别结果的纠错通常采用非自回归模型。
[0003]但采用非自回归模型进行纠错的方式，无法处理变长纠错的问题，导致纠错结果的准确度较低。

技术实现思路

[0004]本公开提供了一种文本纠错和文本纠错模型的生成方法、装置、设备和介质。
[0005]根据第一方面，提供了一种文本纠错方法，包括：获取待纠错文本，获取所述待纠错文本的拼音序列，将所述待纠错文本和所述拼音序列输入至文本纠错模型，以得到纠错后的已纠错文本，其中，所述文本纠错模型通过以下步骤得到所述已纠错文本：检测所述待纠错文本中的错字，确定所述拼音序列中所述错字对应的拼音，将所述拼音对应的拼音特征添加至所述错字的后面，以得到拼音文本，纠正所述拼音文本中的所述错字和所述拼音特征，以得到所述已纠错文本。
[0006]根据第二方面，提供了一种文本纠错模型的生成方法，包括：获取样本文本、样本文本的样本拼音序列和样本文本的目标文本，将样本文本和样本拼音序列输入至待训练的文本纠错模型，以得到样本已纠错文本，其中，待训练的文本纠错模型通过以下步骤得到样本已纠错文本：检测样本文本中的样本错字，确定样本拼音序列中样本错字对应的样本拼音，将样本拼音对应的样本拼音特征添加至样本错字的后面，以得到样本拼音文本，纠正样本拼音文本中的样本错字和样本拼音特征，以得到样本已纠错文本，根据样本文本、样本已纠错文本和目标文本生成第一损失值，以及根据第一损失值对待训练的文本纠错模型进行训练，以得到文本纠错模型。
[0007]根据第三方面，提供了一种文本纠错装置，包括：第一获取模块，用于获取待纠错文本；第二获取模块，用于获取所述待纠错文本的拼音序列；第一纠错模块，用于将所述待纠错文本和所述拼音序列输入至文本纠错模型，以得到纠错后的已纠错文本，其中，所述文本纠错模型通过以下步骤得到所述已纠错文本：检测所述待纠错文本中的错字，确定所述拼音序列中所述错字对应的拼音，将所述拼音对应的拼音特征添加至所述错字的后面，以得到拼音文本，纠正所述拼音文本中的所述错字和所述拼音特征，以得到所述已纠错文本。
[0008]根据第四方面，提供了一种文本纠错模型的生成装置，包括：第三获取模块，用于获取样本文本、样本文本的样本拼音序列和样本文本的目标文本；第二纠错模块，用于将样本文本和样本拼音序列输入至待训练的文本纠错模型，以得到样本已纠错文本，其中，待训练的文本纠错模型通过以下步骤得到样本已纠错文本：检测样本文本中的样本错字，确定样本拼音序列中样本错字对应的样本拼音，将样本拼音对应的样本拼音特征添加至样本错
字的后面，以得到样本拼音文本，纠正样本拼音文本中的样本错字和样本拼音特征，以得到样本已纠错文本；第一生成模块，用于根据样本文本、样本已纠错文本和目标文本生成第一损失值；以及训练模块，用于根据第一损失值对待训练的文本纠错模型进行训练，以得到文本纠错模型。
[0009]根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的文本纠错方法或本公开第二方面所述的文本纠错模型的生成方法。
[0010]根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开第一方面所述的文本纠错方法或本公开第二方面所述的文本纠错模型的生成方法。
[0011]根据第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开第一方面所述的文本纠错方法的步骤或本公开第二方面所述的文本纠错模型的生成方法的步骤。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1是根据本公开第一实施例的文本纠错方法的流程示意图；
[0015]图2是Tagging with Phonetics方法示意图；
[0016]图3是结合拼音的非自回归模型示意图；
[0017]图4是根据本公开第二实施例的文本纠错方法的流程示意图；
[0018]图5是根据本公开第一实施例的文本纠错模型的生成方法的流程示意图；
[0019]图6是根据本公开第二实施例的文本纠错模型的生成方法的流程示意图；
[0020]图7是从训练数据(X,Y)生成X
cor
和的过程示意图；
[0021]图8是根据本公开第一实施例的文本纠错装置的框图；
[0022]图9是根据本公开第二实施例的文本纠错装置的框图；
[0023]图10是根据本公开第一实施例的文本纠错模型的生成装置的框图；
[0024]图11是根据本公开第二实施例的文本纠错模型的生成装置的框图；
[0025]图12是用来实现本公开实施例的文本纠错方法或文本纠错模型的生成方法的电子设备的框图。
具体实施方式
[0026]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0027]人工智能(Artificial Intelligence，简称AI)是研究、开发用于模拟、延伸和扩
展人的智能的理论、方法、技术及应用系统的一门技术科学。目前，AI技术具有自动化程度高、精确度高、成本低的优点，得到了广泛的应用。
[0028]自然语言处理(Natural Language Processing，NLP)是研究能有效地实现自然语言通信的计算机系统，特别是其中的软件系统的一门科学，是计算机科学领域与人工智能领域中的一个重要方向。
[0029]深度学习(Deep Learning，简称DL)，是机器学习(Machine Learning，简称ML)领域中一个新的研究方向，学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。就具体研究内容而言，主要包括基于卷积运算的神经网络系统，即卷积神经网络；基于多层神经元的自编码神经网络；以多层自编码神经网络的方式进行预训练，进而结合鉴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本纠错方法，包括：获取待纠错文本；获取所述待纠错文本的拼音序列；以及将所述待纠错文本和所述拼音序列输入至文本纠错模型，以得到纠错后的已纠错文本，其中，所述文本纠错模型通过以下步骤得到所述已纠错文本：检测所述待纠错文本中的错字，确定所述拼音序列中所述错字对应的拼音，将所述拼音对应的拼音特征添加至所述错字的后面，以得到拼音文本，纠正所述拼音文本中的所述错字和所述拼音特征，以得到所述已纠错文本。2.根据权利要求1所述的文本纠错方法，其中，所述文本纠错模型通过以下步骤检测所述待纠错文本中的所述错字：对所述待纠错文本进行错字检测，以得到检错标注序列；以及根据所述检错标注序列确定所述待纠错文本中的所述错字。3.根据权利要求1所述的文本纠错方法，其中，所述文本纠错模型通过以下步骤纠正所述拼音文本中的所述错字和所述拼音特征，以得到所述已纠错文本：对所述拼音文本中的所述错字和所述拼音特征进行纠错，以得到候选纠错文本；以及对所述候选纠错文本进行去重处理，以得到所述已纠错文本。4.一种文本纠错模型的生成方法，包括：获取样本文本、所述样本文本的样本拼音序列和所述样本文本的目标文本；将所述样本文本和所述样本拼音序列输入至待训练的文本纠错模型，以得到样本已纠错文本，其中，所述待训练的文本纠错模型通过以下步骤得到所述样本已纠错文本：检测所述样本文本中的样本错字，确定所述样本拼音序列中所述样本错字对应的样本拼音，将所述样本拼音对应的样本拼音特征添加至所述样本错字的后面，以得到样本拼音文本，纠正所述样本拼音文本中的所述样本错字和所述样本拼音特征，以得到所述样本已纠错文本；根据所述样本文本、所述样本已纠错文本和所述目标文本生成第一损失值；以及根据所述第一损失值对所述待训练的文本纠错模型进行训练，以得到文本纠错模型。5.根据权利要求4所述的生成方法，其中，所述待训练的文本纠错模型通过以下步骤检测所述样本文本中的所述样本错字：对所述样本文本进行错字检测，以得到样本检错标注序列；以及根据所述样本检错标注序列确定所述样本文本中的所述错字。6.根据权利要求4所述的生成方法，其中，所述待训练的文本纠错模型通过以下步骤纠正所述样本拼音文本中的所述样本错字和所述样本拼音特征，以得到所述样本已纠错文本：对所述样本拼音文本中的所述样本错字和所述样本拼音特征进行纠错，以得到样本候选纠错文本；以及对所述样本候选纠错文本进行去重处理，以得到所述样本已纠错文本。7.根据权利要求4所述的生成方法，还包括：获取所述样本文本的目标拼音文本；其中，所述根据所述样本文本、所述样本已纠错文本和所述目标文本生成第一损失值，包括：
根据所述样本文本、所述样本拼音文本和所述目标拼音文本生成第二损失值；根据所述目标拼音文本、所述样本已纠错文本和所述目标文本生成第三损失值；以及根据所述第二损失值和所述第三损失值生成所述第一损失值。8.一种文本纠错装置，包括：第一获取模块，用于获取待纠错文本；第二获取模块，用于获取所述待纠错文本的拼音序列；以及第一纠错模块，用于将所述待纠错文本和所述拼音序列输入至文本纠错模型，以得到纠错后的已纠错文本，其中，所述文本纠错模型通过以下步骤得到所述已纠错文本：检测所述待纠错文本中的错字，确定所述拼音序列中所述错字对应的拼音，将所述拼音对应的拼音特征添加至所述错字的后面，以得到拼音文本，纠正所述拼音文本中的所述错字和所述拼音特征，以得到所述已纠错文本。9.根据权利要...

【专利技术属性】
技术研发人员：张睿卿，何中军，吴华，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：