文本纠正模型训练方法及装置、文本纠正方法及装置制造方法及图纸

本申请实施例提供了一种文本纠正模型训练方法及装置、文本纠正方法及装置，其中模型训练方法包括：获取用于训练模型的样本数据、第一发音混淆词典和第二发音混淆词典；所述第一发音混淆词典包括第一场景下的发音混淆文本；所述第二发音混淆词典包括第二场景下的发音混淆文本；所述第一场景与所述第二场景不同；基于所述第一发音混淆词典构建第一图数据，将所述第一图数据转换为第一邻接矩阵，以及基于所述第二发音混淆词典构建第二图数据，将所述第二图数据转换为第二邻接矩阵；将所述样本数据、所述第一邻接矩阵和所述第二邻接矩阵输入待训练模型中进行模型训练，得到文本纠正模型。通过本实施例，能够提高文本纠正的精准性。准性。准性。

【技术实现步骤摘要】
文本纠正模型训练方法及装置、文本纠正方法及装置


[0001]本申请涉及自然语言处理领域，尤其涉及一种文本纠正模型训练方法及装 置、文本纠正方法及装置。

技术介绍

[0002]文本纠正是自然语言处理领域中的一个重要研究方向，该技术实现了对文 本中的错误信息的检测与纠正，能够提高文本的准确度。文本纠正能够应用于 多个领域，比如对手写文本中的错误进行纠正，对自动语音识别技术(AutomaticSpeech Recognition，ASR)识别得到的文本中的错误进行纠正，对光学字符识 别技术(Optical Character Recognition，OCR)识别得到的文本中的错误进行纠 正。
[0003]但是，由于现有的文本纠正模型的模型参数的准确率低，将导致在模型应 用阶段无法全面识别出文本中的错误并进行纠正，导致文本识别纠正的精准性 差。

技术实现思路

[0004]本申请实施例的目的是提供一种文本纠正模型训练方法及装置、文本纠正 方法及装置，用于提高文本纠正的精准性。
[0005]第一方面，本申请实施例提供的一种文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本纠正模型训练方法，其特征在于，所述方法包括：获取用于训练模型的样本数据、第一发音混淆词典和第二发音混淆词典；所述第一发音混淆词典包括第一场景下的发音混淆文本；所述第二发音混淆词典包括第二场景下的发音混淆文本；所述第一场景与所述第二场景不同；基于所述第一发音混淆词典构建第一图数据，将所述第一图数据转换为第一邻接矩阵，以及基于所述第二发音混淆词典构建第二图数据，将所述第二图数据转换为第二邻接矩阵；将所述样本数据、所述第一邻接矩阵和所述第二邻接矩阵输入待训练模型中进行模型训练，得到文本纠正模型。2.根据权利要求1所述的方法，其特征在于，所述待训练模型包括第一纠正网络、第二纠正网络和第三纠正网络；其中，所述第一邻接矩阵输入至所述第一纠正网络，所述第二邻居矩阵输入至所述第二纠正网络，所述样本数据输入至所述第三纠正网络。3.根据权利要求2所述的方法，其特征在于，所述模型训练，包括：通过所述第三纠正网络基于所述样本数据中的每个样本文本的上下文语义信息对所述每个样本文本进行纠正处理，得到所述每个样本文本的第一处理结果；通过所述第一纠正网络将所述每个样本文本的所述第一处理结果与所述第一邻接矩阵相结合，得到所述每个样本文本的第二处理结果；通过所述第二纠正网络将所述每个样本文本的所述第一处理结果与所述第二邻接矩阵相结合，得到所述每个样本文本的第三处理结果；根据所述每个样本文本的所述第一处理结果、所述每个样本文本的所述第二处理结果和所述每个样本文本的所述第三处理结果，对所述第一纠正网络、所述第二纠正网络和所述第三纠正网络中的参数进行调整。4.根据权利要求3所述的方法，其特征在于，所述第一纠正网络包括第一图卷积网络和第一结果融合层，所述第一图卷积网络包括N个第一图卷积层，所述N为大于1的整数；针对每个样本文本，将所述样本文本的所述第一处理结果与所述第一邻接矩阵相结合，得到所述样本文本的第二处理结果，包括：通过所述第一图卷积网络将所述样本文本的所述第一处理结果与所述第一邻接矩阵进行卷积处理；其中，所述第一图卷积网络的第1层第一图卷积层的输入为所述样本文本的所述第一处理结果和所述第一邻接矩阵，所述第一图卷积网络的第i层第一图卷积层的输入为所述第i层第一图卷积层的上一第一图卷积层的输出和所述第一邻接矩阵，每一第一图卷积层均将输入信息进行卷积处理，i＝2,..,N；通过所述第一结果融合层将所述样本文本的所述第一处理结果和所述第一图卷积网络的每一第一图卷积层的输出进行融合，得到所述样本文本的第二处理结果。5.根据权利要求4所述的方法，其特征在于，所述将所述样本文本的所述第一处理结果和所述第一图卷积网络的每一第一图卷积层的输出进行融合，得到所述样本文本的第二处理结果，包括：根据所述样本文本的所述第一处理结果和所述第一图卷积网络的每一第一图卷积层的输出，评估所述样本文本的所述第一处理结果的重要程度得分和每一第一图卷积层的输
出的重要程度得分；根据所述样本文本的所述第一处理结果的重要程度得分和每一第一图卷积层的输出的重要程度得分，对所述样本文本的所述第一处理结果和每一第一图卷积层的输出进行加权融合，得到所述样本文本的第二处理结果。6.根据权利要求3所述的方法，其特征在于，所述第二纠正网络包括第二图卷积网络和第二结果融合层，所述第二图卷积网络包括M个第二图卷积层，所述M为大于1的整数；针对每个样本文本，将所述样本文本的所述第一处理结果与所述第二邻接矩阵相结合，得到所述样本文本的第三处理结果，包括：通过所述第二图卷积网络将所述样本文本的所述第一处理结果与所述第二邻接矩阵进行卷积处理；其中，所述第二图卷积网络的第1层第二图卷积层的输入为所述样本文本的所述第一处理结果和所述第二邻接矩阵，所述第二图卷积网络的第j层第二图卷积层的输入为所述第j层第二图卷积层的上一第二图卷积层的输出和所述第二邻接矩阵，每一第二图卷积层均将输入信息进行卷积处理，j＝2,..,M；通过所述第二结果融合层将所述样本文本的所述第一处理结果和所述第二图卷积网络的每一第二图卷积层的输出进行融合，得到所述样本文本的第三处理结果。7.根据权利要求6所述的方法，其特征在于，所述将所述样本文本的所述第一处理结果和所述第二图卷积网络的每一第二图卷积层的输出进行融合，得到所述样本文本的第三处理结果，包括：根据所述样本文本的所述第一处理结果和所述第二图卷积网络的每一第二图卷积层的输出，评估所述样本文本的所述第一处理结果的重要程度得分和每一第二图卷积层的输出的重要程度得分；根据所述样本文本的所述第一处理结果的重要程度得分和每一第二图卷积层的输出的重要程度得分，对所述样本文本的所述第一处理结果和每一第二图卷积层的输出进行加权融合，得到所述样本文本的第三处理结果。8.根据权利要求3所述的方法，其特征在于，所述文本纠正模型还包括纠正结果选择网络和纠正结果评估网络；所述样本文本中包括多个样本字词；所述第一处理结果、所述第二处理结果和所述第三处理结果中，均包括每个样本字词的处理结果；所述根据所述每个样本文本的所述第一处理结果、所述每个样本文本的所述第二处理结果和所述每个样本文本的所述第三处理结果，对所述第一纠正网络、所述第二纠正网络和所述第三纠正网络中的参数进行调整，包括：通过所述纠正结果选择网络进行样本字词处理结果选择，得到每个样本字词的目标处理结果，其中，所述目标处理结果为其在所述第一处理结果中的处理结果，或者，为其在所述第二处理结果中的处理结果，或者，为其在所述第三处理结果中的处理结果；通过所述纠正结果评估网络根据每个样本字词的目标处理结果和每个样本字词的期望处理结果，反向驱动所述第一纠正网络、所述第二纠正网络和所述第三纠正网络中的参数进行调整。9.根据权利要求8所述的方法，其特征在于，针对每个样本字词，若所述样本字词位于所述第二发音混淆词典中，且所述样本字词在所述样本文本中的上下文相关字词位于所述第二发音混淆词典中，则所述目标处理结果为其在所述第三处理
结果中的处理结果；若所述样本字词位于所述第一发音混淆词典中，则所述目标处理结果为其在所述第二处理结果中的处理结果；若所述样本字词未位于所述第一发音混淆词典和所述第二发音混淆词典中，或者所述样本字词位于所述第二发音混淆词典中且所述样本字词在所述样本文本中的上下文相关字词未位于所述第二发音混淆词典中，则所述目标处理结果为其在所述第一处理结果中的处理结果。10.一种文本纠正方法，其特征在于，包括：获取待纠正文本，将所述待纠正文本输入至文本纠正模型进行文本纠正处理，得到纠正文本；其中，所述文本纠正处理，包括：基于所述待纠正文本的上下文语义信息对所述待纠正文本进行纠正处理，得到第一纠正结果；基于第一发音混淆词典对应的第一邻接矩阵和所述第一纠正结果进...

【专利技术属性】
技术研发人员：赵宏宇，蒋宁，王洪斌，白安琪，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：