一种文本纠错模型的训练方法、设备、介质及产品技术

本发明专利技术提供了一种文本纠错模型的训练方法、设备、介质及产品，所述方法包括如下步骤：通过获取样本文本列表，对样本文本列表中任一样本文本进行切分处理，得到样本片段；将任一样本片段输入至预设的文本纠错模型中，获取第一损失函数值和第二损失函数值并基于一损失函数值和第二损失函数值，获取总损失函数值；能够以总损失函数值对文本纠错模型进行调整，直到文本纠错模型进行收敛，进而提高了文本纠错模型对文本纠错准确性，在保证对文本进行正确纠错的同时，减少所述纠错模型对文本的错误纠错和增强对正确文本的复制，从而减少文本纠错时的误报。错时的误报。错时的误报。

【技术实现步骤摘要】
一种文本纠错模型的训练方法、设备、介质及产品


[0001]本专利技术涉及文本处理
，具体涉及一种文本纠错模型的训练方法、设备、介质及产品。

技术介绍

[0002]文本纠错是自然语言处理(Natural Language Processing，NLP)中的一个基础问题，通常可以前置于其他NLP任务如文本检索、文本分类、机器翻译或者序列标注，以提升输入文本的有效性，防止拼写错误带来的不良影响。
[0003]现有技术中，通过对神经网络模型的训练，其中，神经网络模型包括记忆库门控层、编码层与输出层，能够将从样本文本的历史文本中所选取的语义单元的编码向量加入记忆库，从而结合记忆库中语义单元的编码向量来实现对样本文本的纠错，但是只是丰富了文本纠错模型使用的纠错信息，未解决复制注意力机制的文本纠错模型中生成样本语句时改变较多的字词，从而导致纠错结果的准确性较低的问题。

技术实现思路

[0004]本专利技术的目的在于，提供一种文本纠错模型的训练方法，在保证对文本进行正确纠错的同时，能够减少所述纠错模型对文本的错误纠正和增强对正确文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本纠错模型的训练方法，其特征在于，包括如下步骤：S100、获取样本文本列表A＝{A1，A2，A3，
……
，A
m
}，其中，A
i
是指第i个样本文本，i＝1
……
m，m为样本文本数量；S200、将A
i
输入至预设文本纠错模型中，获取A
i
对应的原始文本片段列表B
i
＝{B
i1
，B
i2
，B
i3
，
……
，B
in
}，B
ix
是指在A
i
中第x个原始文本片段，x＝1
……
n，n为原始文本片段数量；S300、获取B
i
对应的实际文本片段列表C
i
＝{C
i1
，C
i2
，C
i3
，
……
，C
iS
}，C
iy
是指A
i
对应的第y个实际文本片段，y＝1
……
s，s为A
i
中实际文本片段数量；S400、根据B
i
和C
i
，获取A对应的第一损失函数值I1；S500、当B
ix
＝C
iy
时，将B
ix
作为目标文本片段标记为0且当B
ix
≠C
iy
时，将B
ix
作为目标文本片段标记为1，以构建成A
i
对应的目标文本片段列表B'
i
＝{B'
i1
，B'
i2
，B'
i3
，
……
，B'
in
}，B'
ix
是指A
i
对应的第x个目标文本片段的标记；S600、根据B
i
和B'
i
，获取A对应的第二损失函数值I2；S700，基于I1和I2，获取总损失函数值I0且根据I0，训练预设文本纠错模型直至设文本纠错模型收敛，其中，I0符合如下条件：I0＝I1+I2。2.根据权利要求1所述的文本纠错模型的训练方法，其特征在于，所述预设文本纠错模型包括：编码层、解解码层、编码层与解码层的注意力、复制注意力。3.根据权利要求2所述的文本纠错模型的训练方法，其特征在于...

【专利技术属性】
技术研发人员：严妍，彭祖剑，汪敏，杨春宇，刘艳杰，
申请(专利权)人：北京开普云信息科技有限公司，
类型：发明
国别省市：