一种文本识别模型训练方法、文本识别方法及相关装置制造方法及图纸

本发明专利技术公开了一种文本识别模型训练方法、文本识别方法及相关装置，该文本识别模型训练方法包括：获取训练文本和训练文本的标签文本；将训练文本和标签文本输入文本识别初始模型，提取训练文本与标签文本之间的相关性，得到多个预测结果；聚合多个预测结果得到软标签结果；基于软标签结果与预测结果之间的损失，调整文本识别初始模型。通过上述方式，本发明专利技术能够降低噪声数据对模型训练的影响，提高文本识别准确率。识别准确率。识别准确率。

【技术实现步骤摘要】
一种文本识别模型训练方法、文本识别方法及相关装置


[0001]本专利技术涉及自然语言处理
，特别是涉及一种文本识别模型训练方法、文本识别方法及相关装置。

技术介绍

[0002]实体是知识图谱的基本单元，也是文本中重要的信息载体。实体提取是自然语言处理中的一项重要和基础的任务，也是信息抽取的子任务，目的是从文本数据中抽取预先定义的实体信息。
[0003]一般情况下，假设有充分的已标注的数据集可以用来训练得到NER(Named Entity Recognition，命名实体识别)模型。比如在编码阶段使用预训练的BERT(Bidirectional Encoder Representation from Transformers)模型，在训练集上微调，得到句子中每一个字在嵌入空间的表示。解码阶段使用CRF(Conditional Random Field，条件随机场)模型，训练得到标签转移概率，进而得到文本中每一个字的标签。由于自然语言文本具有上下文依赖关系，大部分的NER方法都是基于时间序列的，如循环神经网络(RNN，LSTM)，这些本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本识别模型训练方法，其特征在于，所述方法包括：获取训练文本和所述训练文本的标签文本；将所述训练文本和所述标签文本输入文本识别初始模型，提取所述训练文本与所述标签文本之间的相关性，得到多个预测结果；聚合多个所述预测结果得到软标签结果；基于所述软标签结果与所述预测结果之间的损失，调整所述文本识别初始模型的参数。2.根据权利要求1所述的文本识别模型训练方法，其特征在于，所述文本识别初始模型包括多个基模型，所述将所述训练文本和所述标签文本输入文本识别初始模型，提取所述训练文本与所述标签文本之间的相关性，得到多个预测结果包括：分别利用所述多个基模型提取所述训练文本与所述标签文本之间的相关性，得到所述多个预测结果，不同所述基模型具有不同的初始化参数。3.根据权利要求2所述的文本识别模型训练方法，其特征在于，所述分别利用所述多个基模型提取所述训练文本与所述标签文本之间的相关性，得到所述多个预测结果包括：利用所述基模型的神经网络层提取所述训练文本与所述标签文本之间的相关性矩阵；利用所述相关性矩阵计算各所述标签文本的标签得分；获取得分最高的标签文本和最高标签得分，得到对应所述基模型的预测结果。4.根据权利要求3所述的文本识别模型训练方法，其特征在于，所述基于所述软标签结果与所述预测结果之间的损失，调整所述文本识别初始模型还包括：获取所述文本识别初始模型进行预测的任务损失，以及所述软标签结果与所述预测结果之间的一致性损失；结合所述任务损失和所述一致性损失，调整所述文本识别初始模型。5.根据权利要求4所述的文本识别模型训练方法，其特征在于，所述获取所述文本识别初始模型进行预测的任务损失包括：利用各所述标签文本的标签得分和所述得分最高的标签文本，计算各所述基模型的任务损失；将多个所述基模型的任务损失加权平均，得到所述文本识别初始模型进行预测的任务损失；所述基模型的任务损失包括所述训练文本中各个字符的任务得分的和，所述各个字符的任务得分为字符中各个标签文本的任务得分的和，所述得分最高的标签文本的所述任务得分为所述最高标签得分减一，非得分最高的标签文本的所述任务得分为所述标签得分。6.根据权利要求4所述的文本识别模型...

【专利技术属性】
技术研发人员：易璟雯，刘伟棠，陈立力，周明伟，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：