文本处理模型训练方法及装置、文本处理方法及装置制造方法及图纸

本说明书实施例提供文本处理模型训练方法及装置、文本处理方法及装置，其中文本处理模型训练方法包括：构建文本样本对应的文本实体序列，按照预设的掩码策略对文本实体序列中文本实体的实体组成单元进行掩码，获得掩码文本实体序列；将掩码文本实体序列输入至文本处理模型，通过文本处理模型中的嵌入单元对掩码文本实体序列进行嵌入处理，获得包含单元顺序嵌入向量和文本实体嵌入向量的目标嵌入向量；通过文本处理模型中的编码单元对目标嵌入向量进行编码处理，并通过文本处理模型中的预测单元对编码处理结果进行处理，获得文本预测信息；根据文本预测信息和文本样本对所述文本处理模型进行调参，直至获得满足训练停止条件的目标文本处理模型。

【技术实现步骤摘要】

本说明书实施例涉及文本处理，特别涉及文本处理模型训练方法及装置、文本处理方法及装置。

技术介绍

1、随着计算机技术的发展，智能文档的处理在越来越多的场景中得以应用。比如通过训练好的模型对发票、问卷、材料清单等文档图像作为输入，利用模型学习到的智能文档分析技术，可以输出文档内容的结构化信息，从而便于下游业务使用该结构化信息。现有技术中，在针对智能文档进行分析时，通常会利用ocr技术，将文档中的问题识别出来，之后将识别出来的文本内容输入到智能文档解析模型，输出任务即为期望的结果。比如进行实体识别、版面划分、内容分类、关键信息提取等。并且考虑到智能文档解析技术需要应用于很多的下游任务场景，因此通常会使用基于transformer结构的预训练模型。然而，现有技术中的预训练方法针对线性输入文本预测效果较好，但是离散性输入文本由于文本内容之间互不关联，模型很难通过预训练的方式学习到离散性输入文本对应的语义理解能力。因此亟需一种有效的方案以解决上述问题。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种文本处理模型训练本文档来自技高网...

【技术保护点】

1.一种文本处理模型训练方法，其特征在于，包括：

2.根据权利要求1所述的文本处理模型训练方法，其特征在于，所述按照预设的掩码策略对所述文本实体序列中文本实体的实体组成单元进行掩码，获得掩码文本实体序列，包括：

3.根据权利要求1所述的文本处理模型训练方法，其特征在于，所述通过所述文本处理模型中的嵌入单元对所述掩码文本实体序列进行嵌入处理，获得包含单元顺序嵌入向量和文本实体嵌入向量的目标嵌入向量，包括：

4.根据权利要求3所述的文本处理模型训练方法，其特征在于，所述掩码文本实体序列中任意一个待嵌入文本实体对应的单元顺序嵌入向量和文本实体嵌入向量的确定，...

【技术特征摘要】

1.一种文本处理模型训练方法，其特征在于，包括：

2.根据权利要求1所述的文本处理模型训练方法，其特征在于，所述按照预设的掩码策略对所述文本实体序列中文本实体的实体组成单元进行掩码，获得掩码文本实体序列，包括：

3.根据权利要求1所述的文本处理模型训练方法，其特征在于，所述通过所述文本处理模型中的嵌入单元对所述掩码文本实体序列进行嵌入处理，获得包含单元顺序嵌入向量和文本实体嵌入向量的目标嵌入向量，包括：

4.根据权利要求3所述的文本处理模型训练方法，其特征在于，所述掩码文本实体序列中任意一个待嵌入文本实体对应的单元顺序嵌入向量和文本实体嵌入向量的确定，包括：

5.根据权利要求1所述的文本处理模型训练方法，其特征在于，所述通过所述文本处理模型中的编码单元对所述目标嵌入向量进行编码处理，并通过所述文本处理模型中的预测单元对编码处理结果进行处理，获得文本预测信息，包括：

6.根据权利要求4所述的文本处理模型训练方法，其特征在于，所述根据所述文本预测信息和所述文...

【专利技术属性】
技术研发人员：陈奕名，徐淳波，林金曙，
申请(专利权)人：恒生电子股份有限公司，
类型：发明
国别省市：