文本处理方法、深度学习模型训练方法以及样本生成方法技术

本公开提供了一种文本处理方法、深度学习模型训练方法、样本生成方法、文本处理装置、深度学习模型训练装置、样本生成装置、电子设备、存储介质以及程序产品，涉及数据处理技术领域，尤其涉及人工智能、自然语言处理、深度学习技术领域。具体实现方案为：获取输入文本；获取目标深度学习模型，其中，目标深度学习模型是根据目标第二深度学习模型得到的，目标深度学习模型用于执行目标任务，目标任务包括文本处理；通过目标深度学习模型对输入文本进行处理，得到文本处理结果。得到文本处理结果。得到文本处理结果。

【技术实现步骤摘要】
文本处理方法、深度学习模型训练方法以及样本生成方法


[0001]本公开涉及数据处理
，尤其涉及人工智能、自然语言处理、深度学习
，具体涉及一种文本处理方法、深度学习模型训练方法、样本生成方法、文本处理装置、深度学习模型训练装置、样本生成装置、电子设备、存储介质以及程序产品。

技术介绍

[0002]随着人工智能技术的快速发展，自然语言处理作为人工智能的一个重要分支，可以用于文本处理等场景，如何提高文本处理效率成为一个亟需解决的技术问题。

技术实现思路

[0003]本公开提供了一种文本处理方法、深度学习模型训练方法、样本生成方法、文本处理装置、深度学习模型训练装置、样本生成装置、电子设备、存储介质以及程序产品。
[0004]根据本公开的一方面，提供了一种文本处理方法，包括：获取输入文本；获取目标深度学习模型，其中，目标深度学习模型是根据目标第二深度学习模型得到的，目标深度学习模型用于执行目标任务，目标任务包括文本处理；通过目标深度学习模型对输入文本进行处理，得到文本处理结果。其中，目标第二深度学习模型是根据以下操作得到的：获取初始样本；获取第一深度学习模型和第二深度学习模型，其中，第一深度学习模型是利用针对目标任务的高置信度样本集训练得到的，高置信度样本集还用于基于第二深度学习模型训练得到目标深度学习模型，目标深度学习模型用于执行目标任务；通过第一深度学习模型和第二深度学习模型分别对初始样本进行前向传播，得到针对第一深度学习模型的初始样本第一预测结果以及针对第二深度学习模型的初始样本第二预测结果，其中，初始样本第一预测结果的置信度高于初始样本第二预测结果的置信度；根据初始样本第一预测结果、初始样本第二预测结果，确定第一损失数值和第二损失数值；根据第一损失数值和第二损失数值，确定损失差异评估值；根据损失差异评估值对初始样本进行筛选，以生成目标样本；根据目标样本对第二深度学习模型进行后向传播，得到目标第二深度学习模型。
[0005]根据本公开的另一方面，提供了一种深度学习模型训练方法，包括：获取初始样本；获取第一深度学习模型和第二深度学习模型，其中，第一深度学习模型是利用针对目标任务的高置信度样本集训练得到的，高置信度样本集还用于基于第二深度学习模型训练得到目标深度学习模型，目标深度学习模型用于执行目标任务；通过第一深度学习模型和第二深度学习模型分别对初始样本进行前向传播，得到针对第一深度学习模型的初始样本第一预测结果以及针对第二深度学习模型的初始样本第二预测结果，其中，初始样本第一预测结果的置信度高于初始样本第二预测结果的置信度；根据初始样本第一预测结果、初始样本第二预测结果，确定第一损失数值和第二损失数值；根据第一损失数值和第二损失数值，确定损失差异评估值；根据损失差异评估值对初始样本进行筛选，以生成目标样本；根据目标样本对第二深度学习模型进行后向传播，得到目标第二深度学习模型。
[0006]根据本公开的另一方面，提供了一种样本生成方法，包括：获取初始样本；确定初
始样本针对第一深度学习模型的第一损失数值以及针对第二深度学习模型的第二损失数值，其中，第一深度学习模型是利用针对目标任务的高置信度样本集训练得到的，第一深度学习模型的预测结果置信度高于第二深度学习模型的预测结果置信度；高置信度样本集还用于基于第二深度学习模型训练得到目标深度学习模型，目标深度学习模型用于执行目标任务；根据第一损失数值和第二损失数值，确定损失差异评估值；根据损失差异评估值对初始样本进行筛选，以生成目标样本，其中，目标样本用于训练第二深度学习模型。
[0007]根据本公开的另一方面，提供了一种文本处理装置，包括：输入文本获取模块，用于获取输入文本；目标深度学习模型获取模块，用于获取目标深度学习模型，其中，目标深度学习模型是根据目标第二深度学习模型得到的，目标深度学习模型用于执行目标任务，目标任务包括文本处理；文本处理模块，用于通过目标深度学习模型对输入文本进行处理，得到文本处理结果，其中，目标第二深度学习模型是根据以下模块得到的：初始样本获取模块，用于获取初始样本；模型获取模块，用于获取第一深度学习模型和第二深度学习模型，其中，第一深度学习模型是利用针对目标任务的高置信度样本集训练得到的，高置信度样本集还用于基于第二深度学习模型训练得到目标深度学习模型，目标深度学习模型用于执行目标任务；前向传播模块，用于通过第一深度学习模型和第二深度学习模型分别对初始样本进行前向传播，得到针对第一深度学习模型的初始样本第一预测结果以及针对第二深度学习模型的初始样本第二预测结果，其中，初始样本第一预测结果的置信度高于初始样本第二预测结果的置信度；损失数值确定模块，用于根据初始样本第一预测结果、初始样本第二预测结果，确定第一损失数值和第二损失数值；损失差异评估值确定模块，用于根据第一损失数值和第二损失数值，确定损失差异评估值；目标样本生成模块，用于根据损失差异评估值对初始样本进行筛选，以生成目标样本；后向传播模块，用于根据目标样本对第二深度学习模型进行后向传播，得到目标第二深度学习模型。
[0008]根据本公开的另一方面，提供了一种深度学习模型训练装置，包括：初始样本获取模块，用于获取初始样本；模型获取模块，用于获取第一深度学习模型和第二深度学习模型，其中，第一深度学习模型是利用针对目标任务的高置信度样本集训练得到的，高置信度样本集还用于基于第二深度学习模型训练得到目标深度学习模型，目标深度学习模型用于执行目标任务；前向传播模块，用于通过第一深度学习模型和第二深度学习模型分别对初始样本进行前向传播，得到针对第一深度学习模型的初始样本第一预测结果以及针对第二深度学习模型的初始样本第二预测结果，其中，初始样本第一预测结果的置信度高于初始样本第二预测结果的置信度；损失数值确定模块，用于根据初始样本第一预测结果、初始样本第二预测结果，确定第一损失数值和第二损失数值；损失差异评估值确定模块，用于根据第一损失数值和第二损失数值，确定损失差异评估值；目标样本生成模块，用于根据损失差异评估值对初始样本进行筛选，以生成目标样本；后向传播模块，用于根据目标样本对第二深度学习模型进行后向传播，得到目标第二深度学习模型。
[0009]根据本公开的另一方面，提供了一种样本生成装置，包括：初始样本获取模块，用于获取初始样本；损失数值确定模块，用于确定初始样本针对第一深度学习模型的第一损失数值以及针对第二深度学习模型的第二损失数值，其中，第一深度学习模型是利用针对目标任务的高置信度样本集训练得到的，第一深度学习模型的预测结果置信度高于第二深度学习模型的预测结果置信度；高置信度样本集还用于基于第二深度学习模型训练得到目
标深度学习模型，目标深度学习模型用于执行目标任务；损失差异评估值确定模块，用于根据第一损失数值和第二损失数值，确定损失差异评估值；目标样本生成模块，用于根据损失差异评估值对初始样本进行筛选，以生成目标样本，其中，目标样本用于训练第二深度学习模型。
[0010]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本处理方法，包括：获取输入文本；获取目标深度学习模型，其中，所述目标深度学习模型是根据目标第二深度学习模型得到的，所述目标深度学习模型用于执行目标任务，所述目标任务包括文本处理；通过所述目标深度学习模型对所述输入文本进行处理，得到文本处理结果，其中，所述目标第二深度学习模型是根据以下操作得到的：获取初始样本；获取第一深度学习模型和第二深度学习模型，其中，所述第一深度学习模型是利用针对目标任务的高置信度样本集训练得到的，所述高置信度样本集还用于基于所述第二深度学习模型训练得到目标深度学习模型，所述目标深度学习模型用于执行所述目标任务；通过所述第一深度学习模型和所述第二深度学习模型分别对所述初始样本进行前向传播，得到针对所述第一深度学习模型的初始样本第一预测结果以及针对所述第二深度学习模型的初始样本第二预测结果，其中，所述初始样本第一预测结果的置信度高于所述初始样本第二预测结果的置信度；根据所述初始样本第一预测结果、所述初始样本第二预测结果，确定第一损失数值和第二损失数值；根据所述第一损失数值和所述第二损失数值，确定损失差异评估值；根据所述损失差异评估值对所述初始样本进行筛选，以生成目标样本；根据所述目标样本对所述第二深度学习模型进行后向传播，得到目标第二深度学习模型。2.一种深度学习模型训练方法，包括：获取初始样本；获取第一深度学习模型和第二深度学习模型，其中，所述第一深度学习模型是利用针对目标任务的高置信度样本集训练得到的，所述高置信度样本集还用于基于所述第二深度学习模型训练得到目标深度学习模型，所述目标深度学习模型用于执行所述目标任务；通过所述第一深度学习模型和所述第二深度学习模型分别对所述初始样本进行前向传播，得到针对所述第一深度学习模型的初始样本第一预测结果以及针对所述第二深度学习模型的初始样本第二预测结果，其中，所述初始样本第一预测结果的置信度高于所述初始样本第二预测结果的置信度；根据所述初始样本第一预测结果、所述初始样本第二预测结果，确定第一损失数值和第二损失数值；根据所述第一损失数值和所述第二损失数值，确定损失差异评估值；根据所述损失差异评估值对所述初始样本进行筛选，以生成目标样本；根据所述目标样本对所述第二深度学习模型进行后向传播，得到目标第二深度学习模型。3.根据权利要求2所述的方法，还包括：获取针对目标任务的所述高置信度样本集；根据所述高置信度样本集对所述目标第二深度学习模型进行训练，得到目标深度学习模型，所述目标深度学习模型用于执行目标任务。
4.根据权利要求2所述的方法，其中，所述第二深度学习模型包括预训练深度学习模型。5.一种样本生成方法，包括：获取初始样本；确定所述初始样本针对第一深度学习模型的第一损失数值以及针对第二深度学习模型的第二损失数值，其中，所述第一深度学习模型是利用针对目标任务的高置信度样本集训练得到的，所述第一深度学习模型的预测结果置信度高于所述第二深度学习模型的预测结果置信度；所述高置信度样本集还用于基于所述第二深度学习模型训练得到目标深度学习模型，所述目标深度学习模型用于执行所述目标任务；根据所述第一损失数值和所述第二损失数值，确定损失差异评估值；根据所述损失差异评估值对所述初始样本进行筛选，以生成目标样本，其中，所述目标样本用于训练所述第二深度学习模型。6.根据权利要求5所述的方法，其中，所述初始样本包括多个；所述根据所述损失差异评估值对所述初始样本进行筛选，以生成目标样本包括：对所述多个初始样本对应的所述损失差异评估值进行排序，得到损失差异评估值序列；根据目标样本筛选阈值从所述损失差异评估值序列中筛选得到所述目标样本。7.一种文本处理装置，包括：输入文本获取模块，用于获取输入文本；目标深度学习模型获取模块，用于获取目标深度学习模型，其中，所述目标深度学习模型是根据目标第二深度学习模型得到的，所述目标深度学习模型用于执行目标任务，所述目标任务包括文本处理；文本处理模块，用于通过所述目标深度学习模型对所述输入文本进行处理，得到文本处理结果，其中，所述目标第二深度学习模型是根据以下模块得到的：初始样本获取模块，用于获取初始样本；模型获取模块，用于获取第一深度学习模型和第二深度学习模型，其中，所述第一深度学习模型是利用针对目标任务的高置信度样本集训练得到的，所述高置信度样本集还用于基于所述第二深度学习模型训练得到目标深度学习模型，所述目标深度学习模型用于执行所述目标任务；前向传播模...

【专利技术属性】
技术研发人员：徐钰坪，朱志凡，冯仕堃，黄世维，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：