模型训练方法、图文数据处理方法及装置、设备、介质制造方法及图纸

本公开实施例是关于一种模型训练方法、图文数据处理方法及装置、电子设备、存储介质，涉及图像处理技术领域，该模型训练方法包括：获取图文数据对，并根据所述图文数据对获取原始图文数据集；将所述原始图文数据集中的每个图像进行图像标注，得到每个图像对应的标注文本；对所述原始图文数据集中每个图像的原始文本以及标注文本进行组合，得到增强文本；根据每个图像以及所述增强文本构成的图文增强数据集对图文预训练模型进行训练，得到训练好的图文预训练模型。本公开实施例中的技术方案，能够提高模型训练的准确性。能够提高模型训练的准确性。能够提高模型训练的准确性。

【技术实现步骤摘要】
模型训练方法、图文数据处理方法及装置、设备、介质


[0001]本公开涉及图像处理
，具体而言，涉及一种模型训练方法、图文数据处理方法及装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]在图像处理过程中，可以对图像等数据进行增强，以提高图像处理的准确性。
[0003]相关技术中，可单一地对图像或者是文本进行增强。该增强方式具有一定的局限性，对数据的利用效率较低，且模型训练效果较差。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开的目的在于提供一种模型训练方法、图文数据处理方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的模型训练效果较差的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的第一方面，提供一种模型训练方法，包括：获取图文数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取图文数据对，并根据所述图文数据对获取原始图文数据集；将所述原始图文数据集中的每个图像进行图像标注，得到每个图像对应的标注文本；对所述原始图文数据集中每个图像的原始文本以及标注文本进行组合，得到增强文本；根据每个图像以及所述增强文本构成的图文增强数据集对图文预训练模型进行训练，得到训练好的图文预训练模型。2.根据权利要求1所述的模型训练方法，其特征在于，所述将所述原始图文数据集中的每个图像进行图像标注，得到所述每个图像对应的标注文本，包括：根据图像标注模型对所述每个图像进行图像标注，得到用于描述每个图像的图像内容的标注文本。3.根据权利要求2所述的模型训练方法，其特征在于，所述根据图像标注模型对所述每个图像进行图像标注，得到用于描述每个图像的图像内容的标注文本，包括：根据图像标注模型获取每个图像的图像特征，并对所述图像特征进行文本解码，生成所述标注文本。4.根据权利要求2所述的模型训练方法，其特征在于，所述方法还包括：通过开源图像标注数据集或所述原始图文数据集对图像标注模型的模型参数进行调整，以训练所述图像标注模型。5.根据权利要求1所述的模型训练方法，其特征在于，所述对所述原始图文数据集中每个图像的原始文本以及标注文本进行组合，得到增强文本，包括：通过文本组合方式对所述原始文本以及所述标注文本进行组合，得到所述增强文本；所述文本组合方式包括文本拼接、文本随机选择以及最大图文相关性选择中的一种或多种。6.根据权利要求5所述的模型训练方法，其特征在于，所述文本组合方式为最大图文相关性选择；所述通过文本组合方式对所述原始文本以及所述标注文本进行组合，得到所述增强文本，包括：获取所述原始文本与所述图像的第一图文相关性；获取所述标注文本与所述图像的第二图文相关性；根据所述第一图文相关性和所述第二图文相关性中的最大图文相关性，确定所述增强文本。7.根据权利要求1所述的模型训练方法，其特征在于，所述根据每个图像以及所述增强文本构成的图文增强数据集对图文预训练模型进行训练，得到训练好的图文预训练模型，包括：对所述图文增强数据集中每个图文数据对的标签进行标签平滑，得到平滑后的标签；根据图文增强数据集中每个图文数据对以及每个图文数据对的平滑后的标签，对所述图文预训练模型的模型参数进行调整，直至损失函数满足预设条件为止，以得到训练好的图文预训练模型。8.根据权利要求7所...

【专利技术属性】
技术研发人员：黎炳华，王聪，黎新，
申请(专利权)人：深圳市欢太科技有限公司，
类型：发明
国别省市：