图文处理模型训练方法及装置制造方法及图纸

本说明书实施例提供图文处理模型训练方法及装置，所述图文处理模型训练方法包括：确定全局样本图像，以及与所述全局样本图像对应的全局样本文本，并基于所述全局样本图像和所述全局样本文本构建全局图文对。基于所述全局样本图像和所述全局样本文本构建局部图文对和混合图文对。局部图文对和混合图文对是在全局样本图像和所述全局样本文本的基础上构建的局部样本和混合样本，进而为初始图文处理模型的训练准备类型丰富的样本。利用所述全局图文对、所述局部图文对和所述混合图文对训练初始图文处理模型，直至获得满足训练停止条件的图文处理模型。可以提升初始图文处理模型针对图像的细粒度检索的能力，提高初始图文处理模型图文检索的准确性。

【技术实现步骤摘要】

本说明书实施例涉及计算机，特别涉及图文处理模型训练方法及装置。

技术介绍

1、搜索历史设计稿贯穿在设计师的整个工作流程中，更为普遍的是基于一个简短的文本，检索一个设计稿中的小部分区域。传统的图文检索模型基本聚焦在图像的全局语义中，常规的图文检索任务为基于图像整体语义描述与图像数据之间的检索。在细粒度的语义检索上效果不佳。

2、现有技术中，clip利用大量的图文配对数据，通过对比学习将图像和文本嵌入到同一个特征空间中，从而使得能够根据文本描述找到相关图像，或根据图像找到相关文本。然而，尽管clip在很多任务上表现优异，但它在细粒度检索方面仍存在能力不足的问题，即在检索图像的局部区域时或者细粒度特征时，识别和区分精度还不够高。因此，亟需一种较为有效的图文处理模型训练方法以解决上述问题。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种图文处理模型训练方法。本说明书一个或者多个实施例同时涉及一种图文处理模型训练装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技本文档来自技高网...

【技术保护点】

1.一种图文处理模型训练方法，其特征在于，包括：

2.根据权利要求1所述的图文处理模型训练方法，其特征在于，所述基于所述全局样本图像和所述全局样本文本构建局部图文对和混合图文对，包括：

3.根据权利要求2所述的图文处理模型训练方法，其特征在于，所述基于所述全局样本图像确定局部样本图像，包括：

4.根据权利要求3所述的图文处理模型训练方法，其特征在于，所述在所述全局样本图像中确定功能组件，并确定所述功能组件的功能组件区域，包括：

5.根据权利要求3所述的图文处理模型训练方法，其特征在于，所述在所述全局样本图像中确定功能模块，并确定所述功能模块...

【技术特征摘要】

1.一种图文处理模型训练方法，其特征在于，包括：

2.根据权利要求1所述的图文处理模型训练方法，其特征在于，所述基于所述全局样本图像和所述全局样本文本构建局部图文对和混合图文对，包括：

3.根据权利要求2所述的图文处理模型训练方法，其特征在于，所述基于所述全局样本图像确定局部样本图像，包括：

4.根据权利要求3所述的图文处理模型训练方法，其特征在于，所述在所述全局样本图像中确定功能组件，并确定所述功能组件的功能组件区域，包括：

5.根据权利要求3所述的图文处理模型训练方法，其特征在于，所述在所述全局样本图像中确定功能模块，并确定所述功能模块的功能模块区域，包括：

6.根据权利要求1所述的图文处理模型训练方法，其特征在于，所述利用所述全局图文对、所述局部图文对和所述混合图文对训练初始图文处理模型，直至获得满足训练停止条件的图文处理模型，包括：

7.根据权利要求...

【专利技术属性】
技术研发人员：徐锦玲，张天宇，赵薇，吴通通，杨帆，张林，樊鹏远，柳景明，
申请(专利权)人：北京看云软件有限公司，
类型：发明
国别省市：