一种基于多模态模型的媒资库图片检索方法技术

一种基于多模态模型的媒资库图片检索方法，包括以下步骤：S1、采集图片和与其相对应的文本数据，并对图片进行预处理；S2、对图片和相对应的文本数据统一进行编码，生成图片整体场景描述和图片多标签描述；S3、通过多模态嵌入融合网络将图片整体场景描述和图片多标签描述转换为高维嵌入向量，并进行融合；S4、将用户的搜索文本转化为向量，并与融合后的图片向量采用相似度计算方法，来确定对应的图片。本发明专利技术提供的基于多模态模型的媒资库图片检索方法，能够通过将图像和文字信息相结合，更加准确地描述图像内容，从而实现更高效的图片搜索。

【技术实现步骤摘要】

本专利技术属于计算机应用，具体涉及一种基于多模态模型的媒资库图片检索方法。

技术介绍

1、随着互联网和智能设备的发展，图片库的规模不断扩大，中文内容社区拥有海量的图文内容,图片数据量已达亿级,其图文内容具有种类丰富、语义复杂的特点。语义相似内容的检索和匹配在搜索、推荐、商广等场景具有很强的业务价值,通常,人们使用神经网络打标签和内容表征的方法将语义内容相似的图文数据进行聚合。由于图片规模极其庞大,如何高效、准确地给一张图片从海量图片数据中检索出一组语义上相似的图片就成了一个复杂且重要的问题，传统的图片搜索方法大多依赖于基本的视觉特征匹配，如图像的特征提取和比对，存在计算复杂度高、搜索效率低等问题，而多模态模型的出现，为图片搜索提供了新的思路，因此，为了使检索更加准确且效率更高，需要一种与多模态模型相结合的图片检索方法，本专利技术针对这一技术问题进行解决。

技术实现思路

1、本专利技术提供了一种基于多模态模型的媒资库图片检索方法，能够通过将图像和文字信息相结合，更加准确地描述图像内容，从而实现更高效的图片搜索。本文档来自技高网...

【技术保护点】

1.一种基于多模态模型的媒资库图片检索方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态模型的媒资库图片检索方法，其特征在于，所述步骤S1具体包括以下步骤：

3.根据权利要求1所述的基于多模态模型的媒资库图片检索方法，其特征在于，所述步骤S2具体包括以下步骤：

4.根据权利要求3所述的基于多模态模型的媒资库图片检索方法，其特征在于，所述步骤S3具体包括以下步骤：

5.根据权利要求4所述的基于多模态模型的媒资库图片检索方法，其特征在于，所述步骤S33中的计算公式如下：

6.根据权利要求4所述的基于多模态模型的媒资...

【技术特征摘要】

1.一种基于多模态模型的媒资库图片检索方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态模型的媒资库图片检索方法，其特征在于，所述步骤s1具体包括以下步骤：

3.根据权利要求1所述的基于多模态模型的媒资库图片检索方法，其特征在于，所述步骤s2具体包括以下步骤：

4.根据权利要求3所述的基于多模态模型的媒资库图片检索方法，其特征在于，所述步骤s3具体包括以下步骤：

5.根据权利...

【专利技术属性】
技术研发人员：魏传强，宋耀，李喆，张鑫，刘鹏，崔士川，
申请(专利权)人：山东齐鲁壹点传媒有限公司，
类型：发明
国别省市：