【技术实现步骤摘要】
本文件涉及计算机，尤其涉及一种基于主语义一致性的图文检索模型构建方法及系统。
技术介绍
1、图文检索的研究起源于上世纪90年代，最初主要是基于关键词或元数据的方法，即利用人工标注的标签或注释来建立图像和文本之间的联系，这种方法依赖于人工标注的质量和数量，而且无法捕捉到图像和文本之间的细粒度和深层次的语义关系；随着深度学习和自然语言处理技术的发展，近年来出现了许多基于神经网络的方法，主要分为两类：一类是基于公共空间特征学习的方法，即将图像和文本分别编码为向量，并映射到一个公共空间中，然后利用向量之间的距离或相似度来度量语义一致性；另一类是基于跨模态相似性度量的方法，即将图像和文本特征进行融合，并通过一个隐层来学习一个可以度量跨模态相似度的函数。
2、在过去几年中，图文检索引起了计算机视觉和自然语言处理领域越来越多的关注，通过将跨视觉和语言数据的语义信息对齐到潜在表示空间，以测量图像和文本对之间的相似性，图文检索方法旨在找到与查询文本(或图像)精确描述相应的图像(或文本)对，已广泛应用并在各种实际应用中取得了巨大成功。
3、在当前图文检索领域，研究人员主要集中于基于全局和局部的检索方法，这两类方法在其特定领域表现出色，但在跨模态图文检索方面存在一些挑战，前者忽略了图像文本对之间的细粒度相似性测量，导致在图像文本检索过程中主要和次要语义之间的混淆；后者忽略了整个图像和句子的真实和主要的语义，导致了错误的匹配。
技术实现思路
1、本专利技术的目的在于提供一种基于主语
2、本专利技术实施例提供一种基于主语义一致性的图文检索模型构建方法，包括：
3、获取图像数据集和文本数据集并进行预处理，得到处理后的图像数据集和文本数据集并融合为图文数据集，将所述图文数据集分为训练集、验证集和测试集；
4、将所述训练集输入sgraf网络模型进行训练，并构建三元损失函数以及msc损失函数对所述sgraf网络模型联合进行优化，得到训练好的图文检索模型，根据所述验证集验证所述训练好的图文检索模型得到最终的图文检索模型。
5、本专利技术实施例提供一种基于主语义一致性的图文检索模型构建系统，包括：
6、数据模块，用于获取图像数据集和文本数据集并进行预处理，得到处理后的图像数据集和文本数据集并融合为图文数据集，将所述图文数据集分为训练集、验证集和测试集；
7、构建模块，用于将所述训练集输入sgraf网络模型进行训练，并构建三元损失函数以及msc损失函数对所述sgraf网络模型联合进行优化，得到训练好的图文检索模型，根据所述验证集验证所述训练好的图文检索模型得到最终的图文检索模型。
8、本专利技术实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于主语义一致性的图文检索模型构建方法的步骤。
9、本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于主语义一致性的图文检索模型构建方法的步骤。
10、采用本专利技术实施例可以包括以下有益效果：采用本专利技术实施例提出的基于主语义一致性的图文检索方法能够提高图文检索的准确性，凸显图文检索性能的优越性。
本文档来自技高网...【技术保护点】
1.一种基于主语义一致性的图文检索模型构建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
3.根据权利要求1所述的方法，其特征在于，所述获取图像数据集和文本数据集并进行预处理具体包括：
4.根据权利要求1所述的方法，其特征在于，所述将所述训练集输入SGRAF网络模型进行训练，并构建三元损失函数以及MSC损失函数对所述SGRAF网络模型联合进行优化，得到训练好的图文检索模型具体包括：
5.一种基于主语义一致性的图文检索模型构建系统，其特征在于，包括：
6.根据权利要求5所述的系统，其特征在于，所述系统进一步包括：
7.根据权利要求5所述的系统，其特征在于，所述数据模块具体用于：
8.根据权利要求5所述的系统，其特征在于，所述构建模块具体用于：
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-4中所述的基于主语义一致性的图文检索模型构建方法的
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1-4中所述的基于主语义一致性的图文检索模型构建方法的步骤。
...【技术特征摘要】
1.一种基于主语义一致性的图文检索模型构建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
3.根据权利要求1所述的方法，其特征在于，所述获取图像数据集和文本数据集并进行预处理具体包括：
4.根据权利要求1所述的方法，其特征在于，所述将所述训练集输入sgraf网络模型进行训练，并构建三元损失函数以及msc损失函数对所述sgraf网络模型联合进行优化，得到训练好的图文检索模型具体包括：
5.一种基于主语义一致性的图文检索模型构建系统，其特征在于，包括：
6.根据权利要求5所述的系统，其特征在于，所述...
【专利技术属性】
技术研发人员：汪洋涛，谢翊，谢延昭，汤茂斌，彭伟龙，肖亚铁，范立生，方美娥，
申请(专利权)人：广州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。