【技术实现步骤摘要】
本专利技术属于数据处理领域。
技术介绍
1、文本-图像跨模态检索任务是一种基于内容语义的检索任务，其目标是根据给定的用户在一种模态中的表达，从另一模态中检索出相关样本。具体来说，这个任务通常包括两个子任务：文本到图像检索和图像到文本检索。在文本到图像检索中，给定一个文本查询，然后从图像候选集中检索出与该查询语义相关的图像，反之亦然。直觉上，可以简单地用一个图像帧来代表整个动态图像，从而把文本-动态图像检索任务转化为文本-图像跨模态检索任务。
2、传统的图文跨模态检索基于图像中的关键词，本质上是文本对文本的检索，不能满足用户越来越个性化的需求。随着深度学习的兴起，基于语义表征的图文跨模态检索方法逐渐占据主流，这些方法利用深度学习模型替代了早期基于统计分析的特征，利用模型挖掘图像和文本中的语义信息，解决了文本图像两种模态由于异质特性带来的语义鸿沟问题，学术界和工业界都对此做了大量的研究。近几年，文本-图片跨模态检索算法得到了迅猛发展，这些算法可以大致分为基于transformer、基于生成式对抗网络、基于概率图模型和基于大规模预...
【技术保护点】
1.一种基于渐进原型匹配的文本-动态图片跨模态检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述构建基于渐进原型匹配的细粒度文本-动态图片的检索模型，包括：
3.根据权利要求2所述的方法，其特征在于，所述通过所述动态图像嵌入模块提取动态图片的特征向量，包括：
4.根据权利要求2所述的方法，其特征在于，所述通过所述文本嵌入模块提取文本的特征向量，包括：
5.根据权利要求3所述的方法，其特征在于，基于所述动态图片的特征向量，通过所述全局分支模块获得所述动态图片的全局特征，包括：
...
【技术特征摘要】
1.一种基于渐进原型匹配的文本-动态图片跨模态检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述构建基于渐进原型匹配的细粒度文本-动态图片的检索模型，包括：
3.根据权利要求2所述的方法，其特征在于，所述通过所述动态图像嵌入模块提取动态图片的特征向量，包括：
4.根据权利要求2所述的方法，其特征在于，所述通过所述文本嵌入模块提取文本的特征向量，包括：
5.根据权利要求3所述的方法，其特征在于，基于所述动态图片的特征向量，通过所述全局分支模块获得所述动态图片的全局特征，包括：
6.根据权利要求2所述的方法，其特征在于，所述基于所述动态图片的特征向量、所述文本的特征向量、所述动态图片的全局特征，通过所述局部分支模块渐进生成所述文本和...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。