一种文本视频检索方法、系统及计算机存储介质技术方案

技术编号:40319322 阅读:25 留言:0更新日期:2024-02-07 21:02
本申请公开了一种文本视频检索方法、系统及计算机存储介质,涉及图像处理技术领域。其中方法包括:获取文本,对文本进行编码,获得文本特征向量;生成与文本相应的图像;对图像进行编码,获得图像特征向量;将文本特征向量和图像特征向量组合,获得文本图像组合特征向量;获取视频,对视频进行编码,获得视频深度预览特征向量;确定文本图像组合特征向量和每个视频的视频深度预览特征向量的相似度,根据相似度确定与文本匹配的视频。本申请通过生成图像来增强文本表示的丰富度和维度,使文本能更全面地与视频特征进行匹配,从而提高检索的准确性。

【技术实现步骤摘要】

本申请涉及图像处理,特别涉及一种文本视频检索方法、系统及计算机存储介质


技术介绍

1、视频内容在互联网上的快速增长,特别是在视频平台普及的背景下,已经促使了对自动化视频内容识别、描述和检索方法的需求急剧增加。目前,大量用户每天都在观看在线视频,特别是在年轻人群中,这一趋势尤为明显。与此同时,视频流媒体市场正在迅速扩张,预计未来几年将继续保持强劲的增长势头。在这种情况下,文本到视频的检索成为了信息检索领域的一个重要且迅速发展的研究方向。这项任务旨在根据自然语言查询,在众多视频中找到内容最相关的视频。近期的研究重点包括使用自然语言注释的视频数据来学习文本-视频嵌入,以及开发新的多模态学习模型和算法。这些进展不仅展示了该领域技术的提升,还标志着面向未来的信息检索技术的重要步骤。

2、文本到视频检索(video-text retrieval, vtr)是一个挑战性的跨模态任务,旨在搜索与给定句子语义相关的视频,并且反之亦然。尽管深度学习技术在近年来取得了显著的进步,vtr任务仍然面临如何有效学习空间-时间视频特征和缩小跨模态差距等问题。在大数据时代背本文档来自技高网...

【技术保护点】

1.一种文本视频检索方法,其特征在于,包括:

2.根据权利要求1所述的一种文本视频检索方法,其特征在于,对所述文本进行编码的方法包括:

3.根据权利要求1所述的一种文本视频检索方法,其特征在于,生成所述文本图像组合特征向量的方法包括:

4.根据权利要求3所述的一种文本视频检索方法,其特征在于,确定所述关键词的方法包括:

5.根据权利要求1所述的一种文本视频检索方法,其特征在于,在将所述第一特征向量、第二特征向量和第三特征向量组合后,利用预览感知注意力模块将组合后的特征向量与所述全局预览特征向量进行组合,得到所述视频深度预览特征向量。

...

【技术特征摘要】

1.一种文本视频检索方法,其特征在于,包括:

2.根据权利要求1所述的一种文本视频检索方法,其特征在于,对所述文本进行编码的方法包括:

3.根据权利要求1所述的一种文本视频检索方法,其特征在于,生成所述文本图像组合特征向量的方法包括:

4.根据权利要求3所述的一种文本视频检索方法,其特征在于,确定所述关键词的方法包括:

5.根据权利要求1所述的一种文本视频检索方法,其特征在于,在将所述第一特征向量、第二特征向量和第三特征向量组合后,利用预览感知注意力模块将组合后的特征向量与所述全局预览特征向量进行组合,得到所述视频深度预览特征向量。

6.根据权利要求1所述的一种文本视频检索方法,其特征在于,在确定所述文本图像组合特征向量和每个所述视频的所述视频深度预览特征向量的相似度时,将所述全局预览特征向量和文本图像组合特征向量...

【专利技术属性】
技术研发人员:丁松涛王红玉耿淳杨雨晨
申请(专利权)人:西安邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1