【技术实现步骤摘要】
本申请涉及图像处理,特别涉及一种文本视频检索方法、系统及计算机存储介质。
技术介绍
1、视频内容在互联网上的快速增长,特别是在视频平台普及的背景下,已经促使了对自动化视频内容识别、描述和检索方法的需求急剧增加。目前,大量用户每天都在观看在线视频,特别是在年轻人群中,这一趋势尤为明显。与此同时,视频流媒体市场正在迅速扩张,预计未来几年将继续保持强劲的增长势头。在这种情况下,文本到视频的检索成为了信息检索领域的一个重要且迅速发展的研究方向。这项任务旨在根据自然语言查询,在众多视频中找到内容最相关的视频。近期的研究重点包括使用自然语言注释的视频数据来学习文本-视频嵌入,以及开发新的多模态学习模型和算法。这些进展不仅展示了该领域技术的提升,还标志着面向未来的信息检索技术的重要步骤。
2、文本到视频检索(video-text retrieval, vtr)是一个挑战性的跨模态任务,旨在搜索与给定句子语义相关的视频,并且反之亦然。尽管深度学习技术在近年来取得了显著的进步,vtr任务仍然面临如何有效学习空间-时间视频特征和缩小跨模态差距等
...【技术保护点】
1.一种文本视频检索方法,其特征在于,包括:
2.根据权利要求1所述的一种文本视频检索方法,其特征在于,对所述文本进行编码的方法包括:
3.根据权利要求1所述的一种文本视频检索方法,其特征在于,生成所述文本图像组合特征向量的方法包括:
4.根据权利要求3所述的一种文本视频检索方法,其特征在于,确定所述关键词的方法包括:
5.根据权利要求1所述的一种文本视频检索方法,其特征在于,在将所述第一特征向量、第二特征向量和第三特征向量组合后,利用预览感知注意力模块将组合后的特征向量与所述全局预览特征向量进行组合,得到所述视频深度预
...【技术特征摘要】
1.一种文本视频检索方法,其特征在于,包括:
2.根据权利要求1所述的一种文本视频检索方法,其特征在于,对所述文本进行编码的方法包括:
3.根据权利要求1所述的一种文本视频检索方法,其特征在于,生成所述文本图像组合特征向量的方法包括:
4.根据权利要求3所述的一种文本视频检索方法,其特征在于,确定所述关键词的方法包括:
5.根据权利要求1所述的一种文本视频检索方法,其特征在于,在将所述第一特征向量、第二特征向量和第三特征向量组合后,利用预览感知注意力模块将组合后的特征向量与所述全局预览特征向量进行组合,得到所述视频深度预览特征向量。
6.根据权利要求1所述的一种文本视频检索方法,其特征在于,在确定所述文本图像组合特征向量和每个所述视频的所述视频深度预览特征向量的相似度时,将所述全局预览特征向量和文本图像组合特征向量...
【专利技术属性】
技术研发人员:丁松涛,王红玉,耿淳,杨雨晨,
申请(专利权)人:西安邮电大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。