基于两分支提议网络的弱监督视频时段检索方法及系统技术方案

本发明专利技术公开了一种基于两分支提议网络的弱监督视频时段检索方法及系统，属于视频检索领域。主要包括如下步骤：1)针对于一组视频、描述文本训练集，根据一个跨模态语言感知过滤器，学习出视频信息和文本信息的联合表征，并生成带文本信息的增强视频流与抑制视频流。2)对于跨模态语言感知过滤器生成的输出，根据一个参数共享的正则化两分支提议网络，输出针对于视频和文本联合表达的时段答案。本发明专利技术采用一种使用基于场景的跨模态估计法的语言感知过滤器生成增强视频流和抑制视频流，采用一种新颖的两分支提议网络同时考虑样本间和样本内的对抗，采用提议正则化策略稳定训练过程，有效地改善了模型性能。有效地改善了模型性能。有效地改善了模型性能。

【技术实现步骤摘要】
基于两分支提议网络的弱监督视频时段检索方法及系统


[0001]本专利技术涉及视频时段检索领域，尤其涉及一种基于两分支提议网络的弱监督视频时段检索方法及系统。

技术介绍

[0002]视频时段检索是视频检索领域中的一个重要问题，该问题的目标是根据给定的描述文本在未修剪的视频中自动定位目标时段。
[0003]视频时段检索是计算机视觉和自然语言处理之间的一个跨学科领域。一个视频时段检索模型不仅要理解视觉内容和文本内容，还要理解它们之间的相关性。现有的方法大多数都是在全监督的情况下，使用对齐注释好的视频文本对进行训练，这种注释代价是耗时且昂贵的，尤其是对模棱两可的描述而言。近期，研究人员开始仅通过视频级句子注释来探索弱监督的时段检索。
[0004]现有的弱监督时段检索方法大多基于多实例学习(MIL)的方法，将匹配的视频文本对视为正样本，将不匹配的视频文本对视为负样本，其主要关注样本间的对抗，以判断视频是否与给定的文字描述相匹配，而忽略样本内的对抗，即决定哪个时段与给定的文字描述最匹配。在给定匹配的视频文本对的情况下，视频通常包含连续的内容本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于两分支提议网络的弱监督视频时段检索方法，其特征在于包括如下步骤：1)建立由跨模态语言感知过滤器和正则化两分支提议网络组成的网络模型，所述的正则化两分支提议网络包括增强分支提议网络和抑制分支提议网络；2)获取视频及描述文本作为训练数据集，提取视频的帧特征与描述文本的文本特征；3)将帧特征与文本特征作为跨模态语言感知过滤器的输入，生成带有文本特征的增强视频流与抑制视频流；4)将生成的增强视频流与文本特征作为增强分支提议网络的输入，输出提议结果与得分，并筛选得到正提议集合；将生成的抑制视频流与文本特征作为抑制分支提议网络的输入，输出提议结果与得分，并筛选得到负提议集合；5)在增强分支提议网络中引入提议正则化，通过样本内对抗、样本间对抗、提议正则化计算多任务损失函数，并更新跨模态语言感知过滤器和正则化两分支提议网络的参数，得到训练好的网络模型；6)对于要检测的视频和查询语句，分别提取视频的帧特征与查询语句的文本特征，并将帧特征和文本特征作为训练好的网络模型的输入，得到所预测的得分最高的正提议作为检索结果。2.根据权利要求1所述的一种基于两分支提议网络的弱监督视频时段检索方法，其特征在于，步骤2)具体为：2.1)获取视频及描述文本作为训练数据集；2.2)使用预训练的Glove word2vec嵌入法提取文本中的单词特征，再将单词特征作为Bi-GRU网络的输入，学习带有上下文信息的单词语义表示作为文本特征序列其中n
q
是描述文本中的单词数，q
i
是第i个单词的语义特征；2.3)使用预训练的视频特征提取器提取视频的视觉特征，并使用时序平均池化缩小视觉特征序列长度，得到视频的帧特征序列其中n
v
为特征数，v
i
是视频中第i帧的帧特征；所述预训练的视频特征提取器因训练数据集而异，Charades-STA数据集和ActivityCaption数据集提取C3D特征，DiDeMo数据集提取光流特征。3.根据权利要求1所述的一种基于两分支提议网络的弱监督视频时段检索方法，其特征在于，所述的跨模态语言感知过滤器使用基于场景的跨模态估计方法，生成带有文本特征的增强视频流与抑制视频流，具体为：3.1)使用NetVLAD技术将文本特征投影至聚类中心，得到基于场景的语言特征序列3.2)计算帧特征序列与基于场景的语言特征序列之间的跨模态匹配分数；3.3)根据跨模态匹配分数，计算视频中每一帧的得分并做归一化处理，得到归一化得分分布；3.4)采用两分支门对归一化处理后的得分分布与帧特征序列进行处理，生成增
强视频流与抑制视频流。4.根据权利要求1所述的一种基于两分支提议网络的弱监督视频时段检索方法，其特征在于，步骤4)中的增强分支提议网络，具体为：4.1)将生成的增强视频流与文本特征作为增强分支提议网络的输入，采用一个帧到词的注意力结构以汇总每一帧的文本特征，获得整合文本特征；4.2)通过交叉门使得整合文本特征与增强视频流彼此作用，以获得语言感知的帧特征；4.3)根据语言感知的帧特征，通过二维时态网络构建一个二维时段特征图；所构建的二维时段特征图包括三个维度：前两个维度用于一个时段的起始帧与终止帧索引，第三个维度为特征维度；根据构建的二维时段特征图，进行两次二维卷积，获得二维图中所有时段的跨模态特征；根据二维图中所有时段的跨模态特征，每一个时段对应一个提议结果，计算每一个提议结果的得分；4.4)采用基于中心的提议筛选法筛选提议：将得分最高的提议结果作为中心提议，并根据时段重叠度排序剩下的提议，取其中重叠度最高的T-1个提议...

【专利技术属性】
技术研发人员：童鑫远，
申请(专利权)人：杭州一知智能科技有限公司，
类型：发明
国别省市：