本发明专利技术涉及计算机视觉和模式识别技术领域，具体涉及一种基于细粒度模态关系感知网络的视频片段检索方法，步骤如下：提取语义关系增强后的文本查询特征和视频特征；挖掘细粒度的模态关系感知信息，得到细粒度的模态关系感知信息；将交互后的边界图和内容图在通道维度进行拼接得到的融合图，对融合图后通过卷积块来挖掘提案之间的关系，并通过预测模块来获取最终的预测分数；构建基于细粒度模态关系感知网络的损失函数；通过损失函数约束网络的训练，将整个网络输出的预测图预测的分数从大到小排序，获取视频片段的检索结果。本发明专利技术能够挖掘细粒度的模态关系感知信息，从而获得鲁棒的查询感知视频特征和视频感知文本特征，获得更精准的检索结果。
【技术实现步骤摘要】
本专利技术涉及计算机视觉和模式识别，尤其涉及一种基于细粒度模态关系感知网络的视频片段检索方法。
技术介绍
1、随着在线视频内容的指数级增长，定位未修剪视频中的视频片段变得越来越紧迫。为了应对这一挑战，研究人员提出了时序动作定位（tal）方法。然而，现有的时间动作定位技术在精确定位满足特定条件的动作片段的能力方面受到限制，常常导致定位的视频片段不能完全满足特定条件。例如，在动作“跑步”的情况下，可以同时定位描绘“一个人跑步”和“两个人跑步”的片段。为了在特定条件下更准确地定位所需视频片段，引入了视频片段检索（vmr）。 这种方法检索与文本查询语义一致的视频片段，并引起了研究人员的关注。一种常见的视频片段检索方法是首先生成提案，然后计算这些提案与文本查询之间的相似度，然后对相似度进行排序以获得最终的检索片段。虽然一些方法利用多尺度滑动窗口来生成提案，但密集采样滑动窗口可能不是最有效的解决方案。因此，研究人员开发了分段提案网络来生成提案，旨在减少提案的数量。与上述方法相比，基于锚的方法不需要在输入阶段生成提案，是一种更有效的策略。
>2、尽管先前提出的本文档来自技高网...
【技术保护点】
1.一种基于细粒度模态关系感知网络的视频片段检索方法，其特征是，包括以下步骤：
2.根据权利要求1所述的一种基于细粒度模态关系感知网络的视频片段检索方法，其特征是，步骤S1具体如下：
3.根据权利要求2所述的一种基于细粒度模态关系感知网络的视频片段检索方法，其特征是，步骤S2具体如下：
4.根据权利要求3所述的一种基于细粒度模态关系感知网络的视频片段检索方法，其特征是：
5.根据权利要求4所述的一种基于细粒度模态关系感知网络的视频片段检索方法，其特征是，步骤S3具体如下：
6.根据权利要求5所述的一种基于细粒度模态关系感知网络的...
【技术特征摘要】
1.一种基于细粒度模态关系感知网络的视频片段检索方法，其特征是，包括以下步骤：
2.根据权利要求1所述的一种基于细粒度模态关系感知网络的视频片段检索方法，其特征是，步骤s1具体如下：
3.根据权利要求2所述的一种基于细粒度模态关系感知网络的视频片段检索方法，其特征是，步骤s2具体如下：
4.根据权利要求3所述的一种基于细粒度模态关系感知网络...
【专利技术属性】
技术研发人员：高赞，赵一博，张桦，马春杰，程建宏，史芙蓉，袁立明，薛彦兵，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。