【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于时空域实例增强的视频复制片段定位方法及装置。
技术介绍
1、视频复制片段定位任务（video copy segment localization，vsl）要求识别包含复制内容的一对视频中的时间段。现有视频复制片段定位技术（vsl）主要分为三个步骤，提取视频关键帧，对关键帧进行特征提取并建模时序依赖，使用时间对齐方法提取对齐片段。
2、关键帧提取部分，由于视频拷贝定位的任务特殊性，视频级和片段级特征无法满足精准的定位需求，当前的方法普遍采用每秒提帧的方式作为关键帧。有工作尝试将关键帧提取建模多帧分类问题选择更具代表性的关键帧；特征提取通常使用预训练好的模型，提取帧级特征之后通过注意力模块建模时序依赖关系；将查询视频和参考视频特征进行相似度计算得到帧相似度矩阵，传统方法通过霍夫投票、时间网络、动态规划等方案实现两个视频的同源段定位。近期的方法采用更先进的数据驱动的方法，如：基于傅里叶域的参数化时间敏感相似性度量；构建时空相似性步骤预测图；将时间对齐任务建模为目标检测任务，用目标检测器预测...
【技术保护点】
1.一种基于时空域实例增强的视频复制片段定位方法，其特征在于，包括：
2.根据权利要求1所述的基于时空域实例增强的视频复制片段定位方法，其特征在于，基于所述实例关系图，通过空间分支获取局部对齐信息，具体包括：
3.根据权利要求1所述的基于时空域实例增强的视频复制片段定位方法，其特征在于，基于所述实例关系图，通过时间分支获取全局对齐信息，具体包括：
4.根据权利要求2所述的基于时空域实例增强的视频复制片段定位方法，其特征在于，基于所述更新的局部特征矩阵，进行深度图匹配计算，得到所述查询视频和所述参考视频的局部对齐信息，具体包括：>
5.根据权利...
【技术特征摘要】
1.一种基于时空域实例增强的视频复制片段定位方法，其特征在于，包括：
2.根据权利要求1所述的基于时空域实例增强的视频复制片段定位方法，其特征在于，基于所述实例关系图，通过空间分支获取局部对齐信息，具体包括：
3.根据权利要求1所述的基于时空域实例增强的视频复制片段定位方法，其特征在于，基于所述实例关系图，通过时间分支获取全局对齐信息，具体包括：
4.根据权利要求2所述的基于时空域实例增强的视频复制片段定位方法，其特征在于，基于所述更新的局部特征矩阵，进行深度图匹配计算，得到所述查询视频和所述参考视频的局部对齐信息，具体包括：
5.根据权利要求1所述的基于时空域实例增强的视频复制片段定位方法，其特征在于，所述互补性感知对齐模块是基于可微动态时间规整损失和加权均方误差损失作为对齐损失函数进行训练的。
6.根据权利...
【专利技术属性】
技术研发人员：刘雨帆，李兵，胡卫明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。