一种基于紧凑特征的局部近重复视频检测方法和系统技术方案

本发明专利技术公开了一种基于紧凑特征的局部近重复视频检测方法和系统，该方法首先对查询视频和数据库视频均匀采样视频帧，并提取它们的深度特征作为初始特征；其次，由于近重复帧的主要内容基本在图片中央，使用二维高斯核对帧的初始特征进行加权使得注意力集中在画面中央，接着使用一些特征降维方法降低初始特征维度以获得低维紧凑特征向量；然后使用基于视频自相似度矩阵的关键帧提取算法提取所有视频的关键帧；最后基于上一步提取的视频关键帧，使用基于图网络的时间对齐算法检测和定位近重复视频片段。重复视频片段。重复视频片段。

【技术实现步骤摘要】
一种基于紧凑特征的局部近重复视频检测方法和系统


[0001]本专利技术属于多媒体信息处理领域，具体涉及一种基于紧凑特征的局部近重复视频检测方法和系统，更为具体的是一种基于视频自相似度矩阵的视频关键帧选取算法和一种基于Transformer的视频帧特征编码方法。

技术介绍

[0002]随着互联网的快速发展，从互联网上获取信息的主要方式由文字转变为视频。海量的网络视频在给人们带来便利的同时，也带来了很多问题。例如，一些自媒体对热门视频做一些编辑操作后再次发表，以获取流量和利益，严重侵害了原视频作者的权益；也有一些盗版产商利用网络平台出售盗版视频，获取非法利益。由于视频的数量庞大且本身较复杂，因此这些近重复视频难以被人工审核出来。近年随着计算机视觉技术在视频领域的飞速发展，基于视频语义的近重复视频检测算法越来越受到重视。
[0003]近重复视频是原视频经过一系列变换得到的与原视频相似的视频，变换包括但不限于视频格式变换、光学参数(RGB、亮度)变换、几何参数(镜像、反转)变换、编辑操作(插入字幕、标志、边框等)变换、慢放或倍速变换等。通常来说本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于紧凑特征的局部近重复视频检测方法，其特征在于，包括：对查询视频和待检索数据库视频采样，获取每一个视频的采样帧；提取采样帧的深度特征作为初始特征；对每一个初始特征添加基于二维高斯核的空域注意力，并进行R
‑
MAC处理，获得带权初始特征的R
‑
MAC特征；将R
‑
MAC特征通过Transformer特征编码器生成初始特征的低维紧凑特征；所述Transformer特征编码器通过孪生网络训练后得到，所述Transformer特征编码器包括共享训练权重的骨干网络和映射多层感知器；基于低维紧凑特征，获得每一个视频的自相似度矩阵，对自相似度矩阵进行可视化和阈值化处理后，通过目标检测网络检测，获得每一个视频的关键帧；基于查询视频的关键帧和待检测数据库视频的关键帧，通过基于图网络的时间对齐算法检测出重复视频，同时获得重复视频的位置。2.根据权利要求1所述的一种基于紧凑特征的局部近重复视频检测方法，其特征在于，通过深度卷积神经网络从采样帧中提取出初始特征。3.根据权利要求1所述的一种基于紧凑特征的局部近重复视频检测方法，其特征在于，对每一个初始特征添加基于二维高斯核的空间注意力，并进行R
‑
MAC处理的过程为：对神经网络输出的初始特征上每一个通道的特征分别使用二维高斯核加权，获得带权的初始特征，再通过区域卷积最大激活带权初始特征，获得带权初始特征的R
‑
MAC特征。4.根据权利要求1所述的一种基于紧凑特征的局部近重复视频检测方法，其特征在于，所述低维紧凑特征为：其中，L2(*)代表l2标准化；F
encoder
为经Transformer特征编码后的区域特征序列，计算公式为：其中，Q为查询矩阵，K为键矩阵，V为值矩阵，S2为区域特征向量的数量。5.根据权利要求1所述的一种基于紧凑特征的局部近重复视频检测方法，其特征在于，通过孪生网络训练特征编码器的过程为：通过孪生网络训练Transformer特征编码器的骨干网络和映射多层感知器；训练骨干网络和映射多层感知器过程中，将锚样本初始特征和正样本初始特征输入至孪生网络的两个分支中，最小化两个分支的对称负余弦相似度，所述对称负余弦相似度为网络的损失函数，当所述损失函数收敛时，训练结束。6.根据权利要求5所述的一种基于紧凑特征的局部近重复视频检测方法，其特征在于，锚样本初始特征取自锚样本，正样本初始特征取自正样本；锚样本和正样本取自重复帧数据集；所述重复帧数据集生成过程为，根据VCDB数据集标注获取所有的近重复片段对，对数据集中近重复片段对采样后获得锚样本集和正样本集，对每一个样本集去除部分重复图像后，提取出锚样本集和正样本集中所有帧的低维特征，构建相似度矩阵；设定相似度阈值，通过相似度阈值对相似度矩阵进行标注，获得重复帧数据集。
7.根据权利要求1所述的一种基于紧凑特征的局部近重复视频检测方法，其特征在于，视频的关键帧获取过程为：所述自相似度矩阵为：ma＝f(f
T
)∈R
N<...

【专利技术属性】
技术研发人员：王萍，余圳煌，鲁磊，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：