【技术实现步骤摘要】
一种基于语义内容多层表示的重复视频检测方法与装置
本专利技术涉及一种视频检测方法,特别涉及一种基于语义内容多层表示的重复视频检测方法及装置。
技术介绍
随着网络数字视频应用的迅速发展,为了保护和管理视频内容,大规模重复视频检测成为研究关注的问题。重复视频检测方法主要分为两大类:数字水印和基于内容的重复检测。数字水印方法将隐藏的数据信息(即水印)嵌入到图像和视频中进行检测。而基于内容的方法釆用视频内容分析算法,生成视频签名或者关键帧特征进行检索,具有较高的处理效率和准确性。大多数研究关注基于内容的重复视频检索。现有方法的通用处理过程可以分为如下三个步骤:首先,视频通过镜头分割算法生成视频片段,每个视频片段提取一或多个关键帧;然后,对每一个视频关键帧采用特征提取算法生成一组高维特征向量;最后,用特征向量的时间和空间匹配算法定义视频的相似度用来进行检测。首先是镜头分割和关键帧提取算法。镜头分割又称为镜头边缘检测(ShotBoundaryDetection)。镜头是摄像机从开始到停止两个操作之间的一系列视频帧序列,现有的镜头分割算法一般分为两类:第一类是基于阈值的方法当两帧之间的相似度低于预先定义的阈值时,即判定为边缘。阈值可以是全局的,自适应的或者全局自适应结合的。第二类是基于统计学习的方法,其中包括督学习和非监督学习两类方法,监督学习分类的算法比如SVM,Adaboost和其他模型的方法,非监督学习的算法主要是聚类算法,比如K-means,fuzzyK-means。关键帧提取算法从用一个镜头中提取出最能代表镜头内容的帧作为关键帧,关注的特征包括颜色,边缘,形状 ...
【技术保护点】
一种基于语义内容多层表示的重复视频检测方法,其特征在于,包括以下步骤:步骤1:根据索引视频的信息建立特征数据库;步骤2:将待查询的查询视频进行镜头检测,得到多个查询视频片段;所述查询视频设置有查询视频标识,每个查询视频片段分别设置有查询视频片段标识;步骤3:对每个查询视频片段提取关键帧,得到多个查询关键帧,每个查询关键帧分别设置有查询关键帧标识;步骤4:对每个查询关键帧利用特征提取算法进行处理,得到一组查询高维特征向量,每个查询高维特征向量均设置有查询高维特征向量标识;步骤5:将每个查询高维特征向量分别进行哈希处理,得到一组查询特征标签;步骤6:将每个查询特征标签与对应的查询高维特征向量标识、查询关键帧标识、查询视频片段标识和查询视频标识进行关联,并将上述标识作为每个查询特征标签的关联项,在特征数据库中检索查询特征标签及其关联项,得到多组相似特征标签;步骤7:根据每组特征标签的位置信息,对检索得到的每组相似特征标签进行特征过滤,得到包含有多个特征向量的备选特征向量集合;步骤8:根据查询关键帧标识和查询视频片段标识,对每个备选特征向量集合中的特征向量进行相似度匹配,得到重复视频检测结果。
【技术特征摘要】
1.一种基于语义内容多层表示的重复视频检测方法,其特征在于,包括以下步骤:步骤1:根据索引视频的信息建立特征数据库;步骤2:将待查询的查询视频进行镜头检测,得到多个查询视频片段;所述查询视频设置有查询视频标识,每个查询视频片段分别设置有查询视频片段标识;步骤3:对每个查询视频片段提取关键帧,得到多个查询关键帧,每个查询关键帧分别设置有查询关键帧标识;步骤4:对每个查询关键帧利用特征提取算法进行处理,得到一组查询高维特征向量,每个查询高维特征向量均设置有查询高维特征向量标识;步骤5:将每个查询高维特征向量分别进行哈希处理,得到一组查询特征标签;步骤6:将每个查询特征标签与对应的查询高维特征向量标识、查询关键帧标识、查询视频片段标识和查询视频标识进行关联,并将上述标识作为每个查询特征标签的关联项,在特征数据库中检索查询特征标签及其关联项,得到多组相似特征标签;步骤7:根据每组特征标签的位置信息,对检索得到的每组相似特征标签进行特征过滤,得到包含有多个特征向量的备选特征向量集合;步骤8:根据查询关键帧标识和查询视频片段标识,对每个备选特征向量集合中的特征向量进行相似度匹配,得到重复视频检测结果;其中,所述步骤1具体包括以下步骤:步骤1.1:将索引视频进行镜头检测,得到多个视频片段,每个视频片段分别设置有视频片段标识,所述索引视频设置有索引视频标识;步骤1.2:对每个视频片段提取关键帧,得到多个关键帧,每个关键帧分别设置有关键帧标识;步骤1.3:对每个关键帧利用特征提取算法进行处理,得到一组高维特征向量,每个高维特征向量均设置有高维特征向量标识;步骤1.4:将每个高维特征向量分别进行哈希处理,得到一组特征标签;步骤1.5:将每个特征标签与对应的高维特征向量标识、关键帧标识、视频片段标识和索引视频标识进行关联,将关联后的所有特征标签存入特征数据库中。2.根据权利要求1所述的基于语义内容多层表示的重复视频检测方法,其特征在于,所述步骤5具体包括以下步骤:步骤5.1:将每个查询高维特征向量利用如下符号函数表示:其中,p为64维高维特征向量,Hessian矩阵为特征提取算法提取的中间结果;步骤5.2:每个查询高维特征向量的哈希函数表示如下:其中a为从一个2至稳定分布中独立选取的64维随机向量,b为一个从均匀分布[0,W]选取的实数,参数W随机选取4或者8中的一个作为最优值;步骤5.3:将每个64维的查询高维特征向量p映射到L个哈希表的L个桶:gj(p),j=1,...,L每个桶的标签为一个k维向量,对应k个随机选取的哈希函数:gj(p)=(|h1,j(p)|,...,|hk,j(p)|)步骤5.4:从查询视频中提取的查询高维特征向量中随机抽取m对查询高维特征向量,m对查询高维特征向量间平均碰撞的概率为:Ep(c)=p(ce),每个桶中的查询高维特征向量个数为:Nbucket=∑np(ce)k≈n·Ep(c)k其中,Nbucket·L=n·L·Ep(c)k≤Raito·n,Ratio为0.1%;将L表示为k的函数:求解得到唯一的k和L最优值。3.根据权利要求1所述的基于语义内容多层表示的重复视频检测方法,其特征在于,所述步骤7具体包括以下步骤:步骤7.1:在提取查询关键帧的过程中,存储中间结果作为每个特征点的位置信息;步骤7.2:将经过哈希处理得到的每个查询特征标签作为一个特征点,根据每个特征点的位置信息计算每两个特征点在二维空间里的相对距离;步骤7.3:根据查询关键帧标识进行分类统计,得到在两个对应关键帧图像中所有特征点相对距离的平均值和标准差;步骤7.4将相对距离超过平均值并且远大于标准差的特征点作为噪声点去除。4.根据权利要求1所述的基于语义内容多层表示的重复视频检测方法,其特征在于,所述步骤8具体包括以下步骤:步骤8.1:根据查询关键帧标识将每个备选特征向量集合中的每个匹配特征向量进行再一次哈希处理,利用线性遍历查找与查询关键帧匹配的关键帧:匹配特征向量的数量超过预定阈值的关键帧为匹配关键帧;步骤8.2:对于查询视频片段标识的每个关键帧fiq,与匹配关键帧的相似度为:其中,Nm是与该匹配关键帧在一个桶内对应的特征向量个数,wi,j是对应桶的权值,具体为wi,j=1/Nbucket,Nbucket是每个桶中的查询高维特征向量个数;步骤8.3:查询视频vq与索引视频vc间的相关分数为:其中,Nframe是查询视频提取的查询关键帧总数,如果一个索引视频与查询视频的相关分数scorec超过预定阈值St,则被作为一个重复视频。5.一种基于语义内容多层表示的重复视频检测装置,其特征在于:包括建立模块(1),镜头检测模块(2),关键帧提取模块(3),特征提取模块(4),哈希处理模块(5),关联模块(6),特征过滤模块(7)和相似度匹配模块(8);所述建立模块(1),用于根据索引视频的信息建立特征数据库;所述镜头检测模块(2),用于将待查询的查询视频进行镜头检测,得到多个查询视频片段,每个查询视频片段分别设置有查询视频片段标识,所述查询视频设置有查询视频标识;所述关键帧提取模块(3),用于对每个查询视频片段提取关键帧,得到多个查询关键...
【专利技术属性】
技术研发人员:刘大伟,徐伟,
申请(专利权)人:烟台中科网络技术研究所,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。