一种基于超图的视频镜头边界检测方法技术

一种基于超图的视频镜头边界检测方法：提取视频特征；构建k近邻超图模型；寻找视频镜头边界，包括：根据k近邻超图模型设定得分向量的最小得分阈值；令查询顶点的标签向量为1，其他顶点的标签向量设置为0；计算各顶点得分向量，并且记录得分向量大于最小得分阈值中的连续顶点位置，并随机选取一半以内的顶点记为集合，且令标签向量为1；根据标签向量，再次计算各顶点得分向量；从令查询顶点的标签向量为1，其他顶点的标签向量设置为0重复进行；确定视频镜头边界及类型；再从令查询顶点的标签向量为1，其他顶点的标签向量设置为0重复进行，直到所有视频镜头边界确定完毕。本发明专利技术通过超图模型对视频帧的检索，将超图模型用于视频镜头边界的检测领域。

【技术实现步骤摘要】

本专利技术涉及一种视频镜头边界检测方法。特别是涉及一种用同一视频镜头中内容具有的连续性与相似性的特性，通过超图模型对视频镜头内图像帧的分析，确定视频各个镜头边界的基于超图的视频镜头边界检测方法。
技术介绍
视频镜头通常指摄像机一次连续拍摄的视频片段，视频镜头边界通常指视频镜头相邻帧之间出现了某种意义上的变化。视频镜头边界检测是用来寻找多个连续镜头之间边界的一种技术。当两个视频镜头发生转换时，通常会出现一些明显的变化，例如颜色特征的变化等。视频镜头边界通常包含两种类型。一种是突变镜头(abruptshot)，指视频帧从一个镜头突然跳到另一个镜头。突变镜头通常发生在两帧之间，前后两帧分别属于前后两个镜头。另一种是渐变镜头(gradualshot)，指视频帧从一个镜头逐渐缓慢的过渡到另一个镜头，镜头会有一种在时间和空间上的编辑效果。渐变镜头通常包括渐入渐出(fadeinandfadeout)、叠化(dissolve)等。渐变镜头通常发生在几帧到十几帧之间，是前后两个镜头的过渡。其中突变镜头较容易检测，而渐变镜头较难检测，是镜头边界检测的重点。视频镜头边界检测主要包括视频帧的特征提取、视频特征间的相似性度量、镜头边界确定三个步骤。现有的视频镜头边界检测技术主要有基于边缘的方法和基于运动信息的方法。图像的边缘和梯度信息可以很好的表现图像的视觉信息，因此可以作为视频图像的特征使用。基于边缘的视频镜头检测方法通常对相机、物体的运动比较敏感，因此对渐变镜头的检测不是十分准确。基于运动信息的方法是基于镜头内视频帧是光滑的、边界处是突变的基本假设。因此基于运动信息的方法对突变镜头的检测较为准确，对于渐变镜头的检测也不是十分准确。基于运动信息的方法还有计算时间复杂度高的缺点。目前视频镜头边界检测技术最大的挑战是如何检测渐变镜头以及如何消除光照或者相机和物体的高速运动对视频镜头边界处的影响。
技术实现思路
本专利技术所要解决的技术问题是，提供一种能够利用超图模型逐一确定视频镜头边界的基于超图的视频镜头边界检测方法。本专利技术所采用的技术方案是：一种基于超图的视频镜头边界检测方法，包括如下步骤：1)提取视频特征；2)构建k近邻超图模型： H ( v , e ) = 1 , i f v ∈ e 0 , i f v ∉ e - - - ( 1 ) ]]>其中，v代表超图的顶点，e代表超图的超边，H(v,e)为关联矩阵；3)寻找视频镜头边界，包括：(1)首先根据k近邻超图模型，计算给定一个查询顶点时，其他顶点相对于该顶点的得分向量：f＝(1-γ)(I-γΘ)-1y(2)其中，γ为常量系数；I为单位矩阵；y为超图n个顶点的标签向量，维度是n×1维，f为相对于查询点的得分向量，维度是n×1维；Θ为n×n的拉普拉斯矩阵，Θ＝Dv-1/2HWDe-1HTDv-1/2，其中，W为权重矩阵，是以边的权重w(e)为对角线构成超边的权重矩阵： w ( e ) = Σ v i , v j ∈ e | | v i - v j | | 2 - - - ( 3 ) ]]>Dv为顶点的度矩阵，是以顶点的度d(v)为对角线构成顶点的度矩阵：d(v)＝∑e∈Ew(e)·H(v,e)(4)De为超边的度矩阵，是以边的度d(e)为对角线构成超边的度矩阵：d(e)＝∑v∈eH(v,e)(5)(2)设定得分向量f的最小得分阈值δ；(3)令查询顶点的标签向量y(j)＝1，其他顶点的标签向量设置为0；(4)计算各顶点得分向量f，并且记录包含第j个位置在内的f>δ的连续顶点位置，并从所述的连续顶点位置中随机选取一半以内的顶点作为反馈点，记为集合F′k，且令标签向量y(F′k)＝1，k为集合的标号；(5)根据标签向量y(F′k)＝1，再次计算各顶点得分向量f，并且记录包含集合F′k的f>δ的连续顶点位置，记为集合Fk，此时Fk代表包含第j个位置的同一镜头内的所有帧；(6)令j＝Fk(last)+1，k＝k+1，设置标签向量y(j)＝1，计算各顶点得分向量f，并且记录包含第j个位置在内的f>δ的连续顶点位置，并从所述的连续顶点位置中随机选取一半以内的顶点作为反馈点，记为集合F′k+1，且令标签向量y(F′k+1)＝1，根据标签向量y(F′k+1)＝1，再次计算各顶点得分向量f，并且记录包含集合F′k+1的f>δ的连续顶点位置，得到集合Fk+1，其中，Fk(last)为集合Fk的最后一个顶点；(7)确定视频镜头边界及类型；(8)令Fk＝Fk+1，返回第(6)步，直到所有视频镜头边界确定完毕。步骤3)中第(3)步表示顶点的标签向量y＝[0,…,1,…0本文档来自技高网...

【技术保护点】
一种基于超图的视频镜头边界检测方法，其特征在于，包括如下步骤：1)提取视频特征；2)构建k近邻超图模型：H(v,e)=1,ifv∈e0,ifv∉e---(1)]]>其中，v代表超图的顶点，e代表超图的超边，H(v,e)为关联矩阵；3)寻找视频镜头边界，包括：(1)首先根据k近邻超图模型，计算给定一个查询顶点时，其他顶点相对于该顶点的得分向量：f＝(1‑γ)(I‑γΘ)‑1y       (2)其中，γ为常量系数；I为单位矩阵；y为超图n个顶点的标签向量，维度是n×1维，f为相对于查询点的得分向量，维度是n×1维；Θ为n×n的拉普拉斯矩阵，Θ＝Dv‑1/2HWDe‑1HTDv‑1/2，其中，W为权重矩阵，是以边的权重w(e)为对角线构成超边的权重矩阵：w(e)=Σvi,vj∈e||vi-vj||2---(3)]]>Dv为顶点的度矩阵，是以顶点的度d(v)为对角线构成顶点的度矩阵：d(v)＝∑e∈Ew(e)·H(v,e)    (4)De为超边的度矩阵，是以边的度d(e)为对角线构成超边的度矩阵：d(e)＝∑v∈eH(v,e)            (5)(2)设定得分向量f的最小得分阈值δ；(3)令查询顶点的标签向量y(j)＝1，其他顶点的标签向量设置为0；(4)计算各顶点得分向量f，并且记录包含第j个位置在内的f>δ的连续顶点位置，并从所述的连续顶点位置中随机选取一半以内的顶点作为反馈点，记为集合F′k，且令标签向量y(F′k)＝1，k为集合的标号；(5)根据标签向量y(F′k)＝1，再次计算各顶点得分向量f，并且记录包含集合F′k的f>δ的连续顶点位置，记为集合Fk，此时Fk代表包含第j个位置的同一镜头内的所有帧；(6)令j＝Fk(last)+1，k＝k+1，设置标签向量y(j)＝1，计算各顶点得分向量f，并且记录包含第j个位置在内的f>δ的连续顶点位置，并从所述的连续顶点位置中随机选取一半以内的顶点作为反馈点，记为集合F′k+1，且令标签向量y(F′k+1)＝1，根据标签向量y(F′k+1)＝1，再次计算各顶点得分向量f，并且记录包含集合F′k+1的f>δ的连续顶点位置，得到集合Fk+1，其中，Fk(last)为集合Fk的最后一个顶点；(7)确定视频镜头边界及类型；(8)令Fk＝Fk+1，返回第(6)步，直到所有视频镜头边界确定完毕。...

【技术特征摘要】
1.一种基于超图的视频镜头边界检测方法，其特征在于，包括如下步骤：
1)提取视频特征；
2)构建k近邻超图模型：
H ( v , e ) = 1 , i f v ∈ e 0 , i f v ∉ e - - - ( 1 ) ]]>其中，v代表超图的顶点，e代表超图的超边，H(v,e)为关联矩阵；
3)寻找视频镜头边界，包括：
(1)首先根据k近邻超图模型，计算给定一个查询顶点时，其他顶点相对于该顶点的
得分向量：
f＝(1-γ)(I-γΘ)-1y(2)
其中，γ为常量系数；I为单位矩阵；y为超图n个顶点的标签向量，维度是n×1维，f
为相对于查询点的得分向量，维度是n×1维；Θ为n×n的拉普拉斯矩阵，
Θ＝Dv-1/2HWDe-1HTDv-1/2，其中，W为权重矩阵，是以边的权重w(e)为对角线构成超边的
权重矩阵：
w ( e ) = Σ v i , v j ∈ e | | v i - v ...

【专利技术属性】
技术研发人员：冀中，樊帅飞，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12