基于改进直方图和聚类算法的视频镜头检测方法技术

本发明专利技术公开一种基于改进直方图和聚类算法的视频镜头检测方法，涉及图像处理技术。本发明专利技术采用改进直方图以及聚类算法计算相邻两帧图像直方图的交集，计算相邻两帧图像直方图的交集，并根据直方图相似度以判断是否发生镜头变化；如发生镜头变化，进一步对镜头边界利用帧间灰度/颜色差值对相邻两帧直方图的交集进行镜头边界的二次检测，采用非均匀分块加权处理，分别对每个分块计算像素差值，并将像素差值与预设的分块帧差阈值进行比较获得标记变量，对每个分块的标记变量加权求和，将加权求和的值与设定的分块加权阈值进行比较进行镜头检测。提高了镜头检测的准确率，解决了导致镜头误检、帧序号不连续等方面问题。

【技术实现步骤摘要】
基于改进直方图和聚类算法的视频镜头检测方法
本专利技术涉及图像处理技术，具体是一种视频镜头检测技术。
技术介绍
时域上连续的一组图像帧组成了视频流，但是由于视频帧速率一般较大，一段很短的视频就拥有大量的图像帧，而且相邻图像帧在视觉特征上具有一定的相关性，因此在视频检索领域并不能直接应用基于内容的图像检索的方法。只有对视频进行结构化并为视频建立索引和摘要，在形成关于视频内容的线性结构的情况下，才能有效实现视频数据的快速浏览和检索。视频的结构化包括镜头分割等，镜头分割又称镜头变换检测，是视频结构层次化的基础，要求避免外界因素对于镜头检测分割的影响，将视频序列分割为多个由拥有相同内容的一组不间断帧组成的镜头，正确检测出各种复杂编辑的镜头边界。镜头分割要求准确地将视频从镜头边界处分割开，形成一个个独立镜头，以确保关键帧提取的准确性。Yeung等学者和Nagasaka等学者分别提出直方图交集算法和χ2直方图算法，对直方图差异度的计算方式进行改进；为了减少镜头内的局部运动可能引发的干扰，Nagasaka等学者提出对各帧进行分块处理的方法；为了更好地检测持续的渐变过程，Zhang等学者提出了双阈值的算法；针对运动特征，Shahraray等学者提出了一种块匹配算法，对各块进行运动补偿后，提高了对于镜头内局部运动的容忍度，而Akutsu等学者通过计算运动向量的相关系数来定义帧间相似性，从而检测镜头转换；镜头转换时，镜头内对象边缘也随之发生变化，因此R.Zabhi等学者提出了基于边缘特征的场景分割方法；Chi-ChunLo等学者提出采用模糊C均值(FuzzyC-means:FCM)聚类算法进行镜头分割，最终将所有视频帧归入镜头变化（ShotChange:SC）和无镜头变化（NoShotChange:NSC）两类；金红等学者提出采用非监督式聚类算法对MPEG压缩视频进行检测，并根据视频数据的特征进行相应的后处理；Cernekova[11]等学者提出在相邻两帧间，结合互信息量以及联合熵的镜头检测算法等。现阶段很多镜头检测方法对于镜头切变的检测效果已趋近完美，而镜头渐变由于其镜头转换模式的多样性，且易受到噪声干扰，现有方法的检测效果仍不理想。此外，一般采用不同方法分别进行镜头切变和镜头渐变的检测，而单纯识别镜头切变的实际意义不大，因此，能够同时识别镜头切变和渐变的方法一直是学者们的研究目标。镜头分割是视频结构层次化的基础，得到了研究人员和学者的广泛重视，并有着丰富的研究成果。然而迄今为止，仍然没有一种在各种情况下、针对各种内容类型的视频都能表现出良好性能，“放之四海而皆准”的镜头分割检测算法。镜头转换检测用于将电影或视频分为基本的时域单元——镜头，根据镜头边界的连接编辑方式，可将镜头转换方式分为以下两类：镜头突变（切变）和镜头渐变。镜头突变（切变）是从一个镜头突然转换至下一镜头的过程，对应的是直接连接两个镜头的镜头编辑方式；而镜头渐变是下一镜头逐渐代替当前镜头的过程，又称软转换，对应的是利用空间/着色效果连接两个镜头的镜头编辑方式。镜头渐变是包括多种镜头转换方式，其特点是整个切换过程是渐进持续的。比较常见的渐变主要有淡入淡出、划入划出、溶化、扫换和叠化等。发生镜头转换之时，通常视频内容（高层语义）也发生了变化。视频镜头检测分割的理想过程是直接对视频内容（高层语义）进行分析，但是由于“语义鸿沟”以及涉及人类情感因素的高层语义的模糊性，多数镜头检测算法仍根据镜头边界处视频低层特征（如颜色、边缘、纹理等视觉特征及运动特征）的变化来检测镜头边界。通常情况下，镜头转换会引起视频底层特征的明显变化，如图像帧颜色分布的突然变化，视频对象边缘轮廓的移入移出等。但在镜头渐变的转换过程中，视频底层特征变化较为缓慢且不明显。此外，即使是在同一镜头中，视频内容的快速变化和噪声也可能会导致视频底层特征发生较大变化。鉴于以上诸多影响因素，虽然在某些特定情况下，利用现有算法进行视频镜头分割可达到较好的效果，但是当视频中存在对象/摄像机的快速运动，外界光照的剧烈变化等极端情况以及在视频的渐变过程中，很多现有算法进行镜头分割的效果仍远不能令人满意。现有技术中，视频镜头检测分割的常用方法是，计算视频中连续帧之间低层视觉特征或运动特征的帧间差异值Diff，并将其与预设或自适应的阈值T进行比较，若Diff＞T，则该处为镜头边界，反之，则认为这组连续帧属于同一镜头。由常用方法可知，帧间差异值的度量方式、阈值的设定，以及两者的最优组合将成为视频镜头检测分割的关键所在。而在同一镜头之内，视频特征发生变化主要有以下两个原因：对象/摄像机的运动和光线的变化。对象/摄像机的运动导致镜头内不断出现新对象，同时旧对象也在不断消失，若处理不当，则很容易和镜头渐变混淆，导致镜头误检(falsedetection)。镜头内也经常出现光线变化，若镜头内某帧突然变亮，则基于亮度特征度量的帧差值就会发生跳变，若处理不当，就会将其检测为镜头切变，也会导致镜头误检。因此，在设计算法时，需要充分考虑这两个因素。要正确检测出镜头边界以进行镜头分割，理想情况下的帧间内容差异度量应具备这样的特征：镜头内帧差值较小且相对平衡，而在镜头边界处会发生跳变很大。考虑到同一镜头内导致镜头内容变化的两个主要因素，帧差值应对镜头内的对象/摄影机运动以及光线变化尽量不敏感，而在镜头边界处敏锐地捕捉到视频内容的显著变化，跳变取得局部最大值。在视频镜头检测分割的研究领域中，经过数十年的研究和探讨，许多学者和研究人员都提出了各自的算法，根据镜头转换处的特点，基于不同的图像帧视觉特征和镜头运动特征进行镜头边界的检测分割，并取得了一定的效果。总的来说，视频镜头检测分割算法主要包括以下几类：基于像素的算法、基于直方图的算法、基于运动特征的算法、基于边缘特征的算法等。直方图直观地反映了一幅图像灰度（灰度直方图）或颜色（颜色直方图）的总体分布，由于其出色的全局特性，广泛应用于图像处理中，并有多种度量方式：基本方法是计算相邻视频帧间的直方图差异值，但是直方图帧差值的结果因采用的直方图种类而异。还可通过引入加权系数计算两幅图像之间的直方图加权距离来对基本方法进行扩展，此外还有计算两幅图像之间的直方图交集或采用其他距离度量方法。基于直方图的算法是应用最为广泛的视频镜头检测分割方法，处理简单方便，计算复杂度较低，对于大多数视频来说，只要阈值设置得当，一般均能达到比较好的效果。基于直方图的算法的主要优点就在于其全局特性。基于直方图的算法与基于像素算法的基本思想一致，都是计算帧间差异值，不同的是所采用的度量标准不同，前者是在后者的基础上扩展得到的。基于像素的算法对相邻两帧相应像素的灰度或亮度差值的绝对值进行求和，以衡量帧间差异度。它是计算帧间差异值的最简单和基本的算法，算法过程如下：对应像素的帧间灰度或亮度差值如式(1)所示：fd＝|fn(i,j)-fn+1(i,j)|(1)其中，fn(i,j)，fn+1(i,j)分别表示第n帧和第n+1帧像素(i,j)的灰度或亮度值(因直方图类型而异)，则第n帧和第n+1帧间的总帧差为：然后，将总帧差与预设阈值比较，若超出阈值，则该处发生镜头转换。虽然基于像素的方法算法简单明了且容易实现，但对于镜头本文档来自技高网...

【技术保护点】
一种基于改进直方图和帧差法的镜头检测方法，其特征在于：计算相邻两帧图像直方图的交集，获得直方图相似度，根据直方图相似度初步判断镜头是否发生变化；利用帧间灰度/颜色差值进行镜头边界的二次检测，从视频中提取相邻两帧，并进行非均匀分块，再计算对应块的像素差值，并将像素差值与预设的分块帧差阈值进行比较获得标记变量，对每个分块的标记变量加权求和，将加权求和的值与设定的分块加权阈值进行比较，如果大于分块加权阈值，则镜头发生变化；将帧数小于20的镜头重新划归到上一个镜头中。

【技术特征摘要】
1.一种基于HSV颜色空间改进的直方图的镜头相似度比较方法，其特征在于：选择在HSV颜色空间下，按照H、S、V分量进行量化，并计算相邻两帧图像直方图的交集，获得直方图相似度，根据直方图相似度初步判断镜头是否发生变化；然后对视频帧非均匀分块，计算比较块内颜色差和亮度差分量，并据此与各个分量的阈值进行比较得到帧间块标记变量，最后将所有帧间块的标记变量加权求和作为帧相似度比较度量的值；这样计算能更好的反映人类视觉对颜色和亮度的感知差异程度；所述获得直方图相似度具体包括，将视频序列V＝{f1,f2,...,fn}投影到HSV颜色空间上，通过采取非均匀量化HSV空间手段，将色调Hue通道、饱和度Saturation通道和亮度Value通道分别分为8、3、3份，并引入了一维特征矢量以简化颜色特征，最后形成8*3*3＝72bin的一维直方图；而后，利用直方图交集算法，调用公式：Sh(t,t-1),Ss(t,t-1)Sv(t,t-1)分别表示H、S、V三个通道的直方图相似度，S(t,t-1)表示相邻的第t和t-1帧的直方图相似度，mh、ms、mv分别表示H、S、V分量的加权系数。2.根据权利要求1所...

【专利技术属性】
技术研发人员：瞿中，陈昌志，刘达明，薛峙，高腾飞，
申请(专利权)人：重庆邮电大学，瞿中，
类型：发明
国别省市：