检测运动图像中视频镜头变化的方法及使用该方法的设备技术

一种用于检测运动图像中的视频镜头变化的方法和设备。该方法包括：ａ）对于组合运动图像的视频帧组成的第一至第Ｋ上层帧组、组合第一至第Ｋ上层帧组的第Ｌ上层帧组中的视频帧组成的第一至第Ｍ中间层帧组、在第一至第Ｍ中间层帧组的第Ｎ中间层帧组中的第Ｎ下层帧组，检测是否存在视频镜头变化（Ｋ和Ｍ是大于１的正整数，Ｌ是大于１且小于Ｋ的正整数，Ｎ是大于１且小于Ｍ的正整数）；ｂ）使用操作ａ）的结果产生视频镜头变化列表。由于区别地分级处理运动图像的压缩流数据，可以较快地检测视频镜头变化，由于将归一化的相关系数和基于色彩分布的差别特征值用作检测特征值，可能防止亮度变化引起的误差，并对于相似性色彩分布有效地检测镜头变化。

【技术实现步骤摘要】

本专利技术涉及检测运动图像数据中的视频镜头(shot)变化，并且更加具体地讲，涉及一种通过以多层分级流为单元分类视频帧来检测运动图像的视频镜头变化和高速检测视频镜头变化以便快速地索引(index)运动图像的内容的方法，以及采用该方法的设备。
技术介绍
视频镜头是在拍摄视频时通过单一摄像机的移动连续捕获的一系列视频帧，并且在通过主题索引视频时，它被用作基本处理单元。用于检测视频镜头变化的技术在视频索引中是很重要的。视频镜头边界的信息是在基于视频内容组织内容表、实现视频内容概括功能、或通过主题编辑视频时使用的基本的片段数据。所述用于检测视频镜头变化以提供视频镜头边界的信息的技术主要可以分为压缩区域检测技术和非压缩区域(或像素区域)检测技术。最初，处理多种像素区域图像特性的非压缩区域检测技术被频繁地使用。但是，近来部分地解码压缩视频流然后利用诸如DCT(离散余弦变换)系数、运动矢量、宏块模式和比特率分配等的某种流数据的压缩区域方法得到广泛地发展，从而加速了对以压缩格式存储的视频内容的变化检测任务。根据通常的检测视频镜头变化的过程，对每一帧计算出相邻帧之间的差别(differential)特征值，作为检测测量值。主要地，使用在随后的相邻帧的色彩柱状图之间的差别。然后，比较差别特征值与预先确定的阈值来确定在当前帧中是否产生了视频镜头变化。在压缩区域方法的情况下，大多数检测测量是直接根据DCT(离散余弦变化)系数、运动矢量、宏块模式和比特流分配的部分解码流数据计算出的。因此，可以不用完全解压缩而快速执行镜头变化检测。但是，通常用于压缩或非压缩区域的镜头变化检测技术一般具有以下局限性。第一，视频中对应于视频镜头变化的帧可能低于全部视频帧的1％的比例。然而，多数视频镜头变化检测技术在每一帧时或在具有一定的帧跳跃长度的其它帧处重复。因此，该检测方案的计算负荷的效率非常低，所以不允许处理速度的改善。为了改善检测速度，一些压缩区域检测方法计算在压缩流数据中随后的内部编码帧之间的检测测量值，该内部编码帧通常属于每一个由大约15个帧组成的GOP(图像组)流单元中的第一帧。GOP流单元中存在内部编码帧使得能够随机访问GOP单元中的压缩视频流。更特别地，通过比较在每一个GOP流单元计算的检测测量值与给定的阈值，可以作出一个关于当前GOP流单元在其自身中是否存在视频镜头变化的判定。然后，检验在被声明为镜头变化候选GOP单元的当前GOP流单元中所有的视频帧是镜头变化帧的可能性。此外，为了覆盖这样的视频镜头变化检测，该变化被特定地分为突变(cut)或GT(逐渐变化)，在每一帧处需要计算出两种不同的检测测量值。详细地，对于表示随后两个视频摄像机镜头的无重叠连接的突变型镜头变化的有效的检测，在具有相对短的帧距离(例如，1帧)的两个后续帧中计算出的检测测量值就足够了，而在表示在随后两个视频摄像机镜头的部分重叠连接的GT型镜头变化的情况下，就应该计算出在具有相对长的帧距离(例如，15～45帧)的两个后续帧之间的另一个检测测量值。上述检测方法的这些因素成为改善检测速度的干扰。第二，将色彩柱状图差别用作主要检测测量的传统方法暴露出在时间上相邻的、具有相似色彩分布的视频镜头之间的镜头变化检测上的局限性。此外，在可以频繁地观察到一种如闪光的有效照明度变化的新闻视频或音乐视频中，在具有闪光的视频帧周围检测到许多虚假镜头变化。为了弥补这一问题，一些早期的工作提出一些独立处理步骤，如独立闪光检测模块或用于图像照明度补偿的复杂的处理。
技术实现思路
本专利技术提供一种用于检测运动图像中的视频镜头变化的方法，在该方法中运动图像的压缩视频流数据可以以多级流为单元来划分，并且只对一些被检测为具有镜头变化可能性的流组应用分级镜头变化检测处理。同样，本专利技术提供一种用于检测运动图像中的视频镜头变化的设备，在该设备中运动图像的压缩视频流数据可以以多级流单元来划分，并且只对一些被检测为具有镜头变化可能性的流组应用分级镜头变化检测处理。根据本专利技术的一个方面，提供一种用于检测运动图像中的视频镜头变化的方法，该方法包括操作(a)对于通过组合运动图像的视频帧组成的第一至第K(此处，K是大于1的正整数)上层帧组、通过组合第一至第K上层帧组中的第L(此处，L是大于1并小于K的正整数)上层帧组中的视频帧组成的第一至第M(此处，M是大于1的正整数)中间层帧组、以及在第一至第M中间层帧组的第N中间层帧组中的第N(此处，N是大于1并且小于M的正整数)下层帧组，检测是否存在视频镜头变化；和(b)通过使用操作(a)的结果产生一个视频镜头变化列表。根据本专利技术的另一方面，提供一种用于检测运动图像中的视频镜头变化的设备，该设备包括镜头变化检测单元，该单元对于通过组合运动图像的视频帧形成的第一至第K(此处，K是大于1的正整数)上层帧组、通过组合第一至第K上层帧组中的第L(此处，L是大于1并小于K的正整数)上层帧组中的视频帧组成的第一至第M(此处，M是大于1的正整数)中间层帧组、以及在第一至第M中间层帧组的第N中间层帧组中的第N(此处，N是大于1并且小于M的正整数)下层帧组，检测视频镜头变化；和镜头变化列表产生单元，用于产生已检测的视频的镜头变化列表。附图说明结合附图，从下面对实施例的描述中，本专利技术的这些和/或其他方面、特征和优点将变得清楚和更加容易理解，其中图1是描述根据本专利技术的一个实施例检测运动图像中的视频镜头变化的方法的流程图；图2是示出视频流数据帧编组的例子的示意图；图3是描述根据本专利技术的一个实施例的、图1中的操作10A的流程图；图4是描述根据本专利技术的一个实施例的、图3中的操作32的流程图；图5是描述根据本专利技术的一个实施例的、图3中的操作42的流程图；图6是描述根据本专利技术的一个实施例的、图3中的操作56的流程图；图7是描述根据本专利技术的一个实施例的、图6中的操作158的流程图；图8是描述根据本专利技术的一个实施例的、图3中的操作60的流程图；图9是描述根据本专利技术的一个实施例的、图8中的操作184的流程图； 图10描述根据本专利技术的一个实施例的、图8中的操作186的流程图；图11描述根据本专利技术的一个实施例的、图1中的操作10的流程图；图12是示出根据本专利技术的一个实施例的、用于检测运动图像中的视频镜头变化的设备的框图；图13是示出根据本专利技术的一个实施例的镜头变化检测单元的框图；图14是示出根据本专利技术的一个实施例的第三镜头变化可能性检测单元502的框图；图15是示出根据本专利技术的一个实施例的、图13中的第一镜头变化可能性检测单元508的框图；图16是示出根据本专利技术的一个实施例的、图13中的第二镜头变化可能性检测单元518的框图；图17是示出根据本专利技术的一个实施例的、图16中第四镜头变化可能性检测单元648的框图；图18是示出根据本专利技术的一个实施例的、图13中的突变型变化检测单元520的框图；图19是示出根据本专利技术的一个实施例的、图18中的第二突变型帧确定单元804的框图；图20是示出根据本专利技术的另一个实施例的、图18中的第二突变型帧确定单元804的框图；和图21是示出根据本专利技术的另一个实施例的、图12中的镜头变化检测单元400的框图。具体实施例方式现在将参照附图对本专利技术进行更为全面地介绍，其中在附图中给出了本本文档来自技高网...

【技术保护点】
一种用于检测运动图像中的视频镜头变化的方法，该方法包括：（ａ）对于通过组合运动图像的视频帧组成的第一至第Ｋ（此处，Ｋ是大于１的正整数）上层帧组、通过组合第一至第Ｋ上层帧组中的第Ｌ（此处，Ｌ是大于１并小于或等于Ｋ的正整数）上层帧组中的 视频帧组成的第一至第Ｍ（此处，Ｍ是大于１的正整数）中间层帧组、以及在第一至第Ｍ中间层帧组的第Ｎ中间层帧组中的第Ｎ（此处，Ｎ是大于１并且小于或等于Ｍ的正整数）下层帧组，检测是否存在视频镜头变化；和（ｂ）通过使用操作（ａ）的结果产生一个 视频镜头变化列表。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：文永秀，金智渊，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：KR[韩国]