镜头转换检测方法及装置制造方法及图纸

公开了一种镜头转换检测方法及装置。镜头转换检测方法包括：帧间特征差分序列生成步骤，基于视频生成不同差分尺度的多个帧间特征差分序列，其中，多个帧间特征差分序列中的至少两个帧间特征差分序列的长度大于或等于２；以及镜头转换检测步骤，利用多个帧间特征差分序列的联合来检测视频中的镜头转换。本发明专利技术能够有效地检测视频中的镜头转换。

【技术实现步骤摘要】

本专利技术涉及视频的处理和分析，具体地涉及视频中镜头转换的检测。技术背景随着存储器件容量和网络带宽的不断增大，信息丰富的视频内容得到了越来越 广泛的应用，并成为人们生活中不可或缺的一部分。视频内容正以前所未有的速度被生 成、传播和存储。存储的目的是再次利用，然而视频内容越丰富，再次利用就越繁琐。在这样的 背景下，完全依靠人工的视频的管理、浏览、索引和查找就变得十分困难而不切实际。 因此，可以帮助人们方便快速地找到所需视频的视频内容自动分析和检索技术，就有着 广泛的应用前景。在对经人工编辑的视频的分析中，目前公认的最合适的语义单元是镜头；镜头 是指由一台摄像机连续拍摄的一组内在相关的帧，它用来表现时空上连续的一组内容。 由于镜头的描述能力有限，绝大多数经过编辑的视频都由许多镜头在时间上连接而成。 不同镜头之间的过渡造成场景(地点或时间)的变化，镜头转换检测的目的就是在时域上 将视频序列分割为基本的语义单元，即镜头。镜头转换的类型有两种突变(abrupt transition)和渐变(gradualtransition，简称GT)。突变也常称为切变(cut)，它指的是前一个镜头的最后一帧与下一个镜头的第一帧 直接相连的情况。当然，在隔行扫描的电视广播视频中，在切变处可能会有一帧由前一 个镜头的最后一帧与下一个镜头的第一帧混叠而成，夹在两个镜头之间。并且由于视频 压缩编码的原因，即使对这一帧隔行采样也无法完全去除混叠效应。这种情况也属于切变。与切变不同，渐变时，前一个镜头通过一个持续多帧的变化过程过渡到下个镜 头，也就是说，视频中存在若干帧被夹在两个相邻的镜头之间而不属于其中的任何一个 镜头。常见的渐变类型主要有淡出淡入(fadecmt/in)、溶解(dissolve)、划变(wipe)等。 淡出是指前一个镜头的图像逐渐隐去直至画面完全为单一颜色，然后切变至下一个镜 头；淡入指的是与淡出相反的镜头转换过程。当然，淡出和淡入也可以在时间上连在一 起使用。溶解是指在前一个镜头的图像逐渐模糊的同时，后一个镜头的图像逐渐增强， 在这样一个前后镜头图像重叠的过程中完成镜头的过渡。划变是指后一个镜头的图像从 某一区域开始按照一定规律逐渐变大，直到把前一个镜头的图像完全覆盖掉。与普通的 划变不同，同时伴随着动画标志飞入与飞出的更复杂的划变过程称为动画划变(graphic wipe)，也称为标志过渡(logo transition)。在文献中已经有许多工作试图有效地检测镜头转换。在 B.Han 禾口 Y.Hu 等人的 Enhanced Sports Video Shot BoundaryDetection Based on Middle Level Features and a Unified Model, IEEETrans.Consumer Electronics, vol.53, no.3, pp.1168-1176，2007中公开了一种以帧间直方图差分序列为基础来提取用来检测镜头转换的特征的方法，在该方法中对于某一特定长度的镜头渐变的检测，采用了单个帧 间直方图差分序列来提取特征。
技术实现思路
在下文中给出关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本 理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术 的关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某 些概念，以此作为稍后论述的更详细描述的前序。本专利技术的目的是提供一种新的检测视频中的镜头转换的方法和装置。根据本专利技术的一个方面，提供了一种镜头转换检测方法，包括帧间特征差分 序列生成步骤，基于视频生成不同差分尺度的多个帧间特征差分序列，其中，多个帧间 特征差分序列中的至少两个帧间特征差分序列的长度大于或等于2 ；以及镜头转换检测 步骤，利用多个帧间特征差分序列的联合来检测视频中的镜头转换。根据本专利技术的一个方面，提供了一种镜头转换检测装置，包括帧间特征差分 序列生成单元，被配置为基于视频生成不同差分尺度的多个帧间特征差分序列，其中， 多个帧间特征差分序列中的至少两个帧间特征差分序列的长度大于或等于2 ；以及镜头 转换检测单元，被配置为利用多个帧间特征差分序列的联合来检测视频中的镜头转换。另外，本专利技术的实施方式还提供了用于实现上述检测视频中的镜头转换的方法 的计算机程序。此外，本专利技术的实施方式还提供了至少计算机可读介质形式的计算机程序产 品，其上记录有用于实现上述检测视频中的镜头转换方法的计算机程序代码。本专利技术能够有效地检测视频中的镜头转换。附图说明参照下面结合附图对本专利技术实施方式的说明，会更加容易地理解本专利技术的以上 和其它目的、特点和优点。附图中的部件只是为了示出本专利技术的原理。在附图中，相同 的或类似的技术特征或部件将采用相同或类似的附图标记来表示。图1示出了根据本专利技术的第一实施方式的用于检测视频中的镜头转换的方法；图2是根据本专利技术的第一实施方式的用于检测视频中的镜头切变的方法中所利 用的多尺度联合特征的示意图3是根据本专利技术的第一实施方式的用于检测视频中的镜头渐变的方法中所利 用的多尺度联合特征的示意图4示出了根据本专利技术的第一实施方式的用于检测视频中的镜头转换的方法；图5示出了一个长度为16的镜头转换所对应的三尺度(8、16、32)联合特征的 例子；图6图示了可以用于实现本专利技术的检测视频中的镜头转换的装置的计算设备的 举例的结构；图7示出了根据本专利技术的第五实施方式的镜头转换检测装置。具体实施方式下面参照附图来说明本专利技术的实施方式。在本专利技术的一个附图或一种实施方式 中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结 合。应当注意，为了清楚的目的，附图和说明中省略了与本专利技术无关的、本领域普通技 术人员已知的部件和处理的表示和描述。本专利技术提出的用于检测视频中的镜头转换的新型特征以帧间特征差分为基础。 所谓帧间特征差分，是指两个不同的帧关于同一特征的值之间的差分。一种常用的帧的 特征是颜色直方图。下面以区域颜色直方图为例来介绍帧间特征差分的计算方法。颜色直方图是一个具有特定的格子(Bin)个数的向量，其中每一个格子的值表示 此格子所对应的颜色在生成此直方图的像素集合中出现的频度。颜色直方图差分用来表 征两个颜色直方图间的差异。可以有许多种直方图差分的定义方式，Bin-to-Bte(格子到 格子，缩写为B2B)与Chi-square(即X2，缩写为Chi2)是其中常用的两种，它们的定义 如下本文档来自技高网...

【技术保护点】
一种镜头转换检测方法，包括：　　帧间特征差分序列生成步骤，基于视频生成不同差分尺度的多个帧间特征差分序列，其中，所述多个帧间特征差分序列中的至少两个帧间特征差分序列的长度大于或等于２；以及　　镜头转换检测步骤，利用所述多个帧间特征差分序列的联合来检测视频中的镜头转换。

【技术特征摘要】
1.一种镜头转换检测方法，包括帧间特征差分序列生成步骤，基于视频生成不同差分尺度的多个帧间特征差分序 列，其中，所述多个帧间特征差分序列中的至少两个帧间特征差分序列的长度大于或等 于2;以及镜头转换检测步骤，利用所述多个帧间特征差分序列的联合来检测视频中的镜头转换。2.如权利要求1所述的镜头转换检测方法，其中所述多个帧间特征差分序列中的至少 两个帧间特征差分序列满足较大差分尺度的帧间特征差分序列所对应的视频片段的长 度大于较小差分尺度的帧间特征差分序列所对应的视频片段的长度。3.如权利要求1所述的镜头转换检测方法，其中每个帧间特征差分序列所对应的视频 片段的长度基于所述帧间特征差分序列的差分尺度与相对应的待检测镜头转换长度来确 定。4.如权利要求1所述的镜头转换检测方法，其中所述多个帧间特征差分序列中的至少 一个帧间特征差分序列的差分尺度小于或等于待检测镜头转换长度，至少一个帧间特征 差分序列的差分尺度大于或等于待检测镜头转换长度。5.如权利要求1所述的镜头转换检测方法，其中，重复所述帧间特征差分序列生成步 骤和所述镜头转换检测步骤，以针对可能的多个待检测镜头转换长度，生成多个组的所 述多个帧间特征差分序列，并且利用每组中的所述多个帧间特征差分序列的联合来检测 具有对应的镜头转换长度的镜头转换，其中，至少两个待检测镜头转换长度和相对应的帧间特征差分序列的差分尺度近似 成比例。6.如权利要求5所述的镜头转换检测方法，其中，对于相近的镜头转换长度，使用相 同的一组差分尺度。7.如权利要求5所述的镜头转换检测方法，其中所述帧间特征差分序列生成步骤还包 括通过对较长的帧间特征差分序列进行下采样，使至少两个不同的待检测镜头转换长 度所对应的不同组的帧间特征差分序列的长度基本相同。8.如权利要求1所述的镜头转换检测方法，其中，所述镜头转换检测步骤包括以 所述多个帧间特征差分序列或者所述多个帧间特征差分序列的数学变换作为特征，利用 经过训练得到的分类器来检测镜头转换。9.如权利要求1所述的镜头转换检测方法，其中，所述镜头转换检测步骤包括分 别检测各个帧间特征差分序列的峰值、谷值、以及峰值点和谷值点的位置中的一个或多 个，基于所述各个帧间特征差分序列的峰值、谷值、以及峰值点和谷值点的位置中的一 个或多个来检测镜头转换。10.—种镜头转换检测装置，包...

【专利技术属性】
技术研发人员：韩博，吴伟国，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]