为视频序列生成视频缩略图的方法和计算机技术

一种算法，从视频序列中标识一个突出视频帧用作视频缩略图。视频缩略图的标识是基于帧品质度量。所述算法计算帧的色彩直方图，然后计算所述色彩直方图的熵和标准差。帧品质度量是熵和标准差的加权组合。把视频序列中具有最高值帧品质度量的帧确定为视频序列的视频缩略图。

【技术实现步骤摘要】

当前公开的申请一般涉及视频显示技术，尤其涉及产生表示视频序列的静止内容的视频缩略图。
技术介绍
多媒体计算技术和联网通信的快速发展大大增加了数字库中存储的数字多媒体(如视频、音频、静止图像)的数目。然而，存取这种多媒体数据、尤其是视频的方法尚未跟上这种多媒体数量增加的步伐。用于文本文档的传统检索系统允许浏览文档代用品(如关键字、摘要)来快速总览文档信息，这帮助滤出无关的文档并进一步检查所关心的文档。然而，由于视频的独特特性，传统的代用品和面向文本的浏览机制对于存取视频数据比较没用。视频数据传递视频和音频信息，其空间和时间表示以及极薄的体积使其不能仅用语言来充分描述。因此，视频“摘要”(即从视频序列提取的代表性静止图片)的使用受到关注，其被作为便于基于内容的浏览以及存取视频数据的一种方式。当前用于浏览/存取视频内容的方法包括检测连续镜头边界并且从视频序列提取关键帧用作视频摘要或概述。视频连续镜头是从单个照相机记录的视频帧的连续序列。视频连续镜头形成视频序列的组成块。连续镜头边界检测的目的是把视频序列分段成多个视频连续镜头，从视频连续镜头中可以提取关键帧。关键帧是为连续镜头的静止内容提供缩略图表示的视频帧。关键帧的使用减少了视频索引中所需的数据量，并且提供了一种组织和浏览视频内容的方法。关键帧提取继续成为重要主题，并为之作出了重大努力。关键帧提取所用的一种简单技术是把每个视频连续镜头的第一个帧选择作为该连续镜头的关键帧。该技术在计算上代价不高，但一般不能有效地捕获视频连续镜头的静止视觉内容。其他关键帧提取技术包括各种视觉标准的使用和分析，这些标准包括色彩特征和视频帧间的运动。这种技术可以改进静止视觉内容的捕获，但它们会是计算上昂贵的。因此，尽管改进了关键帧提取技术，但它们仍有缺点包括它们静止的计算代价以及它们不能有效地从视频数据中捕获静止视觉内容。此外，这些关键帧提取的现有技术没有确定用于表示整个视频序列的关键帧。而这些技术只是确定用于表示视频序列内特定视频连续镜头的关键帧。因而，需要一种表示整个视频序列的方式，它能以便于各种视频数据的基于内容的浏览的方式准确地描绘视频序列的静止内容。
技术实现思路
公开了一种系统和方法，用于通过标识一个视觉上表示视频序列的静止图像的视频帧为该视频序列产生视频缩略图。视频缩略图算法用视频帧的直方图熵和直方图标准差的加权组合的函数来计算帧品质度量。根据视频序列内各个帧的帧品质度量比较，选择特定的帧作为视频缩略图。在一个实施例中，为视频序列内的每个视频帧计算帧品质度量。计算帧品质度量包括计算帧的直方图。然后计算该直方图的熵和标准差。接着用熵和标准差的加权组合来计算帧品质度量。各个视频帧的帧品质度量彼此相比较，以确定哪个视频帧最突出。选择具有最高帧品质度量值的帧作为视频缩略图。在另一个实施例中，视频序列在时间上被分段，并且为该视频序列的特定分段(如视频序列的开始、中间或结尾)内的帧计算帧品质度量。为该特定的视频分段确定局部最大帧品质度量。接着，选择与该局部最大帧品质度量相关的视频帧作为该视频序列的视频缩略图。在另一个实施例中，视频序列被分段成多个视频连续镜头，并且为每个连续镜头内的帧计算帧品质度量。为每个视频连续镜头确定最大帧品质度量。选择该视频序列的视频缩略图作为与该最高值的局部最大帧品质度量相关的视频帧。附图说明附图中的相同数字是指相同的组件和特征。图1和2说明了适用于标识视频文件的视频缩略图的示例性环境。图3是可能在图1的环境中实现的计算机和视频输入源的框图表示。图4是视频序列的高级表示。图5说明了在应用帧品质度量前对视频序列进行时间上分段的视频缩略图算法的实施例。图6说明了各包含来自视频序列的多个视频帧的代表性视频连续镜头。图7说明了被分裂成多个分组的视频帧。图8是可能在图2的环境中实现的单机记录设备的框图表示。图9、10、11和12是说明用于标识突出的、内容丰富的缩略图的示例性方法的流程图，所述缩略图代表视频序列。图13说明了可以用于实现计算机的适当计算环境的示例。具体实施例方式概述下面的讨论针对用于从视频文件或序列内的视频帧中标识突出的、内容丰富的视频缩略图的系统和方法。主题用特性来描述以符合法定要求。然而，描述自身不限制所公开主题的范围。而结合其他现有的或将来的技术，本说明书是考虑到也可以以其他方式包含所要求保护的主题而撰写的，从而包括了与该文档中描述的元件所不同的元件、或类似元件的组合。这里描述的系统和方法实现了一种缩略图标识算法，用于从视频序列中标识突出视频帧用作视频缩略图。视频缩略图的标识基于帧品质度量。该算法计算了帧的色彩直方图，然后计算该色彩直方图的熵和标准差。帧品质度量是熵和标准差的加权组合。把视频序列的具有最高品质度量值的视频帧确定为视频序列的视频缩略图。所公开的系统和方法的好处包括生成了能准确表示视频文件内容的视频缩略图。示例性环境图1和2说明了适用于标识视频文件的视频缩略图的示例性实施例。图1的示例性环境100包括计算机102以及一个或多个视频输入源104。视频输入源104可以是能把视频内容传递至计算机102的任何类型的设备或通信网，包括如便携式存储媒质104(1)(如磁盘、媒质卡、光盘)、视频记录设备104(2)或者像因特网、企业网或本地网络这样的网络104(3)。视频记录设备104(2)可以是各种数字记录设备的任一种，该种数字记录设备能够记录实况运动的视频和音频，用于稍后通过如VCR、TV以及像计算机102这样的个人计算机进行播放。视频记录设备104(2)一般能使用i.LINK(IEEE 1394)或FireWire数字接口而被直接连到计算机102，使得可以在计算机102上直接编辑视频内容。计算机102可以用各种计算设备来实现，该种计算设备能够从各个源104接收视频内容，并且管理视频内容用于通过如媒体播放器进行回放。计算机102另外一般能执行常见的计算功能，比如电子邮件、日历、任务组织、字处理、Web浏览等等。在该实施例中，计算机102运行开放平台操作系统，比如微软公司(Microsoft)的视窗(Windows)操作系统。计算机102可以用如台式机、服务器计算机、便携式计算机或者其他个人计算机(PC)形式来实现。下面参照图13更详细地描述了计算机102的一种示例性实现。如下面参照图3的实施例所详细讨论的，计算机102一般配置用于从视频内容源104接收视频序列或文件(即视频内容)，并且标识视频序列内的一个视频帧，该视频帧适合用作视频缩略图，其视觉内容基本表示了整个视频序列。图2的示例性环境200包括单机视频记录设备202。视频记录设备202可以以与图1的视频记录设备104(2)基本相同的方式配置。因此，视频记录设备202一般能够使用i.Link(IEEE 1394)或FireWire数字接口被直接连到计算机。然而，图2的单机视频记录设备意图说明这种设备可以一般被配置(类似计算机102)成从捕获到的视频序列中标识一个视频帧，该视频帧适合用作视频缩略图，其视觉内容基本表示了整个视频序列。示例性实施例图3是可能在图1的环境中实现的计算机102和视频输入源104的框图表示。计算机102用PC(个人计算机)来实现，比如台式机或便携式P本文档来自技高网...

【技术保护点】
一种包括处理器可执行指令的处理器可读媒质，被配置成用于：接收视频序列；以及从直方图熵和直方图标准差中为视频序列内的帧计算帧品质度量。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：张栋，王益进，张宏江，
申请(专利权)人：微软公司，
类型：发明
国别省市：US[美国]