使用选择准则确定关键视频片段以形成视频概要制造技术

一种用于形成用于具有视频帧时间序列的数字视频的视频概要的方法，该方法包括使用处理器来执行以下步骤：确定用于数字视频的一组关键视频帧；响应于预定准则对关键视频帧进行排名；根据预定的一组准则形成对应于一个或多个最高排名关键视频帧的关键视频片段，所述预定的一组准则包括指定用于视频概要的总持续时间的准则和指定用于每个关键视频片段的最小持续时间的准则；汇集关键视频片段以形成视频概要；以及将视频概要的表示存储在处理器可存取存储器中。

【技术实现步骤摘要】
【国外来华专利技术】使用选择准则确定关键视频片段以形成视频概要
本专利技术涉及数字视频处理领域，更具体地涉及一种用于选择关键视频帧并且形成视频概要的方法。
技术介绍
许多数字捕捉装置能够捕捉视频以及静止图像。然而，管理数字视频内容可能是困难的任务。视频常常在视觉上用视频的第一帧的缩略图图像来表示。这可能不提供对视频的内容的许多深入了解。确定具体的事件是否包含在所给出的视频中常常需要观看整个视频。对于冗长的视频，用户可能更喜欢能够得到视频的快速概要而不必要观看视频的全部内容。从共享的观点来看，数字视频也可能呈现实际的问题。许多数字捕捉装置以每秒30或60帧、以高达1920×1080像素的空间分辨率来记录视频。即使在被压缩的情况下，所产生的数据的量也可能使得共享甚至相对短的视频是不切实际的。视频编辑软件可以用于将视频人工地概括成能够更容易地被共享的较短的版本。然而，人工视频编辑可能是冗长的、费力的过程，而且许多用户对人工编辑不感兴趣。还存在自动视频概括算法。这些方案开始于作为输入的捕捉到的视频，并对该视频进行分析以确定视频概要。然而，这样的算法非常复杂，因为必须对该视频进行解码来执行确定视频概要所需要的分析。因而，不可能在数字捕捉装置上立即观看对应于刚捕捉到的视频的视频概要。这个缺点使得难以便利于快速回顾和共享捕捉到的视频。因而，期望提供用于在数字捕捉装置中计算视频概要的系统和方法。具体地，期望提供允许在视频捕捉完成时以最小延迟在数字捕捉装置上产生视频概要的方案。
技术实现思路
本专利技术提供了一种用于形成用于具有视频帧时间序列的数字视频的视频概要的方法，该方法包括使用处理器来执行以下步骤：a）确定用于数字视频的一组关键视频帧；b）响应于预定准则对关键视频帧进行排名；c）根据预定的一组准则形成对应于一个或多个最高排名关键视频帧的关键视频片段，所述预定的一组准则包括指定用于视频概要的总持续时间的准则和指定用于每个关键视频片段的最小持续时间的准则；d）汇集关键视频片段以形成视频概要；以及e）将视频概要的表示存储在处理器可存取存储器中。本专利技术具有下述优点：本专利技术提供了一种用于形成由高重要性关键视频片段的序列构成的视频概要的方法。本专利技术具有下述另一个优点：视频概要是根据指定的总持续时间准则和最小视频片段持续时间准则来提供的。本专利技术具有下述又一个优点：音频分析被用于选择用于与低水平音频活动对应的视频片段的开始时间和结束时间。还提供另外的准则来劝阻具有相似内容的关键视频片段的形成并且避免提供被分开小的时间间隔的关键视频片段。附图说明图1是示出根据本专利技术的实施方式的用于形成视频概要的系统的部件的高级图；图2是根据本专利技术的实施方式的用于确定用于数字视频序列的关键视频帧的方法的流程图；图3是根据本专利技术的实施方式的用于将视频帧分类的方法的流程图；图4示出被划分成一组相等的数字视频间隔的数字视频序列；图5示出图4所示的数字视频序列的扭曲（warped）时间表示；图6示出将扭曲时间表示细分成相等时间间隔的细分；图7示出图6的时间间隔相对于图4的原始数字视频序列的对应位置；图8是根据本专利技术的实施方式的用于形成视频概要的方法的流程图；图9是根据本专利技术的实施方式的用于确定最高排名关键视频帧的方法的流程图；图10和图11示出固定位置直方图；图12示出图11中所给出的固定位置直方图的数字表示；图13示出对于确定最高排名关键视频帧有用的排名处理的例子；图14示出根据一个实施方式的关键视频片段的形成；以及图15示出根据另一个实施方式的关键视频片段的形成。具体实施方式在以下描述中，将从通常作为软件程序来实施的方面对本专利技术的优选实施方式进行描述。本领域技术人员将容易认识到：这种软件的等效替换还可以构造在硬件中。因为图像处理算法和系统是公知的，所以本专利技术的描述将具体地涉及形成根据本专利技术的系统和方法的一部分的或与根据本专利技术的系统和方法更直接配合的算法和系统。用于产生并且以其他方式处理随其具有的图像信号的这样的算法和系统以及硬件或软件的在本文中没有具体示出或描述的其他方面可以从本领域已知的这样的系统、算法、部件和元件中选择。给出如在以下材料中根据本专利技术所描述的系统，对于本专利技术的实施有用的在本文中未具体示出、建议或描述的软件是常规的并且在这样的
技术人员的范围内。此外，如本文中所使用的这样，用于执行本专利技术的方法的计算机程序可以存储在计算机可读存储介质中，所述计算机可读存储介质可以包括例如：磁存储介质如磁盘（比如硬驱动器或软盘）或磁带；光学存储介质如光盘、光带或机器可读条形码；固态电子存储装置如随机存取存储器（RAM）或只读存储器（ROM）；或者用于存储具有用于控制一台或更多台计算机来实施根据本专利技术的方法的指令的计算机程序的任何其他物理装置或介质。本专利技术包括本文中所描述的实施方式的组合。提及“具体的实施方式”等指的是存在于本专利技术的至少一个实施方式之中的特征。单独地提及“实施方式”或“具体的实施方式”等未必指的是同样的一个或多个实施方式；然而，这样的实施方式不互相排斥，除非如此指示出或对本领域技术人员来说是显然明显的。在提及“方法”等中单数或复数的使用不受限制。应该注意的是：除非不另外明确地提出或上下文所需，“或”字以非排他的意思用在本公开内容中。因为采用成像装置及相关电路来进行信号捕捉和处理以及显示的数字相机是公知的，所以本描述将尤其涉及形成根据本专利技术的方法和设备的一部分的或与根据本专利技术的方法和设备更直接配合的元件。本文中未具体示出或描述的元件选择自根据本领域已知的元件。实施方式的待描述的某些方面设置在软件中。给出如在以下材料中根据本专利技术所示出和描述的系统，对于本专利技术的实施有用的在本文中未具体示出、描述或建议的软件是常规的并且在这样的
技术人员的范围内。对数字相机的以下描述对本领域技术人员来说将是熟悉的。将明显的是：存在许多本实施方式的变化，所述本实施方式的变化是合理的并且被选择以减少成本、增加特征或提高相机的性能。图1描绘了数字摄影系统的框图，所述数字摄影系统包括能够根据本专利技术捕捉视频图像的数字相机10。优选地，数字相机10是便携式电池操作的装置，足够小以使用户在捕捉和回顾图像时容易地手持。数字相机10产生通过使用图像存储器30被存储为数字图像文件的数字图像。本文中所使用的短语“数字图像”或“数字图像文件”指的是任何数字图像文件，例如数字静止图像或数字视频文件。在一些实施方式中，数字相机10捕捉运动视频图像和静止图像二者。在其他实施方式中，数字相机10是仅捕捉运动视频图像的数字视频相机。数字相机10还可以包括其他功能，包括但不限于下述功能：数字音乐播放器（例如MP3播放器）、移动电话、GPS接收器或可编程数字助理（PDA）。数字相机10包括具有可调整光圈和可调整快门6的镜头4。在优选实施方式中，镜头4是变焦镜头并且由变焦和聚焦电动机驱动器8控制。镜头4将来自场景（未示出）的光聚焦到图像传感器14例如单片彩色CCD或CMOS图像传感器上。镜头4是用于将场景的图像形成在图像传感器14上的一种典型的光学系统。在其他实施方式中，光学系统可以使用具有可变的或固定的聚焦的固定焦距镜头。图像传感器14的输出通过模拟信号处理器（ASP）和模拟数字（A/D）转换器16转换成数字本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.05.25 US 12/786,4801.一种用于形成用于具有视频帧时间序列的数字视频的视频概要的方法，所述方法包括：确定用于所述数字视频的一组视频帧；对所述视频帧进行排名；根据预定的一组准则形成对应于一个或多个最高排名视频帧的视频片段，其中，所述预定的一组准则包括指定用于所述视频概要的总持续时间的准则和指定用于每个所述视频片段的最小持续时间的准则；汇集所述视频片段以形成视频概要；将所述视频概要的表示存储在存储器中；以及将被分开小于指定阈值的时间间隔的最高排名视频帧所对应的所述视频片段合并以形成单个视频片段。2.根据权利要求1所述的方法，其中，将每个最高排名视频帧包括在视频片段中。3.根据权利要求1所述的方法，还包括分析所述数字视频以确定作为时间的函数的重要性值，并且其中，响应于鼓励包括具有高重要性值的视频帧的准则来确定用于至少一个视频片段的开始时间和结束时间。4.根据权利要求1所述的方法，还包括分析所述数字视频以确定作为时间的函数的音频活动的水平，并且其中，响应于鼓励选择对应于低水平音频活动的开始时间和结束时间的准则来确定用于至少一个视频片段的开始时间和结束时间。5.根据权利要求1所述的方法，其中，形成视频片段包括：根据劝阻形成具有相似内容的视频片段的准则来形成所述视频片段。6.根据权利要求1所述的方法，其中，用于所述视频概要的所述总持续时间是用户指定的。7.根据权利要求1所述的方法，其中，根据偏好在视频帧的编码组的开始处开始视频片段并且在视频帧的编码组的结束处结束视频片段的准则...

【专利技术属性】
技术研发人员：阿伦·托马斯·迪弗，
申请(专利权)人：伊斯曼柯达公司，
类型：
国别省市：