一种用于从移动视频自动创建拼贴的方法技术

提供了一种用于从视频序列自动创建拼贴的方法和系统。该系统和方法从视频序列动态地提取关键帧，其用于创建显示上示出的拼贴。通过改变光标的位置，提取一组新的关键帧，并且拼贴的内容将对应地改变反映关键帧选择中的变化。该方法还包括用户界面元素，以允许用户改变拼贴上的视频帧的布局设计(例如，旋转、重叠、空白空间、图像缩放)。另外，该方法包括通过使用各种帧中自动地检测的语义概念作为索引点来浏览视频序列的不同方式。此外，该方法包括基于运动特性(例如，变焦/摇摄，对象的运动)、音频活动或面部表情来定义滑动属性用于浏览视频序列。

A Method for Automatically Creating Collage from Mobile Video

A method and system for automatically creating collages from video sequences is provided. The system and method dynamically extract key frames from video sequences, which are used to create collages shown on the display. By changing the cursor position, a new set of key frames is extracted, and the collage content will correspondingly change to reflect the changes in key frame selection. The method also includes user interface elements to allow users to change the layout design of video frames on collages (e.g., rotation, overlap, blank space, image zooming). In addition, the method includes different ways of browsing video sequences by using semantic concepts automatically detected in various frames as index points. In addition, the method includes defining sliding attributes for browsing video sequences based on motion characteristics (e.g., zoom/pan, object motion), audio activity or facial expression.

【技术实现步骤摘要】
【国外来华专利技术】一种用于从移动视频自动创建拼贴的方法相关申请的交叉引用本申请要求2016年7月28日提交的美国临时专利申请号62/367962的优先权，其通过引用其整体也并入本文。
技术介绍
随着电子移动设备诸如智能手机和新型数字捕获设备的快速发展和更低得成本，由设备用户生成的视频正变得越来越流行，正如大容量的视频上传以及社交网络中的视频观看所显示的那样。这些大量视频也对用户有效地组织、管理和检索他们的视频构成挑战。此外，许多用户将他们的图像和视频文件直接存储在他们的移动设备上。因此，需要便于在移动设备上容易地访问和检索用户生成的内容，允许用户更好地利用图像和视频内容用于与朋友和家人共享，或者用于享受他们生活中的特殊事件和时刻。通过更容易地访问其媒体内容，用户可以创建个性化的照片产品和数字输出。这些包括拼贴画、相册、贺卡、海报、多媒体幻灯片和精彩视频。这些还包括具有图像的其他产品，诸如马克杯和T恤，具有盖印在产品的各个表面上的个性化图像。应当注意，静止图像以及从视频序列中提取的帧可以用于创建这些个性化或数字产品。用户生成的视频以及它们的非结构化内容的复杂性质对用户用于从捕获的视频序列检索、排序和共享有趣的内容构成巨大的挑战。当在移动设备诸如智能手机或平板电脑上访问和操纵视频时，这尤其具有挑战性。允许用户基于从视频序列内选择指定的关键帧来交互地选择和动态地调整移动设备上的拼贴输出的系统和方法将是非常有用的。本专利技术满足了这种需要，并且它允许用户通过简单的用户动作容易地从在他的/她的移动设备或数字捕获设备上捕获的视频定位有趣的视频帧，创建和调整拼贴的布局。
技术实现思路
本专利技术涉及一种用于与在移动设备上的视频交互的系统和方法。特别是，它允许用户构建他们的视频摘要，用于打印或与朋友和家庭分享。通过利用先进的视频处理算法，自动地提取来自视频序列的关键帧，以用作视频序列的有趣和相关片段的索引点。该系统和方法包括以动态方式使用从视频序列提取的帧自动创建拼贴，即，当从视频序列提取或选择帧的不同组时，将对应地生成新的拼贴。当检测到新的视频捕获时，这可以是由设备发起的自动过程的一部分。同样，用户可以手动地添加或删除自动地提取的帧以生成拼贴。附图说明图1显示了从舞蹈表演会的用户/消费者视频生成的示例性拼贴。图2是用于移动视频拼贴创建的方法和系统的图形说明。图3是具有倾斜拼贴布局的自动提取的关键帧的图示。图4示出了使用从由用户在移动或视频捕获设备上创建的视频提取的关键帧的非限制性布局示例。图5示出了本专利技术的一方面，其允许用户容易地在表示视频序列的视频帧条上滑动，以通过利用使用本文描述的关键帧提取算法识别的关键帧作为索引点来快速定位感兴趣的帧/片段。图6示出了来自示例性视频序列的运动矢量轨迹。图7示出了来自相关联的视频序列的音频信号的示例图。图8提供了显示由用户界面提供的一些滑动属性的表。具体实施方式本专利技术涉及一种用于从移动视频自动地创建拼贴的系统和方法。表示视频序列的一种方式是从其内容中提取有趣的关键帧。关键视频帧的选择在许多应用中是有用的。例如，通常期望提取并呈现视频数据的子集，其可以传达视频的准确且可识别的摘要或概要。关键帧提取算法用于从视频选择信息最丰富的帧的子集，其目的是使用有限数量的帧表示视频的最重要内容。关键帧提取在视频处理的几个广泛领域中找到应用，诸如视频摘要、创建DVD中的章节标题、视频索引以及从视频制作照片。摘要或概要还可以促进视频共享或帮助用户决定是否值得下载或查看完整视频。关键帧提取是活跃的研究领域，并且存在许多用于从视频提取关键帧的方法。作为示例，如图1所示，从舞蹈表演会的消费者视频生成拼贴。在图1中，提取表示舞蹈序列的不同移动的不同关键帧(101-106)并用于组成概括舞蹈视频的动作的照片拼贴(100)。目前，没有容易的方法让用户完成此任务，而无需经过一系列繁琐的步骤来访问视频、整理整个视频序列、识别有趣的关键帧、编辑视频以拉出这些帧以及将这些帧放入拼贴或其他最终形式。本专利技术可以由非暂时性计算机可读介质实现，具有存储在其上的由一个或多个处理器执行的指令。图2是用于移动视频拼贴创建的方法和系统的图形说明。具体地，该方法和系统包括：1)用于处理和分析视频和图像的算法；2)用户界面(GUI)功能，便于用户选择和交互；以及3)用于创建和产生各种类型的拼贴的应用。这些部件可以完全地在移动设备上实现，或者在客户端-服务器架构上实现，例如，其中一些部件可以在客户端设备上实现，而一些在服务器上(例如，商业云服务器)。参考图2，到系统的输入可以是由移动设备诸如智能手机或平板电脑直接捕获的数字视频序列，或者可以是下载到设备的视频序列。例如，视频序列可以从社交媒体站点(例如，)、从网站、从存储在本地或远程存储器上的已保存视频序列或从包括在电子邮件附件中的视频下载。系统的操作(本文称为移动拼贴App)涉及以下内容：1.用户发动移动拼贴App并从一组捕获或下载的视频序列选择视频序列。可替代地，系统自动地检测在移动捕获设备中捕获的新视频并发起移动拼贴App。2.显示视频帧201的可视化，其中显示的第一侧(例如左手侧)对应于起始帧203并且显示的第二侧(例如右手大小(侧))对应于视频序列的结尾帧204。3.通过使用一对可选择光标202，用户通过沿着视频序列的长度移动光标202来调整视频序列的片段的起点和终点。移动拼贴App检测光标的移动，并响应于移动选择视频的起始点和结尾点。默认情况下，起始点和结尾点分别位于所选择的视频序列的开头和结尾。4.当根据光标的位置定位视频片段时，移动拼贴App将自动地从视频片段提取多个关键帧。这可以通过使用任何已知的提取方法来完成，诸如Loui和Rhoda的题为“Amethodforselectingframesfromvideobasedonincrementalimprovement.”的美国专利申请号14/475074中所描述的。这组关键帧表示视频片段的摘要。在另一实施方式中，可以基于诸如包含特定人员的面部的帧、包含相似颜色直方图(柱状图)的帧、包含特定对象的帧等其他标准来提取该组关键帧。可以使用各种索引标准从所选择的视频片段提取多个关键帧。另外或可替代地，可以使用各种滑动属性从所选择的视频片段提取多个关键帧。索引标准主要是在各个视频帧上检测到的语义概念，而滑动属性是与整个视频序列相关的更全局的特性，诸如跨视频帧的对象的运动或运动特性。索引标准的非限制性示例包括面部特征、自然场景、动物、天空元素、城市景观等。滑动属性的非限制性示例包括移动对象的速度、音频活动以及面部的出现或人的表情。5.然后，移动拼贴App将使用提取的关键帧生成拼贴布局205，并在移动拼贴App的显示区域200中显示拼贴。6.当用户改变光标的位置时，提取一组新的关键帧，并且拼贴的内容将对应地改变反映关键帧选择中的改变。所选择的关键帧的数量取决于视频片段的长度以及起始点和结尾点。关键帧提取算法将基于这些参数以及所选择的视频片段的运动特性来确定关键帧。注意，用于较长扩展片段的关键帧的数量可能不必增加。这取决于是否基于各种特征诸如运动特性、相关联的音频、帧的质量等来检测附加关键帧。7.参考图3，用户可以使用其他图形用户界面特征来改变拼贴上的视频帧本文档来自技高网...

【技术保护点】
1.一种非暂时性计算机可读介质，其上存储有计算机可执行指令，由一个或多个处理器实行以执行用于从在用户设备上显示的窗口内的视频序列动态地创建拼贴的方法，所述方法包括：显示捕获或下载的视频序列的集合；从所捕获或下载的视频序列组中选择视频序列，所选择的视频序列包括具有起始帧和结尾帧的多个视频帧；显示所述多个视频帧的可视化，其中显示的第一侧对应于开始帧，并且显示的第二侧对应于所选择的视频序列的结尾帧；响应于光标沿着所述视频序列的长度的移动，调整所选择的视频序列的开始帧和结尾帧；从所选择的视频片段中提取多个关键帧；使用所提取的关键帧生成拼贴布局形态面；在所述用户设备上显示所述拼贴；以及可选地打印或在社交媒体网络上共享所述拼贴。

【技术特征摘要】
【国外来华专利技术】2016.07.28 US 62/367,9621.一种非暂时性计算机可读介质，其上存储有计算机可执行指令，由一个或多个处理器实行以执行用于从在用户设备上显示的窗口内的视频序列动态地创建拼贴的方法，所述方法包括：显示捕获或下载的视频序列的集合；从所捕获或下载的视频序列组中选择视频序列，所选择的视频序列包括具有起始帧和结尾帧的多个视频帧；显示所述多个视频帧的可视化，其中显示的第一侧对应于开始帧，并且显示的第二侧对应于所选择的视频序列的结尾帧；响应于光标沿着所述视频序列的长度的移动，调整所选择的视频序列的开始帧和结尾帧；从所选择的视频片段中提取多个关键帧；使用所提取的关键帧生成拼贴布局形态面；在所述用户设备上显示所述拼贴；以及可选地打印或在社交媒体网络上共享所述拼贴。2.根据权利要求1所述的计算机可读介质，还包括：基于索引标准从所选择的视频片段提取多个关键帧。3.根据权利要求2所述的计算机可读介质，其中，所述索引标准包括面部特征、自然场景、动物、天空元素或城市景观中的至少一个。4.根据权利要求1所述的计算机可读介质，还包括：基于滑动属性从所选择的视频片段提取多个关键帧。5.根据权利要求1所述的计算机可读介质，其中，所述滑动属性包括移动视频对象的速度、音频活动、面部的外观或人员的表情中的至少一个。6.根据权利要求5所述的计算机可读介质，其中，基于指定速度阈值、音量阈值或预定义表情选择的滑动属性来选择所述多个关键帧。7.根据权利要求4所述的计算机可读介质，其中，基于所述视频的运动特性来定位关键帧。8.根据权利要求7所述的计算机可读介质，其中，所述运动特性包括定位包含变焦或快速摇摄动作的关键帧。9.根据权利要求2所述的计算机可读介质，其中，所述索引标准包括包含特定人员的面部的帧。10.根据权利要求2所述的计算机可读介质，其中，所述索引标准包括包含相似颜色直方图的帧。11.根据权利要求2所述的计算机可读介质，其中，所述索引标准还包括包含特定对象的帧。12.根据权利要求2所述的计算机可读介质，其中，从通过所述索引标准选择的连续帧向所述用户显示最佳关键帧。13.根据权利要求1所述的计算机可读介质，其中，响应于用户选择的选项，修改所述拼贴上的视频帧的布局形态面...

【专利技术属性】
技术研发人员：亚历山大·C·路易，劳拉·R·惠特比，约瑟夫·A·马尼科，
申请(专利权)人：柯达阿拉里斯股份有限公司，
类型：发明
国别省市：美国,US