用于从全向视频创建视频剪辑的设备和方法技术

提出了一种用于从全向视频创建视频剪辑的设备。该设备包括至少一个处理器和包括计算机程序代码的存储器。该存储器被配置成储存包括一系列图像帧的全向视频，并且该代码被配置成促使该设备：在包括该全向视频的图像帧序列的片段中标识两个或更多个感兴趣区域，这些区域至少部分地基于在该片段中检测到的一个或多个活动对象而被标识，定义两个或更多个数字视点，其中每个数字视点围穿该片段围绕至少一个感兴趣区域，创建一组视频剪辑，其中每个视频剪辑由贯穿该片段的单个数字视点所形成的图像序列组成，以及将公共时间线分配给视频剪辑中的每一个视频剪辑。

【技术实现步骤摘要】
【国外来华专利技术】用于从全向视频创建视频剪辑的设备和方法背景覆盖水平窗格中或水平和垂直窗格中的广角图像(诸如180或360度)的全向相机已被用于全景成像和视频记录。此类相机记录的图像和视频可由消费者电子设备回放，并且通常设备用户可以控制360度帧的哪个片段被显示。广角视频的多个视点可以在同一屏幕上呈现。这可例如通过在回放期间手动地选择视点来完成。概述下面呈现了本公开的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，且其不标识关键/重要元素或者描述本说明书的范围。其唯一的目的是以简化形式呈现本文中所公开的概念精选，作为稍后呈现的更详细描述的序言。呈现了一种设备、系统和方法。该设备和方法包括允许基于两个或更多个感兴趣区域从全向视频素材创建视频剪辑的特征。这些视频剪辑也可被用来根据预定规则从其组合中创建新的视频。该系统还包括360度相机，并且被适配成在素材正被记录时实时执行相同的动作。通过参考结合附图考虑的以下详细描述将更易于领会许多附带特征，因为这些附带特征变得更好理解。附图简述根据附图阅读以下详细描述将更好地理解本说明书，在附图中：图1是根据一实施例的设备的主要组件的示意图解；图2是根据一实施例的系统的示意图解；图3a是一实施例的图形图解；图3b是用于图3a中所示的实施例的示意时间线；图4a是根据一实施例的第一数字视点的图形图解；图4b是根据该实施例的第二数字视点的图形图解；图4c示出了图4a中所示的第一视点的移动；图4d是用于图4a-4c中所示的实施例的示意时间线；以及图5是根据一实施例的系统的示意图解。在各附图上相同的附图标记对应于相同的元素。详细描述下面结合附图提供的详细描述旨在作为各实施例的描述，并不旨在表示可以构建或使用各实施例的唯一形式。本说明书详尽揭示各操作步骤的结构基础、功能和序列。然而，可以通过未在以下列举的不同的实施例来实现相同或等效功能和序列。虽然本公开各实施例中的一些实施例可在本文中被描述和解说成实现在个人计算机或便携式设备中，但它们只是设备的示例而非限制。如本领域技术人员将领会的，本公开各实施例适于应用在包括处理器和存储器的各种不同类型的设备中。而且，尽管在此描述和解说的本公开各实施例中的一些实施例是使用全向视频素材和相机来实现的，但这些实施例仅仅是示例而非限制。如本领域技术人员将领会的，本公开各实施例适于应用于各种不同的视频格式，这些视频格式的图像相比在显示设备上显示的图像具有更宽的视野。全向视野可能被相机机身部分地遮挡。全向相机可具有180度以上的视野。该相机可具有不同的形状因素；例如，其可以是具有大显示器的平坦型设备、球形元件或包括相机元件的棒(baton)。图1示出了设备100的一实施例的基本框图。设备100可以是被适配成修改全向视频的任何设备。例如，设备100可以是用于编辑全向视频的设备、个人计算机、或手持式电子设备。出于本说明书的目的，“全向”意指所捕捉的图像帧具有相比显示器103上所显示的图像帧更宽的视野，以至于需要在这些图像帧内选择视点以便显示视频。设备100包括至少一个处理器101和包括计算机程序代码的至少一个存储器102，以及耦合到处理器101的任选的显示元件103。存储器102能够储存机器可执行指令。存储器102还可储存其他指令和数据，并且被配置成储存全向视频。此外，处理器101能够执行所储存的机器可执行指令。处理器101可按许多不同方式来具体化。在一实施例中，处理器101可被具体化为诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或不具有伴随DSP的处理电路系统之类的各种处理设备中的一个或多个，或者包括诸如举例而言，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等集成电路的各种其他处理设备。在至少一个实施例中，处理器101利用计算机程序代码来促使设备100执行一个或多个动作。存储器102可被具体化为一个或多个易失性存储器设备、一个或多个非易失性存储器设备、或它们的组合。例如，存储器102可被具体化为磁存储设备(诸如硬盘驱动器、软盘、磁带等)、光磁存储设备(例如磁光盘)、CD-ROM(压缩碟只读存储器)、CD-R(可记录压缩碟)、CD-R/W(可重写压缩碟)、DVD(数字多功能碟)、BD(碟)和半导体存储器(诸如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存取存储器)等)。在一实施例中，存储器102可被实现为远程元件，例如云存储。计算机程序代码和至少一个存储器102被配置成与至少一个处理器101一起促使该设备执行下文列出的动作序列。两个或更多个感兴趣区域首先在包括全向视频的图像帧序列的片段中被标识，其中该两个或更多个感兴趣区域至少部分地基于该片段中所检测到的一个或多个活动对象来被标识。本文中所使用的术语“片段”指的是全向视频中的连续图像帧的集合。在其中视频的较长部分要被处理的一些实施例中，片段可由处理器101选择以包括大量的连续图像帧；而在其中一系列图像帧包括少量的图像帧的实施例中，片段可由处理器101选择以仅包括几个连续的图像帧(例如，与全向视频中所捕捉的特定动作或移动相关的图像帧)。在一实施例中，处理器101被配置成检测片段中的一个或多个活动对象。本文中所使用的术语“活动对象”指的是与移动、声音、任何其他视觉上活动的行为相关联的对象。在说明性示例中，如果两个个人参与会话(即，与正由定向麦克风捕捉的声音相关联)，则每个个人可由处理器101标识为活动对象。类似地，如果片段包括移动的车辆，则该车辆可被标识为潜在地与移动、动作和声音相关联的活动对象。在又一个说明性示例中，如果片段捕捉动物逃离捕食者的场景，则该动物及其捕食者两者都可被处理器101检测为活动对象。在一实施例中，处理器101可利用面部检测、注视检测、声音检测、运动检测、热检测、白板检测和背景场景检测中的任一者来检测片段中的一个或多个活动对象。在一实施例中，处理器101被配置成至少部分地基于片段中的一个或多个活动对象来标识该片段中的两个或更多个感兴趣区域。本文中所使用的术语“感兴趣区域”可以指的是全向视频的查看者可能感兴趣的片段或视频的特定部分。例如，如果片段包括参与讨论的三个人，则查看者可能有兴趣查看正在讲话的人，而不是目前不参与该会话的人。在一些实施例中，处理器101被配置成基于片段中的检测到的活动对象来标识感兴趣区域。然而，在一些实施例中，处理器101可被配置成标识除了基于场景中的活动对象所标识出的那些区域之外的感兴趣区域。例如，处理器101可采用白板检测来标识场景中的白板的存在。如果某人(活动对象)正在白板上书写，则除了该人在白板上书写的同时正在说的内容之外，查看者可能感兴趣查看白板上所写的内容。相应地，处理器101可标识包括白板和在该白板上书写的人的感兴趣区域。处理器101还定义两个或更多个数字视点，其中每个数字视点围绕片段的至少一个图像帧中的至少一个感兴趣区域。处理器101接着调整该两个或更多个数字视点，使得该至少一个感兴趣区域贯穿该片段保持在所显示的部分中。本文中所提到的数字视点是向用户显示的所捕捉的全向图像的片段。每个感兴趣区域可具有分配给它的数字视点，本文档来自技高网...

【技术保护点】
1.一种设备，包括：至少一个处理器和包括计算机程序代码的存储器，其中所述存储器被配置成储存包括一系列图像帧的全向视频，并且所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起促使所述设备：在包括所述全向视频的图像帧序列的片段中标识两个或更多个感兴趣区域，所述两个或更多个感兴趣区域至少部分地基于在所述片段中检测到的一个或多个活动对象而被标识，定义两个或更多个数字视点，其中每个数字视点围绕所述片段的至少一个图像帧中的至少一个感兴趣区域，调整所述两个或更多个数字视点，使得所述至少一个感兴趣区域贯穿所述片段保持在所显示的部分中，创建一组视频剪辑，其中每个视频剪辑由贯穿所述片段的单个数字视点所形成的图像序列组成，以及将公共时间线分配给所述一组视频剪辑中的每一个视频剪辑。

【技术特征摘要】
【国外来华专利技术】2015.11.11 US 14/938,6061.一种设备，包括：至少一个处理器和包括计算机程序代码的存储器，其中所述存储器被配置成储存包括一系列图像帧的全向视频，并且所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起促使所述设备：在包括所述全向视频的图像帧序列的片段中标识两个或更多个感兴趣区域，所述两个或更多个感兴趣区域至少部分地基于在所述片段中检测到的一个或多个活动对象而被标识，定义两个或更多个数字视点，其中每个数字视点围绕所述片段的至少一个图像帧中的至少一个感兴趣区域，调整所述两个或更多个数字视点，使得所述至少一个感兴趣区域贯穿所述片段保持在所显示的部分中，创建一组视频剪辑，其中每个视频剪辑由贯穿所述片段的单个数字视点所形成的图像序列组成，以及将公共时间线分配给所述一组视频剪辑中的每一个视频剪辑。2.根据权利要求1所述的设备，其特征在于，所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起促使所述设备将所述一组视频剪辑与所分配的共同时间线一起储存在所述存储器中。3.根据权利要求1所述的设备，其特征在于，所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起促使所述设备：根据基于所分配的共同时间线的预定模式来组合来自所述一组视频剪辑的两个或更多个视频剪辑，以及从经组合的视频剪辑创建新的视频。4.根据权利要求3所述的设备，其特征在于，所述预定模式包括视频剪辑的顺序，其中针对所述公共时间线的相同片段的不同视频剪辑被一个接一个不间断地组合。5.根据权利要求3所述的设备，其特征在于，所述预定模式包括视频剪辑的各部分的经同步的序列，其中所述同步基于所分配的公共时间线，并且所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起促使所述设备基于至少一个预定参数确定所述一组视频剪辑中的每个视频剪辑的各部分的优先级，以及基于所确定的优先级来提供视频剪辑的所述各部分以用于同步。6.根据权利要求3所述的设备，其特征在于，包括耦合到所述处理器的用户界...

【专利技术属性】
技术研发人员：S·索尼，E·坎卡帕，K·梅拉卡里，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US