用于对视频进行风格化的方法、系统和计算机存储器技术方案

本公开内容涉及将来自现有视频的表观相机路径修改成经修改的风格化的视频。诸如水平平移和垂直平移、旋转和变焦之类的相机运动参数可以被单独地修改，包括通过均衡器状的交互式控件的集合。相机运动参数还可以通过加载诸如从另一视频剪辑获取的运动数据之类的预设数据来设置。

Interactive camera motion style

The present disclosure relates to the modification of the video camera path in the future from the existing video to a modified stylized video. Camera motion parameters, such as horizontal translation and vertical translation, rotation and zoom, can be individually modified, including a collection of balanced interactive controls. The camera motion parameters can also be set by loading default data such as motion data obtained from another video clip.

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
视频稳定是用于使视频看起来更稳定的公知技术。一般地，视频稳定操纵视频中的移动的剪辑窗口以移除大多数相机运动。相反，电影导演和电影摄影师有时特意地想要使用相机移动作为视频的一部分。例如，在拍摄期间的相机移动可以用于建立节奏、视角、场景中的韵律等。这样的相机运动连同通常通过数年的经验学习的诸如取景、颜色、照明等的其他视频技术一起将一风格赋予到视频上。然而，在没有这样的经验、预先计划和昂贵的装备的情况下，很难控制视频的风格方面。
技术实现思路
提供本
技术实现思路
从而以简化的形式介绍下面在具体实施方式中进一步描述的代表性概念的选择。本
技术实现思路
不旨在标识要求保护的主题的关键特征或必要特征，其也不旨在以将限制要求保护的主题的范围的任何方式来使用。简要地，本文描述的主题的各个方面涉及将现有视频中的相机运动参数修改成经修改的视频中的经修改的运动参数，由此便于风格化的视频的产生。一个或多个方面涉及相机风格化控制器，其耦合到交互式用户接口组件或包含交互式用户接口组件。交互式用户接口组件被配置为允许与现有视频相对应的一个或多个运动参数值的功率水平的调节，包括被配置为增加功率水平以将现有视频修改成具有与现有视频的原始相机运动不同的表观相机运动的经修改的视频。一个或多个方面涉及将来自现有视频的运动参数值调节成经编辑的视频的经调节的运动参数值。这可以包括基于针对每个运动参数的可调节的运动设置来独立地控制针对多个运动参数的可控制的运动参数值。一个或多个方面涉及获得来自原始视频信号的与现有视频剪辑的原始相机运动路径相对应的原始相机运动参数值，以及计算原始相机运动参数值的域(例如，频率)表示，其中域表示包括针对原始相机运动参数中的每个的多个域段。提供接口以用于将每个域段中的个体功率水平设置调节成经调节的功率水平，并且计算与经调节的功率水平的逆域表示相对应的修改数据。基于修改数据来修改原始相机运动参数值，以提供具有与原始相机运动路径不同的表观相机运动路径的经修改的视频。其他优点可以当结合附图考虑时从下面的详细描述中变得显而易见。附图说明本专利技术通过示例并且不限于附图中的方式来说明，在附图中相同的附图标记指示类似的元件，并且在附图中：图1是表示根据一个或多个示例实施方式的被布置为基于用户交互来生成风格化的视频的示例组件的配置的框图。图2是表示根据一个或多个示例实施方式的被布置为基于用户交互来生成风格化的视频的示例组件的备选配置的框图。图3是根据一个或多个示例实施方式的便于用于调节运动参数值以生成经修改的视频的用户交互的被例示为滑动条的交互式控件的集合的表示。图4A、4B、5A和5B是根据一个或多个示例实施方式的示例的针对水平运动参数(图4A)、垂直运动参数(图4B)、旋转运动参数(图5A)和变焦/缩放运动参数(图5B)的原始和风格化的运动绘图和功率谱绘图的表示。图6是示出根据一个或多个示例实施方式的可以在将原始视频修改成风格化的视频中使用的示例组件的框图。图7是示出根据一个或多个示例实施方式的可以在将原始视频修改成风格化的视频中采取的示例步骤的流程图。图8是根据一个或多个示例实施方式的便于用于调节运动参数值以生成经修改的视频的用户交互的交互式用户接口组件的表示。图9是根据一个或多个示例实施方式的滑动条可以如何被映射到频段以单独地控制每个段中的运动参数功率水平以生成经修改的视频的表示。图10是表示本文描述的各个实施例的一个或多个方面可以被实现在其中的示例非限制性计算系统和/或操作环境的框图。具体实施方式本文描述的技术的各个方面大体涉及选择性地控制已经存在的视频的表观相机运动(以及可能地控制其他风格方面)。在一个或多个实施方式中，这可以经由可以用于操纵视频的表观相机运动路径的功率谱的交互式均衡器状的控件集合来实现。备选地，或者除了对交互式控件的使用之外，用户可以从预保存的数据(诸如保存的和/或从其他视频剪辑传送的运动风格)选择风格设置。通过示例的方式，用户可以在散步时捕获视频。用户可以稍后选择“划船”运动风格，当被赋予到所捕获的“散步”视频中时，“划船”运动风格使视频看起来像是在用户在船上随着遇到波浪而上下移动时记录的。如果期望的话，用户可以调节设置以使表观波浪与期望的一样大并且以所期望的速率被遇到。应当理解，本文中的示例中的任何示例是非限制性的。例如，在主要例示用于调节相机运动的某些二维运动变换(例如平移、旋转和缩放)时，还可以基于本文描述的技术来控制诸如其他维度、相位、表观速度等的其他方面。另外，诸如当深度数据也可从深度相机中获得时，本文描述的技术应用于在高达六个维度(平移的三个维度和旋转的三个维度)中的相机运动路径。因此，本专利技术不限于本文描述的任何特定实施例、方面、概念、结构、功能或示例。相反，本文描述的任何实施例、方面、概念、结构、功能或示例是非限制性的，并且本专利技术可以以总体上提供在使视频风格化中的益处和优点的各种方式来使用。图1示出了包括其中包括多个帧的某一视频剪辑(或完整视频)的现有的已记录的视频102被处理成经编辑的视频104的帧的组件的一般化框图示例，其中编辑通常涉及提供表观相机运动。注意，现有的已记录的视频不需要为初始记录的视频，因为视频可以包括通过本文描述的技术和/或其他编辑工具被编辑一次或多次，并且之后被重新编辑，或者在稍后重新开始进一步编辑的情况下部分地被编辑。因此，如本文中所使用的术语“现有的”或“原始的”不必指代视频为初始记录的，而是指代在开始(或重新开始)如本文中描述的风格编辑之前视频处于无论什么状态中。包括或耦合到(例如，基于软件的)视频播放器108的相机运动风格化控制器(或风格化引擎)106允许用户看到当被查看时经编辑的视频如何显现。这可以是当被播放时或者如果期望的话在逐帧的基础上。因此，编辑可以在立即看到效果的情况下实时地发生(尽管用户必须等待看到被选择为随时间缓慢发生的变化的效果)。该编辑一般以可以被组合的两种方式中的一种来执行。用于执行编辑的第一种方式是通过交互式控件，图1中示出为虚拟控件110的集合，例如可以通过与触摸屏显示器、鼠标、键盘、语音、可穿戴输入设备和/或例如由其他输入114表示的任何其他适当的交互式模态的交互来调节的用户接口(UI 112)显示的控件(其他输入可以来自除了如所描绘的外部组件之外的设备内部的组件)。这样的虚拟控件110的典型的集合包括滑动条，但是可以使用诸如旋钮等之类的其他类型的控件，或者甚至可通过手势等访问的未显示的控件。用于执行编辑的第二种方式是通过选择预设数据116，对应于自动地全局地设置控件作为针对已经存在的期望的运动风格的组。预设数据116可以被保存、被调用和/或从其他视频剪辑被传送。预设数据的默认集合可以被提供，例如对应于散步、跑步、划船、蹒跚、自旋、跳跃、过量吸食咖啡因和其他活动，但是还可以为在(高达)可用的六个自由度中的运动的任何一个或多个集合的预设组合。可以从诸如云之类的外部源加载预设数据。注意，预设数据可以包括随时间变化的数据的子集，或者通过基于时间的计算或其他因素而随时间变化的数据的集合(例如，风格运动可以匹配剪辑中的内容、特定行动者等)。以这种方式，例如，可以使利用完全稳定的相机取得的视频显现为由在时间上上下弹跳的相机取得；y平移本文档来自技高网...

【技术保护点】
一种用于对视频进行风格化的系统，包括：交互式用户接口组件；以及相机风格化控制器，其耦合到所述交互式用户接口组件或包含所述交互式用户接口组件，所述交互式用户接口组件被配置为获得现有视频并允许与所述现有视频相对应的一个或多个运动参数值的功率水平的调节，包括被配置为增加所述功率水平以将所述现有视频修改成具有与所述现有视频的原始相机运动不同的表观相机运动的经修改的视频。

【技术特征摘要】
【国外来华专利技术】2014.04.21 US 14/257,6051.一种用于对视频进行风格化的系统，包括：交互式用户接口组件；以及相机风格化控制器，其耦合到所述交互式用户接口组件或包含所述交互式用户接口组件，所述交互式用户接口组件被配置为获得现有视频并允许与所述现有视频相对应的一个或多个运动参数值的功率水平的调节，包括被配置为增加所述功率水平以将所述现有视频修改成具有与所述现有视频的原始相机运动不同的表观相机运动的经修改的视频。2.根据权利要求1所述的系统，其中所述用户接口组件包括被配置为加载与所述一个或多个运动参数值相对应的预设数据的加载机构。3.根据权利要求1所述的系统，其中所述用户接口组件包括虚拟控件或物理控件、或虚拟控件和物理控件两者。4.根据权利要求1所述的系统，其中所述相机风格化控制器被配置为允许功率水平的频域调节。5.根据权利要求1所述的系统，还包括：运动获取组件，其被配置为从另一视频剪辑获取运动数据。6.一种用于选择性地控制已经存在的视频的表观相机运动的方法，所述方法包括：由计算设备将来自现有视频的运动参数值调节成经编辑的视频的经调节的运动参数值，包括基于针对每个运动参数的可调节的运动设置来独立地控制针对多个运动参数的...

【专利技术属性】
技术研发人员：N·S·乔施，D·S·莫里斯，M·F·科恩，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US